FOVO: новая техника 3D-рендеринга, основанная на человеческом зрении.

fovoноваятехника3dрендерингаоснованнаяначеловеческомзрении

Следующее сообщение в блоге, если не указано иное, было написано членом сообщества Гамасутры.

Выраженные мысли и мнения принадлежат автору, а не Гамасутре или ее материнской компании.


Вот Вопрос для вашей следующей виртуальной викторины в пабе: что общего между линейной перспективной проекцией, первым коммерческим фотографическим процессом, первым фотографическим негативом, передачей цифрового изображения и эффектом времени пули, используемым в «Матрице»? Ответ: все они были придуманы художниками:

Технологии изображения, изобретенные художниками: Техника линейной перспективы – базовая геометрия, лежащая в основе всех движков компьютерной графики – была открыта художником и архитектором Брунеллески и его сотрудниками в Флоренция в ранние 1990 и позже усовершенствованный Леонардо да Винчи. Первый процесс коммерческой фотографии был изобретен художником Луи Дагером как способ ускорить производство его панорамных дисплеев в виртуальной реальности, которые были чрезвычайно популярной формой развлечения в Париже в начале девятнадцатого века. Примерно в то же время Генри Фокс Талбот проявил фотографический негатив в своем загородном доме недалеко от Бата в Англии из-за разочарования из-за того, что не смог достаточно точно нарисовать свои образцы растений. Сэмюэл Морс, еще один художник и изобретатель одноименного кода, внес свой вклад в коммерческое развитие телеграфии, что быстро привело к передаче телеграфных изображений. Тим Макмиллан был студентом-художником, когда изобрел оригинальный процесс «Time-Slice», часто называемый «Bullet-Time», для создания фотографий, похожих на кубистские картины.

Теперь мы надеемся расширить этот список с помощью FOVO, новой формы рендеринга изображений, основанной на структуре визуального восприятия и секретных методах, используемых художниками на протяжении сотен лет. чтобы их картины выглядели более реальными. FOVO расшифровывается как «поле обзора открыто», потому что одно из его основных свойств – позволить 3D-движкам визуализировать сверхширокие поля зрения, которые мы наблюдаем в повседневном зрении, гораздо более естественно, чем традиционные методы линейной перспективной графики. Чтобы понять, что мы имеем в виду, посмотрите на сравнение двух рендеров одной и той же сцены в 317 градусное горизонтальное поле зрения в анимированном GIF ниже. То, что выглядит так, будто пространство затягивается водоворотом, – это линейная перспектива. Версия FOVO, мы думаем, вы согласитесь, выглядит более естественно:

Два рендера 3D-сцены, каждый с одинаковым горизонтальным полем обзора (170 º). Один отображается в стандартной линейной перспективе, а другой – в FOVO. Как вы думаете, что выглядит более естественно? В какую игру вы бы предпочли видеть?

Фотографии захватывают свет, а не то, как мы видим

FOVO имеет был изобретен художниками Робертом Пеппереллом и Алистером Берли, которые разделяют глубокий интерес к технологиям визуализации и науке о визуальном восприятии. Это началось как исследовательский проект Кардиффской школы искусств в Великобритании о 19 много лет назад, когда мы начали понимать, что обычные изображения созданные с помощью камер и движков компьютерной графики, не очень хорошо представляли то, что мы видим. Возможно, вам понравится следующий пример: представьте, что вы смотрите на полную луну ясной ночью. Вы достаете свой смартфон, чтобы сохранить момент, и очень разочарованы результатами. Текстурированный светящийся шар, доминирующий в ночном небе, превратился в незначительное пятно на вашем экране. Фотография, как язвительно заметил философ Нельсон Гудман, может сделать из горы кротовину. Когда Поль Сезанн рисовал Мон-Сент-Виктуар, как он это делал много раз, он сделал его большим!

Причина несоответствия между тем, как мы видим, и Что мы фиксируем, так это то, что, несмотря на то, что обычно думают, камеры на самом деле предназначены не для имитации человеческого зрения, а для захвата лучей света и печати их на плоской плоскости. Они отлично справляются с этой задачей и становятся все лучше и лучше. Большинство процессов 3D-рендеринга, включая те, которые широко используются в играх, имитируют оптику камер, используя очень умную математику, и, опять же, они делают это очень хорошо и становятся все лучше. Проблема в том, что люди – не камеры, и хотя мы захватываем свет глазами и фокусируем его с помощью линз, на этом сходство с камерами заканчивается. Наши датчики света расположены не на плоских плоскостях, а на полушариях, и у большинства из нас есть два, каждый из которых состоит из миллионов замысловатых нейронов, которые взаимодействуют друг с другом астрономически сложными способами. И это только начало. Как только нейронные сигналы от глаз попадают во многие области мозга, отвечающие за зрение, вещи действительно становятся очень запутанными.

Конечный результат всей визуальной обработки, происходящей в наших глазах и мозге, – это богатый и обширный опыт, который мы получаем, когда смотрим на мир. И это не фотография. Он не плоский, не моноскопический, не окружен прямоугольной рамкой, и на самом деле это не очень высокое разрешение. Оптическое качество большей части поля зрения настолько низкое, что если бы мы видели только это, мы были бы почти слепыми. Фактически, большая часть того, что мы видим, происходит из крошечной области в центре сетчатки, а остальное составляет мозг! Да, большей части того, что мы видим, на самом деле нет, это то, что мозг думает, скорее всего, там, основываясь на том, что мы видели раньше. И причина, по которой луна или гора кажутся нам такими большими, заключается в том, что наши зрительные системы значительно увеличивают любой объект, на который мы обращаем внимание, и, наоборот, уменьшая любой, чем мы не являемся. При достаточной концентрации вы можете наблюдать это в собственном поле зрения, как показано здесь:

Эти два круга имеют одинаковый размер. Посмотрите на правый круг, сосредотачиваясь на центральном кресте. Теперь обратите внимание на левую, не двигая глазами. Через некоторое время вы можете заметить, что левый кружок стал меньше и даже может изменить форму. Эффект усиливается с практикой.


Естественный рендеринг

Что все это значит? Имеется ввиду для компьютерной графики в целом и для игровой графики в частности? Что ж, если вы хотите создать изображение на плоском экране, которое выглядит и ощущается как глубокий мир, который мы видим в естественном зрении, тогда недостаточно просто захватить пути света и спроецировать их в пиксели. Или, точнее, это просто непрактично с нынешними технологиями. В этом отношении даже гарнитуры VR имеют серьезные ограничения. Чтобы получить самое широкое, самое глубокое и наиболее захватывающее изображение на плоской прямоугольной пиксельной сетке, оказывается (как мы обнаружили после многих лет экспериментов), что вам нужно отбросить свод правил линейной перспективы (первоначально изобретенный художниками) и начать все сначала. Вы должны начать не с моделирования падающего света, а с структуры визуального восприятия и, как это делают художники, соответствующим образом создавать свои изображения.

Это то, что мы делали в темноте в лаборатории художественной школы в Кардиффе, внимательно изучая, как люди на самом деле видят и как визуально Система работает, понимая, как художники переводили визуальный опыт на плоскость на протяжении веков (и, кстати, они почти никогда строго не применяли правила линейной перспективы), и переосмысливая трехмерную компьютерную графику снизу вверх. Результатом является FOVO, новый метод рендеринга трехмерного пространства, имитирующий зрительную систему человека, а не камеры. Мы называем это «Естественный рендеринг», и вот еще один пример:

Это сравнение между FOVO и линейной перспективой показывает проблему «мухи слона из горы» при использовании традиционных технологий построения изображений. Версия FOVO выглядит так, как вы ожидаете увидеть, стоя на фоне ландшафта и глядя на далекий горный хребет.


Ты Можно увидеть разницу: рендер линейной перспективы (который математически и оптически правильный) выглядит неестественно растянутым, а горы в середине изображения – обычно это та часть, которая больше всего интересует людей – крошечные. В рендере FOVO на основе восприятия, напротив, имеется относительно небольшое искажение пространства, а горный хребет на расстоянии намного больше. Когда мы проверили это в лаборатории, мы обнаружили, что люди (что неудивительно) намного лучше оценивают виртуальный размер и расстояние до объектов в рендере FOVO по сравнению с рендером с линейной перспективой. Они также постоянно говорят нам, что изображения FOVO кажутся более захватывающими и что они более вовлечены в пространство. Эффект погружения тем сильнее, чем дольше вы смотрите и чем больше экран, на котором просматривается изображение.

Потратив большую часть последнего десятилетия на разработку этого процесса, и заставляя его работать в 3D-движках в реальном времени, таких как Unity3D и Unreal Engine, мы очень рады видеть, как его можно использовать в таких приложениях, как игры. Геймеры часто жалуются на ограниченное поле зрения, которое у них есть для исследования игровых миров – обычно ограниченное между 92 а также 160 градусов. И это, безусловно, можно улучшить с помощью естественного рендеринга. Но есть и другие аспекты технологии FOVO, которые могут улучшить способ разработки и воспроизведения игр. Одним из неожиданных побочных продуктов модификаций, которые мы внесли в стандартную математику рендеринга, является то, что мы создали очень гибкий манипулятор трехмерной геометрии. Мы были вынуждены сделать это (довольно неохотно!), Потому что было математически невозможно создать естественные эффекты, которые мы хотели, без объединения большинства красивых простых математических вычислений линейной перспективы, которые используются в стандартных 3D-движках. В результате трехмерным пространством можно управлять способами, которые невозможны с помощью стандартных методов проецирования, что позволяет дизайнерам создавать привлекающие внимание пространственные манипуляции, как показано ниже:



Эти тонкие корректировки трехмерного пространства применяются объемно, как и видно по тому, как меняются пути окклюзии в сцене. Это демонстрирует, что процесс FOVO не просто «искажает» 2D-рендеринг в пространстве экрана, но применяет нелинейные преобразования ко всей 3D-геометрии.



Столкновение с роботом-убийцей может быть намного более страшным в режиме FOVO, чем в режиме линейной перспективы при визуализации в том же горизонтальном поле зрения. Обратите внимание на изменение пути окклюзии в роботе по отношению к фону. Такие изменения не могут быть произведены с использованием стандартных методов проецирования.


Сколько это стоит?

Разработчики игр и другие представители индустрии 3D-графики постоянно спрашивают нас о двух вещах: замедлит ли моя игра и нарушит ли это рабочий процесс? Технический ответ в обоих случаях: это зависит от обстоятельств. Что касается производительности, сверхширокий FOVO рендерится в 317 º обычно более высокие налоги, чем стандартные 92 º окна просмотра оптимизированы для линейной перспективы. Но на самом деле FOVO может быть быстрее и (что не менее важно) иметь более высокое качество, чем доступные в настоящее время методы создания сверхшироких полей зрения. Более точный технический ответ заключается в том, что это зависит от вашего бюджета на полигоны и от того, как они распределяются в сцене. Что касается рабочего процесса, опять же, это зависит от того, насколько ваш проект полагается на стандартные функции и инструменты, которые уже встроены в такие пакеты, как Unity3D и Unreal Engine, и от того, сколько настроек вы хотите выполнить. В настоящее время FOVO работает на разных платформах и в разных режимах, и мы постоянно добавляем новые. Но, учитывая множество различных движков и техник рендеринга, мы ожидаем, что в обозримом будущем потребуется определенный объем работы по индивидуальной интеграции, и мы работаем с разработчиками, чтобы сделать интеграцию максимально гладкой и быстрой.

Демо-версия Unity Shooter от первого лица, работающая в режиме HDRP, демонстрирует ту же сцену в сверхшироком поле зрения в стандартной линейной перспективе и FOVO.

Будущее 3D-игр

Как всегда, есть много интересных событий. в 3D-графике и технологиях обработки изображений. Unity имеет свои скриптовые конвейеры рендеринга с высоким разрешением для впечатляющего высококачественного рендеринга в реальном времени (см. Пример с FOVO, реализованным выше). И Epic недавно анонсировала Nanite и показала убедительную демонстрацию, работающую на PS5, со сценой, состоящей из такого количества треугольников, что вы их почти не видели (https://www.youtube.com/watch?v=qC5KtatMcUw). Apple поддерживает создание 3D-изображений в iPad нового поколения, а производительность графического оборудования увеличивается почти в геометрической прогрессии. Эффективное отслеживание глаз, пространственное отслеживание, объемные дисплеи, захват светового поля и многие другие новые игрушки уже на горизонте. Мы не собираемся предсказывать будущее, но кажется разумным поспорить, что мы будем играть с игровыми технологиями, которые будут более захватывающими, более качественными, более отзывчивыми к нашему поведению и, как мы полагаем, более естественными по внешнему виду. . Мы думаем, что FOVO будет частью этой кривой, и будем рады поговорить с любым в игровой индустрии, кто может помочь нам узнать, как это сделать.

Биогс

Роберт Пепперелл является соучредителем Fovotec. Он учился в Художественной школе Слейда при UCL и провел большую часть 2000 пытается создавать потрясающие анимации, музыку и изображения на безнадежно слабых микрокомпьютерах. ( )

Алистер Берли является соучредителем Fovotec. Он изучал сочетание искусства и медиа-технологий в Университете Уэльса в Ньюпорте в 7072 Он работал над всевозможными творческими проектами в области медиа-технологий для крупных клиентов по всему миру. ()

По вопросам, связанным с игровыми технологиями, обращайтесь к Кристоферу Роузу ( )

www.fovotec.com

Leave a comment

Your email address will not be published. Required fields are marked *