Команда науковців із Лабораторії обчислювальної фотографії при Університеті Саймона Фрейзера (SFU) розробила новий інструмент для редагування зображень, який дозволяє в прямому сенсі “керувати світлом” на вже готовій фотографії, повідомляє TechXplore. Проєкт “Фізично кероване переосвітлення фотографій” представлений на цьогорічній конференції SIGGRAPH у Ванкувері, пропонує інноваційний підхід до задачі повторного освітлення – однієї з найскладніших проблем в обробці зображень.
Традиційно змінити освітлення на вже відзнятому кадрі можна лише частково, через генеративні нейромережі, які часто працюють як “чорна скринька”: результат не завжди прогнозований, а контроль над ним обмежений. Натомість новий метод надає фотографам і дизайнерам фізично точний контроль за світлом, аналогічний до можливостей програм 3D-графіки, таких як Blender або Unreal Engine.
“Після створення 3D-сцени користувачі можуть розміщувати в ній віртуальні джерела світла, так само як вони це роблять у справжній фотостудії або програмному забезпеченні для 3D-моделювання”, – пояснює Кріс Карега, докторант SFU та провідний автор дослідження.
На цьому етапі система моделює сцени з новим освітленням за допомогою методів комп’ютерної графіки. Для фінального вигляду використовується нейромережа, яка перетворює цей грубий рендер на реалістичне фото.
“Наш підхід унікальний тим, що він надає користувачам такий самий контроль освітлення, який ви очікуєте в 3D-інструментах, таких як Blender або Unreal Engine. Симулюючи освітлення, ми гарантуємо, що наш результат буде фізично точним відтворенням бажаного користувачем освітлення”, – додає Карега.
У дослідженні наголошується, що такий інструмент має великий потенціал для незалежних кінематографістів, фотографів і контент-мейкерів. За словами керівника лабораторії, доктора Ягіза Аксоя, нова технологія дозволяє уникнути додаткових витрат на техніку, або перезйомки сцен, зі збереженням авторського задуму.
“Це важливо для творчих людей. Замість того щоб покладатися на генеративний ШІ, який вгадує ваше бачення, ви самі керуєте світлом у межах реалістичної сцени”, – підкреслює Аксой.
В основі нової методики лежить попередня розробка команди з внутрішнього розкладання сцени, яка дозволила ізолювати об'єкти, текстури йструктуру кадру. Саме це стало фундаментом для точного переосвітлення, і дає змогу моделювати, як би виглядала сцена з іншим напрямком чи типом освітлення.
Робота отримала схвальні відгуки в експертному середовищі та вже привернула увагу представників індустрії візуальних ефектів. Більше інформації та демонстрацій доступно на офіційній сторінці Лабораторії обчислювальної фотографії SFU.
Нещодавно остаточно підтвердився один із центральних принципів квантової механіки – комплементарність, згідно з якою світло не може одночасно проявляти себе і як хвиля, і як частинка. Вчені відтворили модернізовану версію класичного дослідження з подвійною щілиною, використовуючи замість щілин 10 тисяч охолоджених атомів, що дозволило отримати надточні результати. Дані суперечать гіпотезі Ейнштейна про можливість спільного спостереження обох властивостей світла й підтверджують правоту Нільса Бора.
