За возможности вычислительной фотографии отвечает чипсет
Технологические возможности Qualcomm Spectra заточены под выполнение целого ряда задач по съемке фото и видео. Да, для реализации продвинутых алгоритмов вычислительной фотографии действительно нужна производительная аппаратная часть смартфона. В число задач, которые ложатся на ее плечи, входит цифровое размытие заднего плана для уменьшая глубины резкости и создания боке с целью имитации использования профессиональной фототехники. Сюда же относится обработка цвета с использованием расширенного динамического диапазона. Нельзя не отметить и одновременную работу сразу нескольких камер из общего модуля, а также электронную стабилизацию изображения для компенсации тряски и удивительные возможности современного цифрового зума.
При рассмотрении аппаратных возможностей важно отметить, что каждый из чипов Snapdragon — не просто процессор для прямых вычислительных задач. Вместо этого он состоит из множества различных компонентов, каждый из которых имеет свои особенности и возможности, многие из которых как раз используются для потребностей вычислительной фотографии. Кроме центрального процессора Qualcomm Kryo и процессора обработки изображений Qualcomm Spectra, который используется для получения фотографий, частью чипсета также является цифровой сигнальный процессор Qualcomm Hexagon и графический процессор Qualcomm Adreno. Пара последних, в том числе, отлично подходят для обработки сложных алгоритмов визуализации. Использование всех этих компонентов в рамках платформы в мобильной индустрии называют гетерогенной обработкой.
Объединение возможностей нескольких компонентов для обработки изображения в рамках чипсета, в том числе, повышает производительность и энергоэффективность вычислительной фотографии
Каждый из данных компонентов полезен для помощи процессору обработки изображений (Qualcomm Spectra) в разных программных алгоритмах, которые используются во время работы технологий вычислительной фотографии. К примеру, центральный процессор (Qualcomm Kryo) предлагает куда большую производительность там, где алгоритм не требует разветвленной структуры и одновременного выполнения нескольких операций. А вот с алгоритмами, которые предполагают одновременное параллельное использование сразу нескольких операций, лучше всего справляется именно графический процессор (Qualcomm Adreno) — в число подобных задач, к примеру, входит работа HDR. В конце концов, для работы технологий машинного обучения, которые используются для обнаружения объектов в кадре, лучше всего подходит цифровой сигнальный процессор (Qualcomm Hexagon).
В качестве реального примера можно рассмотреть цифровую стабилизацию изображения или EIS. При использовании чипсетов Snapdragon ее реализация возможна без каких-либо дополнительных механических деталей или других манипуляций производителей смартфонов. Тряска и другие виды движения гаджета распознаются с помощью аппаратного акселерометра мобильного устройства, после этого в работу включаются алгоритмы компенсации на базе графического процессора, и процессор обработки изображений может получить очень стабильную картинку в нужное время. Именно поэтому снимки не получаются размытыми, даже если у вас дрожат руки, или вы просто двигаетесь с запущенным видоискателем.
В флагманском Qualcomm Snapdragon 855 используется процессор обработки изображений Spectra 380, в Snapdragon 730 — Spectra 350. Кроме прочего, они оснащены специальными компонентами для обработки компьютерного зрения для еще более эффективного ускорения во время съемки. Это дает данным компонентам чипсета самостоятельно заниматься обнаружением объектов в кадре, размывать задний план в реальном времени даже при съемке видео в 4K в формате HDR. В данном случае освобождаются ресурсы центрального, а также графического и цифрового сигнального процессоров.
Какие возможности вычислительной фотографии сегодня важны
Портретный режим
Портретный режим используется для цифрового размытия заднего плана — в данном случае создается эффект боке и ощущение использование профессиональной фототехники. Более того, аналогичным образом сегодня также работает возможность замены фона для кардинального изменения внешнего вида изображения.
Чтобы создать программный эффект размытия, камере требуется информация о глубине сцены, в рамках которой проводится съемка. Есть несколько способов, как ее можно получить. Для этого, к примеру, может использоваться специальная камера глубины или особенный датчик определения фактического расстояния до конкретного объекта. В качестве альтернативы мобильное устройство с несколькими камерами также может использовать сразу пару снимков с разными фокусными расстояниями. Используется и последовательная съемка на одну камеру с несколькими разными точками фокусировки.
Когда смартфон получает данные с несколькими фокусными расстояниями, в процесс вступают специальные стереоалгоритмы. Их работа аналогична возможностям человеческих глаз различать, какие из объектов находятся на переднем плане, а какие располагаются на заднем. Следующим шагом идет применение специального алгоритма размытия, который должен сделать менее резкими объекты, которые находятся не в фокусе. Преимуществом данного метода обычно является то, что находящийся в фокусе объект, степень размытия и интенсивность других эффектов — все это может быть изменено вручную уже после проведения съемки. Кстати, все эти данные могут быть сохранены в формате изображения HEIF.
«Портрет» выключен
«Портрет» включен
Благодаря использованию процессоров обработки изображений Qualcomm Spectra нового поколения, сегодня смартфоны могут могут применять размытие заднего плана не только на фото, но и при записи видео в режиме реального времени. Более того, сегодня эти процессоры поддерживают широкий динамический диапазон и 10-битное качество.
Цифровой зум
Чтобы создать идеальное изображение во время съемки, часто требуется использование приближения — оптический зум вместе с телеобъективом в данном случае оказывается очень кстати. Тем не менее, во-первых, не все смартфоны оборудованы дополнительными камерами, которые используют соответствующие объективы, и, во-вторых, они не всегда оснащены необходимым диапазоном приближения. В общем, без цифрового зума обойтись достаточно сложно. Тем не менее, при использовании возможностей вычислительной фотографии добиться качественного фото вместе с ним можно даже при использовании одной камеры.
На базе чипсетов из линейки Snapdragon компания Qualcomm реализовала технологию OptiZoom, которая предназначена для быстрого создания серии из дюжины фотографий и определения сходств и различный между отдельными пикселями. Минимальные отклонения на снимках используются для сбора дополнительных деталей, которые помогают создать изображение с высоким разрешением и более полным набором дополнительных деталей.
Цифровое увеличение 2,6× без постобработки
Цифровое увеличение 2,6× с постобработкой
Подобный метод цифрового приближения также называют зумом сверхвысокого разрешения, и он чаще всего дает намного более качественные результаты, чем цифровое кадрирование вашей картинки после нажатия кнопки спуска затвора.
Расширенный динамический диапазон (HDR)
Использование расширенного динамического диапазона требуется в сценах с большим разбросом между светлыми и темными участками. Он предназначен для того, чтобы избежать чересчур большой, а также слишком малой экспозиции. К примеру, если вы пытаетесь сфотографировать любой объект на слишком ярко освещенном фоне, без HDR не обойтись. Это же касается съемки в темноте с одним источником света.
Чтобы создать изображение с широким динамическим диапазоном, смартфоны делают несколько изображений с разными параметрами экспозиции, а потом комбинируют их в одну фотографию. В данном случае на более темных снимках светлые участки начинают показываться более правильно — к примеру, это актуально при съемке объектов на фоне освещенного солнцем неба.
HDR выключен
HDR включен
Специальные алгоритмы объединяют детали из всех изображений вместе, чтобы создать картинку, которая сможет предложить лучшие световые эффекты и тени, чем у базовой фотографии. Кстати, при использовании HDR технологии Qualcomm также следят за тем, чтобы избежать размытия объектов при движении в кадре.
Подводя итоги: вычислительная фотографии важнее самой камеры
В современном мире спецификации камеры — это только верхушка айсберга. Продвинутые смартфоны куда больше ориентируются именно на передовые технологии обработки, а также многочисленные алгоритмы, которые призваны сократить разрыв в качестве с профессиональными зеркальными камерами. Все это называют вычислительной фотографией — после прочтения данной статьи это понятие должно стать для вас более понятным.
Это перевод материала Android Authority.
Источник: