Инженеры компании Google открыли одну из тайн камеры последних «пикселей», которая считается одной из лучших среди смартфонов. Не секрет, что поисковый гигант делает ставку на программное обеспечение, которое сочетает в себе множество фирменных технологий, таких, как Night Sight, Photomode, Top Shot и другие. В своем блоге поисковый гигант поделился подробностями работы одной из этих функций.
Top Shot – обновленная версия функции Motion Photo, нашла применение в старых моделях устройств линейки Pixel. При активации этой функции или при переключении камеры в автоматический режим, она снимает короткий видеоклип во время съемки очередного кадра, затем делит его на отдельные фотографии, предлагая владельцу удобный. Подобным образом реализована технология Live Photos на iPhone, но в устройствах от Apple она активируется, если было замечено движение в кадре, – в Google же она срабатывает автоматически.
В блоге разработчиков говорится, что за полторы секунды до и после нажатия на кнопку «затвора» Top Shot позволяет сделать до 90 изображений с высоким разрешением, из которых хранятся два альтернативных снимка и один оригинал, после чего пользователь может выбрать из них наиболее подходящий.
Специальная разработка Visual Core применяется для обработки лучших альтернативных снимков в Pixel 3. Для их создания в смартфонах Google используется специальный алгоритм компьютерного зрения, анализирует освещение, эмоции присутствующих в кадре людей, закрыты или открыты у них глаза, улыбаются ли они или не размытый фон и так далее.
Затем обученная нейронная сеть отбирает подходящие по всем критериям снимки, при этом, далеко не всегда отдавая приоритет лишь снимкам, отобранным только по анализу лица. Например, учитывается и тот момент, есть ли между двумя кадрами значительные отличия, вызванные движением, размытие и другие факторы, влияющие на качество снимка. Во внимание также принимаются автоматическая экспозиция, автофокус и автобаланс.
Чтобы улучшить работу алгоритма, инженеры протестировали его на сотнях добровольцев, чье мнение также учитывалось при создании технологии Night Sight. Это позволило максимально улучшить качество снимков на Pixel 3.
