Ръководство за новата технология за топене на реалността в камерата на телефона ви

защо

Когато известен YouTuber на име Lewis Hilsenteger (известен още като „Unbox Therapy“) тестваше новия модел iPhone тази есен, XS, той забеляза нещо: Кожата му беше изключително гладка в предната селфи камера на устройството, особено в сравнение с по-старите модели iPhone . Хилсентегер го сравнява с един вид дигитален грим. „Не изглеждам така“, каза той във видео, демонстриращо явлението. "Това е странно ... изглеждам сякаш нося фон дьо тен."

Той не е единственият, който е забелязал ефекта, въпреки че Apple не е признал, че прави нещо различно от преди. Говорейки като дългогодишен потребител на iPhone и фотограф любител, намирам за неоспоримо, че портретният режим - технология за маркиране в най-новото издание на най-популярните телефони в света - е светнал. В продължение на седмици на правене на снимки с устройството осъзнах, че камерата е преминала праг между снимка и фауктограф. Не толкова „снимах“, колкото телефонът ги синтезира.

Това не е съвсем ново явление: Всеки цифров фотоапарат използва алгоритми за трансформиране на различните дължини на вълните на светлината, които удрят неговия сензор, в действително изображение. Хората винаги са търсили добра светлина. В ерата на смартфоните приложенията от Snapchat до FaceApp до Beauty Plus предлагат да надстроят лицето ви. Други телефони имат елиминиращ недостатъците „режим на красота“, който също можете да включите или изключите. Това, което прави iPhone XS изглаждането на кожата забележително, е, че той просто е по подразбиране за камерата. Направете селфи и това е, което получавате.

Тези изображения не са фалшиви, точно. Но те също не са снимки, както са били разбирани в дните преди да правите снимки с компютър.

Това, което се промени, е следното: Камерите знаят твърде много. Всички камери улавят информация за света - в миналото тя е била записвана от химикали, взаимодействащи с фотони, и по дефиниция снимката е била една експозиция, къса или дълга, на сензор към светлина. Сега под капака телефонните камери изтеглят информация от множество входове за изображения в един изход за картина, заедно с рисуване върху невронни мрежи, обучени да разбират сцените, към които са насочени. Използвайки тази друга информация, както и индивидуална експозиция, компютърът синтезира окончателното изображение, все по-автоматично и невидимо.

Още истории

Сухият лед е по-горещ от всякога

Как ще си спомни бъдещето COVID-19?

Американците се умориха да изглеждат зле при увеличение

Следващият проблем на Тръмп на Twitter

Залогът може да бъде голям: Изкуственият интелект улеснява синтезирането на видеоклипове в нови, измислени, често наричани „дълбоки фалшификати“. „Скоро ще заживеем в свят, в който очите ни рутинно ни заблуждават“, написа моят колега Франклин Фоър. „Казано по друг начин, ние не сме толкова далеч от колапса на реалността.“ Дълбоките фалшификати са един от начините за топене на реалността; друга е промяната на обикновената телефонна снимка от прилично сближаване на реалността, която виждаме с очите си, на нещо много по-различно. Той е повсеместен и с ниска температура, но не по-малко ефективен. И вероятно много по-важно за бъдещето на технологичните компании.

В „Как да видим света“ медийният учен Николас Мирзоев нарича фотографията „начин да видим света, разрешен от машини“. Говорим не само за използването на машини, но и за „мрежовото общество“, в което те произвеждат изображения. И за Мирзоев няма по-добър пример за „новата мрежова, градска глобална младежка култура“ от селфито.

Производителите на телефони и производителите на приложения изглежда са съгласни, че селфитата управляват техните бизнес екосистеми. Те са посветили огромни ресурси за заснемане на лица. Apple буквално създаде нови силиконови чипове, за да може, както обещават от компанията, да разгледа лицето ви „още преди да снимате“. Първо, има разпознаване на лицето. След това телефонът фиксира „забележителностите“ на лицето, за да знае къде са очите и устата и други функции. И накрая, лицето и останалата част от предния план се картографират в дълбочина, така че дадено лице може да изскочи от фона. Всички тези данни са достъпни за разработчиците на приложения, което е една от причините за разпространението на приложения за манипулиране на лицето, като Mug Life, който прави единични снимки и ги превръща в квазиреалистични фалшиви видеоклипове по команда.

Цялата тази работа, която беше изключително трудна преди десетилетие и беше възможна само на облачни сървъри съвсем наскоро, сега работи директно по телефона, както Apple описа. Компанията обучи един модел за машинно обучение, за да намира лица в огромен брой изображения. Моделът обаче беше твърде голям, така че те обучиха по-малка версия на изходите на първата. Този трик направи възможно стартирането му на телефон. Всяка снимка, която всеки iPhone прави, благодарение, в някаква малка част, на тези милиони изображения, филтрирани два пъти през огромна система за машинно обучение.

Но не само камерата знае, че има лице и къде са очите. Камерите също така заснемат множество изображения в момента, за да синтезират нови. Night Sight, нова функция за Google Pixel, е най-добре обясненият пример за това как работи. Google разработи нови техники за комбиниране на множество по-ниски (шумни, тъмни) изображения в едно превъзходно (по-чисто, по-ярко) изображение. Всяка снимка наистина е комбинация от куп снимки, заснети около централната експозиция. Но след това, както и при Apple, Google използва алгоритми за машинно обучение в горната част на тези изображения. Тази, която компанията е описала публично, помага за балансиране на бялото - което помага да се осигурят реалистични цветове в картина - при слаба светлина. Той също така каза на Verge, че „машинното му обучение открива какви обекти има в рамката, а камерата е достатъчно умна, за да знае какъв цвят трябва да имат“. Помислете колко различно е това от нормалната снимка. Камерата на Google не заснема това, което е, но това, което статистически е вероятно.

Снимането става все по-автоматично. Това е като търговските пилоти, които летят със самолети: Те са в ръчен контрол само за малък процент от дадено пътуване. Нашите телефон-компютър-камери безпроблемно, невидимо размиват разликите между нещата, които може да прави камерата, и нещата, които компютърът може да направи. Съществуват приемствености с вече съществуващи техники, разбира се, но само ако начертаете напредъка на цифровата фотография в някакъв логаритмичен мащаб.

Снимките с висок динамичен обхват или HDR стават популярни през 2000-те години, доминирайки в ранния сайт за споделяне на снимки Flickr. Фотографите заснеха множество (обикновено три) изображения на една и съща сцена при различни експозиции. След това те подредиха изображенията една върху друга и взеха информацията за сенките от най-ярката снимка и информацията за акцентите от най-тъмната снимка. Съберете ги всички заедно и те биха могли да генерират красива сюрреалност. В правилните ръце HDR снимката може да създаде сцена, която много повече прилича на това, което виждат очите ни, отколкото това, което повечето камери обикновено произвеждат.

Очите ни, особено при условия на променлива яркост, могат да компенсират динамично. Опитайте да направите снимка на Луната например. Луната сама по себе си е много ярка и ако се опитате да я снимате, трябва да я изложите така, сякаш е на обяд. Но нощта очевидно е тъмна и затова, за да се получи лунна снимка с детайли, останалата част от сцената е по същество черна. Очите ни без проблем виждат както луната, така и земния пейзаж.

Google и Apple искат да направят HDR процеса толкова автоматичен, колкото корекциите на нашите очи. Те са включили HDR в камерите си по подразбиране, като черпят от поредица от изображения (Google използва до 15). HDR стана просто начин за правене на снимки за повечето хора. Както при изглаждането на кожата, вече няма значение дали това ще видят очите ни. Целта на някои нови продукти е да надминем впечатляващите визуални способности на нашите тела. „Целта на Night Sight е да направи снимки на сцени толкова тъмни, че да не можете да ги видите ясно със собствените си очи - почти като суперсила!“ Google пише.

От 19-ти век камерите могат да заснемат изображения с различни скорости, дължини на вълните и увеличения, които разкриват скрити досега светове. Очарователното за настоящите промени в телефонната фотография е, че те са толкова разкриващи как искаме да изглеждаме, колкото и разследвания на света. Сякаш сме открили сонда за намиране и споделяне на версии на лицата си - или дори себе си - и именно този процес сега управлява поведението на най-иновативните, най-печелившите компании в света.

Междувременно компаниите и правителствата могат да направят нещо друго с вашето лице: да създадат технологии за разпознаване на лица, които превръщат всяка камера в машина за наблюдение. Google се ангажира да не продава продукт за „разпознаване на лица с общо предназначение“, докато етичните проблеми с технологията не бъдат решени, но Amazon Rekognance вече е на разположение, както и Face API на Microsoft, за да не говорим за още по-обширни китайски интернет компании усилия.

Глобалната икономика е свързана с вашето лице. И е готов да премести небето и Земята, за да ви позволи да видите това, което искате да видите.