Астрономы используют методы изучения галактик для поиска дипфейков

Суть вот в чем: анализируя портреты с помощью астрономических инструментов, можно измерить, как свет отражается в зрачках человека. Именно эти крошечные блики и выдают грубую или искусную подделку. Звучит как сюжет для научной фантастики, но это реальность.

«Это не волшебная палочка, — сразу предупреждает Кевин Пимблет, директор Центра передового опыта в области науки о данных из Университета Халла. — Бывают и ошибки, ложные срабатывания». Его доклад был представлен на престижном Национальном астрономическом собрании в Великобритании. «Но это еще один инструмент в нашем арсенале, — продолжает он, — чтобы попытаться отличить правду от вымысла». Не слишком ли мы полагаемся на технологии, чтобы исправлять ошибки других технологий?

Фотография: новый рубеж подделок

Современные алгоритмы стирают грань между реальным и сгенерированным. Дипфейки могут заменить черты лица или заставить человека «произнести» слова, которых он никогда не говорил. Власти бьют тревогу: эта технология — идеальное оружие для дезинформации, особенно в горячие периоды вроде избирательных кампаний. Мы уверены, что сможем отличить правду?

Подлинная фотография, как и любой физический объект, подчиняется законам света, объясняет Пимблет. «Блики в левом и правом глазу должны быть согласованы, они не могут кардинально различаться». Различия эти, конечно, микроскопические. Чтобы их уловить, исследователи и позаимствовали методы из арсенала астрофизиков, привыкших анализировать самый тусклый свет во Вселенной.

В своем исследовании (еще ждущем публикации) команда взяла настоящие фотографии людей из открытой базы Flickr-Faces-HQ и создала поддельные лица с помощью нейросетей. Затем соавтор работы Адеджумоке Оволаби приступил к детективной работе, изучая отражения в глазах с помощью двух астрономических метрик: системы CAS и индекса Джини.

Система CAS десятилетиями помогает астрономам описывать далекие галактики, измеряя концентрацию, асимметрию и плавность распределения света. Индекс Джини, в свою очередь, оценивает неравномерность этого распределения. Представьте: те же формулы, что описывают форму спиральных рукавов Туманности Андромеды, теперь исследуют блеск в человеческом глазу.

Сравнивая блики в зрачках, Оволаби смог определить подделку с точностью около 70%. В итоге выяснилось, что индекс Джини справился с этой необычной задачей даже лучше, чем классическая система CAS.

Астрофизик Брэнт Роберстон из Калифорнийского университета поддерживает эту работу, но делает важное замечание. «Если вы создали метрику, которая оценивает реалистичность дипфейка, — говорит он, — то ту же метрику можно использовать для обучения новых алгоритмов, которые будут создавать еще более совершенные подделки». Получается, мы участвуем в технологической гонке, где каждый шаг вперед тут же создает нового, более умного противника.