Этот ИИ может обнаружить скрытые связи между великие произведения искусства

Университет Монаша и КМТИ разработки AI и устройства АР для чтения эмоциональных сигналов

Смотреть Сейчас

Когда студент в MIT CSAIL Доктор Марк Гамильтон видел в прошлом году «Рембрандт и Веласкес» выставка в Амстердаме, в Рейксмузеуме, он был удивлен увидеть, что некоторые произведения искусства, которые не имеют связи на бумаге, может выглядеть пугающе похож на реальность.

Кураторы выставки были парные Франсиско де Сурбарана Мученичество святого Серапиона, 17-го века испанской религиозной живописи, с Jan Asselijn это грозит Стрежевой, голландское полотно из такого же возраста. В то время как художники никогда не встречались друг с другом в течение своей жизни два произведения показывают, какое четкое визуальное сходство.

mit-man-and-swan.png

Исследователи были вдохновлены вряд ли, но похожие сопряжения: Франсиско де Сурбарана, Святой Серапион (слева) и Jan Asselijn это грозит Лебедь (справа).


Изображение: в MIT CSAIL

Он получил Хэмилтон думает о другой скрытые ссылки, которые могут быть обнаружены в истории искусства. Исследователь и его команда в партнерстве с Microsoft, в настоящее время представила новый алгоритм, который принимает технологию поиска изображений на шаг дальше, чтобы работать через миллионы картин через тысячи лет и найти неожиданные параллели в темы, мотивы и визуальные стили.

Название «Мозаика», в настоящее время система работает на базах данных работ из Музея Метрополитен и Музея. Из одного изображения, инструмент может устанавливать связи в любой культуре или медиа пользователя интересует, и быстро достичь числа ближайших возможных работ, соответствующие исходному запросу.

Мозаика, например, был представлен голландский двойной стороны Баньян, анонимный предмет одежды с конца 18 века, и нашли сходство с китайским керамическая статуэтка. Связь можно проследить поток из фарфора и иконографии с китайского на голландский рынки между 16 и 20-го веков.

mit-media-culture-image.pngmit-media-culture-image.png

Мозаика была представлена с голландским двойной стороны Баньян, и нашли сходство с китайским керамическая статуэтка.


Изображение: в MIT CSAIL

Разработать мозаики, исследовательская группа использовала систему поиска изображений и известный «к-ближайших соседей алгоритм» (КНН), который широко использован для того чтобы находить предметы по сходству, по рекомендации продукта например.

Однако, как правило, изображения поисковым системам, которые включены по алгоритму KNN присутствуют некоторые ограничения. Область запроса эффективного общества: в случае с картинами, пользователи могут только попросить подобные произведения конкретного художника. Или они могут работать так называемые «безусловные» запросов, и постепенно фильтровать их через результаты, пока они не получили точный ответ, что этот процесс является дорогостоящим и трудоемким.

Гамильтон и его команда, вместо этого, создали условный образ-поисковая система (ЦИР), который делегирует фильтрующего алгоритма. Исследователи до сих пор используется алгоритм КНН, но позволило ему добавить «условия», как текстура, содержание, цвет и поза, в то время как программа выполняется, пока не будет достигнут ближайший матч для исходного запроса.

Этот процесс называется условный КНН дерева: алгоритм группирует похожие образы объединены в древовидную структуру, и начиная от ствола, применяет новые фильтры, как она поднимается вверх, следующие наиболее перспективные отрасли пока не находит наиболее точного изображения.

Гамильтон сказал: «ограничение системы поиска изображений на отдельные подгруппы изображений может привести к новому пониманию взаимоотношений в визуальный мир. Мы стремимся, чтобы поощрить новый уровень взаимодействия с творческими артефактами».

Признавая, что технология не побить рекорды скорости, команда исследователей говорит, что Цира может улучшить разнообразие, результат в простой и эффективный способ.

И новые технологии не ограничивается оформлением запросов. Гамильтон и его коллеги предвидеть ряд приложений для нового алгоритма, в том числе с использованием мозаики, чтобы лучше изучить deepfakes, и особенно там, где deepfakes большинство бороться, чтобы модель реальности.

Алгоритм, время работы свой путь к вершине дерева, чтобы найти образ, который лучше всего соответствует реальной картине, в то же время оставляя на его ветках – фотографии, которые он считает, не представляют собой оригинальных ввода.

Вернувшись в те отрасли, исследователи могут увидеть, какие образы deepfakes, а также какие условия или фильтры, убежден алгоритм, чтобы оставить их позади – как правило, потому что deepfake не удалось точно представлять определенный элемент реальности, как микрофон или шляпу.

Хотя иногда невидимые человеческому глазу, эти «слепые пятна» — вот что отличает утонченный deepfake от подлинного изображения.

Хэмилтон надеется, что мозаика будет использоваться во многих других областях, начиная от социологии до медицины. «Эти месторождения богаты информацией, которая никогда не была обработана с этими методиками и могут быть источником великого вдохновения для компьютерных ученых и специалистов в данной области», — сказал он.

mit-deep-fakes.pngmit-deep-fakes.png

Вернувшись в те отрасли, исследователи могут увидеть, какие образы deepfakes, а также какие условия или фильтры, убежден алгоритм, чтобы оставить их позади.


Изображение: в MIT CSAIL

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *