Красота в деталях: ученые Вышки и AIRI разработали метод высококачественного редактирования изображений
Исследователи Центра ИИ НИУ ВШЭ, AIRI и Бременского университета разработали новый метод редактирования изображений на основе глубинного обучения — StyleFeatureEditor. Он позволяет точно воссоздавать мельчайшие детали изображения и сохранять их при редактировании. С его помощью пользователи смогут изменять цвет волос или выражение лица без потери качества изображения. Результаты работы опубликованы на самой цитируемой конференции по компьютерному зрению CVPR 2024.
Искусственный интеллект уже научился генерировать изображения и редактировать их. Это стало возможным благодаря генеративно-состязательным нейросетям (GANs — generative adversarial networks). Архитектура предполагает две независимые сети: генератор производит изображения, дискриминатор различает реальные и сгенерированные образцы, и они соревнуются друг с другом. Новым этапом в развитии генеративно-состязательных сетей стала модель StyleGAN. Она может генерировать изображения и изменять их отдельные части по запросу пользователя, но не умеет работать с реальными фото или картинками.
Исследователи Центра ИИ НИУ ВШЭ, AIRI и Бременского университета предложили способ быстро и качественно редактировать реальные изображения. Ученые создали метод (StyleFeatureEditor) с двумя модулями: первый воссоздает (реконструирует) исходное изображение, а второй редактирует эту реконструкцию. Результат работы модулей передается в StyleGAN в понятном для нейросети наборе внутренних представлений, из которых и создается редактированное изображение. При этом разработчикам удалось решить проблемы, которые возникали в предыдущих исследованиях: при небольшом наборе представлений нейросеть хорошо редактировала изображение, но теряла детали исходного изображения, а при большом наборе все детали сохранялись, но нейросеть не понимала, как их правильно преобразовать с учетом поставленной задачи.
Для решения этой проблемы исследователи предложили следующее: первый модуль ищет и большие, и маленькие представления, а второй учится редактировать большие на примере редактуры маленьких представлений.
Однако, чтобы обучить эти модули правильно редактировать представления, нейросети нужны настоящие изображения и их отредактированные версии.
Денис Бобков
«Нам нужны были образцы, например одно и то же лицо с разной мимикой, прической, деталями. К сожалению, таких пар изображений не существует на данный момент. И мы придумали хитрость: с помощью метода, работающего с малыми представлениями, мы создали реконструкцию настоящего изображения и пример редактирования этой реконструкции. Несмотря на то что получились довольно простые примеры без деталей, модель четко поняла, как правильно совершать редактирования», — рассказывает один из авторов статьи, стажер-исследователь Центра глубинного обучения и байесовских методов Института искусственного интеллекта и цифровых наук ФКН, младший научный сотрудник лаборатории Fusion Brain AIRI Денис Бобков.
Однако обучение только на сгенерированных (простых) примерах ведет к потере деталей при работе с реальными (сложными) изображениями. Чтобы этого не происходило, ученые добавили реальные изображения в обучающую выборку. И нейросеть училась воссоздавать их в деталях.
Таким образом, показав модели и как редактировать простые, и как воссоздавать сложные изображения, ученым удалось создать условия, при которых нейросеть научилась редактировать сложные изображения. В частности, разработанный подход справляется с добавлением новых элементов стиля, а также лучше сохраняет детали исходных изображений по сравнению с другими существующими методами.
![](/mirror/pubs/share/direct/958806946.jpg)
В случае простой реконструкции (первый ряд) StyleFeatureEditor аккуратно воспроизвел шляпку, в то время как большинство других методов ее практически потеряло. Лучшее качество разработанный метод показал в случае добавления аксессуаров (третий ряд): большинство методов справились с добавлением очков, но только StyleFeatureEditor сохранил исходный цвет глаз.
Айбек Аланов
«Благодаря технике обучения на сгенерированных данных, мы получили модель с хорошим качеством редактирования, а также быструю скорость работы за счет использования подхода с достаточно легковесными нейросетями. Фреймворку StyleFeatureEditor требуется всего 0,07 секунды на редактирование одного изображения», — говорит Айбек Аланов, заведующий Центром глубинного обучения и байесовских методов Института искусственного интеллекта и цифровых наук ФКН, руководитель научной группы «Контролируемый генеративный ИИ» лаборатории Fusion Brain AIRI.
Исследование поддержано грантом для исследовательских центров в области искусственного интеллекта, предоставленным Аналитическим центром при Правительстве РФ.
Результаты исследования будут представлены в докладе на ежегодной конференция по искусственному интеллекту и машинному обучению Fall into ML 2024, которая пройдет в НИУ ВШЭ 25-26 октября. На площадке Высшей школы экономики ведущие ученые в области искусственного интеллекта обсудят лучшие работы, опубликованные на конференциях А* в 2024 году — флагманских событиях этой области. Демо разработанного метода можно опробовать на HuggingFace, код — в Github репозитории.
Вам также может быть интересно:
НИУ ВШЭ и «Яндекс» проведут международную олимпиаду по ИИ для студентов
Факультет компьютерных наук НИУ ВШЭ и «Яндекс Образование» открывают набор на участие в олимпиаде Artificial Intelligence and Data Analysis Olympiad (AIDAO). Это первая совместная олимпиада по искусственному интеллекту университета и ИТ-компании для студентов разных стран. Участники попробуют силы в решении сложных задач из сферы науки и индустрии и познакомятся с экспертами из Вышки и «Яндекса», а победители получат денежные призы.
Искусственный интеллект в университете: вызовы и задачи
На форуме «Технопром-2024», прошедшем в Новосибирске, Высшая школа экономики организовала круглый стол, посвященный обсуждению роли искусственного интеллекта в образовании. Как технологии ИИ помогают выводить качество образования в НИУ ВШЭ на новый уровень, рассказали представители университета.
Победители Международной олимпиады по ИИ поступили в НИУ ВШЭ
В середине августа в Болгарии состоялся финал первой Международной олимпиады по искусственному интеллекту (IOAI) среди старшеклассников. Сборная России показала отличный результат: в научном туре команда завоевала золотые медали, в практическом — серебряные и оказалась первой по сумме баллов за оба тура. Два участника сборной в этом году стали студентами факультета компьютерных наук ВШЭ.
В систему добровольной сертификации в области ИИ «Интеллометрика» включены первые лаборатории
В России вступает в действие система добровольной сертификации технологий искусственного интеллекта «Интеллометрика», использующая методический подход, разработанный учеными Высшей школы экономики. Допуск получили первые три лаборатории, которые смогут проводить испытания в сфере ИИ и выдавать по их итогам соответствующие протоколы, и один орган по сертификации.
В Вышке изучили, как студенты российских вузов осваивают технологии ИИ
Институт статистических исследований и экономики знаний НИУ ВШЭ анализирует масштабы и условия обучения технологиям искусственного интеллекта в университетах страны, для которых это становится важной частью подготовки высококвалифицированных кадров не только в сфере ИКТ, но и в других отраслях экономики. Исследование реализуется в рамках федерального проекта «Искусственный интеллект» при поддержке Минэкономразвития России.
Законы физики: как Высшая школа экономики стала Высшей школой IT-технологий и ИИ
Сотрудничество лидеров IT-индустрии и ведущих вузов в подготовке высококлассных специалистов стало ключевым трендом последних лет. Как построено IT-образование в Вышке и как университет стал лидером в сфере искусственного интеллекта, рассказал ректор НИУ ВШЭ Никита Анисимов на пресс-завтраке «Яндекс Образования» «Бигтехи и университеты: итоги приемной кампании — 2024/25 и модели партнерства».
Территория будущего: Вышка Онлайн принимает участие в фестивале «Москва 2030»
Пространство онлайн-кампуса НИУ ВШЭ открылось на фестивале «Территория будущего. Москва 2030», который проходит на нескольких знаковых площадках столицы в августе — сентябре. Гостей Вышки Онлайн ждут лекции и мастер-классы, карьерные консультации, нетворкинг, VR-квесты и развлечения.
ИИ и чат-боты: будущее образования уже здесь
Нейросети открывают новые возможности для образовательного процесса. Об их использовании в образовании для построения чат-ботов ученые НИУ ВШЭ рассказали на интерактивной лекции в рамках фестиваля-форума «Москва 2030». Эксперты поделились опытом разработки ИИ-помощника для студентов в рамках стратегического проекта «ИИ-технологии для человека».
Искусственный интеллект с Харизмой
Высшая школа экономики активно использует передовые цифровые технологии в науке и образовании. Рассказываем в нашей статье о том, как суперкомпьютер помогает исследователям университета.
Студенты НИУ ВШЭ успешно защитили дипломы, в работе над которыми применили YandexGPT
Этим летом студенты нескольких направлений подготовки НИУ ВШЭ — «Философия», «Медиакоммуникации», «Международные отношения» и «Востоковедение» — впервые использовали нейросеть в процессе написания дипломных и курсовых работ. Университет разрешил применять возможности YandexGPT, генеративной технологии Яндекса, для решения заранее определённого перечня задач, на которые обычно у студента уходит много времени. Она помогала собирать, анализировать и обобщать информацию, проверять текст на ошибки и править оформление, а также разбираться в сложных темах и структурировать ход размышлений.