Замена лица на видео, обзор лучших нейросетей
DeepFake давно не новость, он уже давно будоражит людей. Для одних это прикольная игрушка, другие видят в этом угрозу безопасности. Давайте разберемся, что за нейросети для замены лиц, почему их запретили на законодательном уровне в ряде стран и как пользоваться ИИ.
Что такое замена лица на видео и как это работает?
DeepFake или замена лица — это технология, которая базируется на основе нейросети типа GAN. Работает она на фото или видео кадрах. Работает это по принципу состязания алгоритмов, само понятие DeepFake основано на Deep- обучение, fake — обман. То есть две нейросети крадут алгоритмы друг друга, или проще говоря, соревнуются на результат. Контролировать обучение нейросети в этом варианте совершенно не нужно, с каждым запросом они получают все больше данных самостоятельно.
При этом, для создания замены лиц, нейросети поставлена задача не конкурировать, а подсказывать друг другу. В этом случае одна нейросеть выстраивает человеческое лицо, а вторая убирает недостатки. Этот процесс повторяется до тех пор, пока обе нейросети не будут удовлетворены результатом.
Впервые, технология DeepFake засветилась среди пользователей в 2017- году. Тогда интернет облетели ролики с лицами знаменитостей, в разных нелепых ситуациях. Тогда в некоторых штатах США, запретили использовать нейросеть для замены лиц, без согласия человека, чье лицо используется в видео.
На данный момент в России эту нейросеть используют только в шуточных видео.
При использовании нейросети для замены лиц в видео, стоит понимать, что не все лица можно заменить так, чтобы было незаметно подмены. В любом случае остается разница, волосы, уши, шея, у каждого человека все устроено по-разному. Даже если очевидно будет незаметно, что лицо заменили, от видео или фото будет странное впечатление.
Замена голоса в нейросети
Нейросети могут не только заменять лица на видео, они также прекрасно копируют голоса. Причем, настолько, что отлечить где генерила нейросеть, а где говорил человек, порой бывает невозможно. К тому же, GAN-сети успешно имитируют акценты различных наций. В 2020 году ученые провели эксперимент, они записали голоса живых людей и сгенерировали нейросетью. Опросили 200 человек, 45% не смогли распознать, где живой человек, а где нейросеть.
Топ лучших программ замены лица в видео
DeepFaceLab
Бесплатная программа для замены лица в видео, доступна в России
Ссылка: DeepFaceLab
Это самая известная и самая проработанная программа для замены лиц в видео и фото. Программа достаточно сложная, порог вхождения в работу по знаниям должен быть высок. Прежде чем начинать стоит проштудировать кучу материалов по обработке, чтобы получилась качественная замена.
Вот нюансы которые стоит учитывать перед тем как вы решите воспользоваться программой:
- Цветокор. Пересаживаемое лицо и видео должны совпадать по цвету и тени.
- Размер изображения и видео, если вы возьмете маленькое фото, а лицо на видео будет большим, вы получите кучу пикселей вместо качества.
- Положение головы и лица, особенно это стоит учесть, если в видео голова слишком подвижная.
Размер маски и голова подгоняются вручную, чтобы получить качественное видео с заменой лиц, придется постараться и потратить много времени. Зато, это единственная программа, которая так основательно подходит к замене лиц на видео.
Faceover Pro
Приложение, доступное на IOS и Android.
Это скорее шуточная версия, приложение позволяет не только заменить лицо на фото или видео. В нем можно изменить цвет волос, форму прически, макияж и накинуть фильтр на исходный вариант.
Можно загрузить свои фотографии и использовать лица друзей для замены, а можно взять из приложения лица знаменитостей.
Есть бесплатная версия, но если вы планируете часто использовать приложение, можно оплатить подписку.
Faceswap
Бесплатная программа для замены лиц в видео, доступна для работы в России.
Ссылка: Faceswap
Сложная и мощная программа, которая позволяет получить качественную замену лиц на видео. Некоторые результаты даже пугают.
Эта программа не просто требует знаний перед началом работы, у вас должен быть еще и подготовленный компьютер. Хорошая видео карта и не меньше 8 гб оперативной памяти.
Программа, предназначенная для замены лиц на видео или фото, требует предварительного обучения нейросети. Для этого необходимо загрузить базу видеороликов с участием людей, чьи лица будут меняться, и дать нейросети обучиться. На это придется потратить около трех недель, в зависимости от сложности замены. Но, надо отметить, что в результате вы получите крутую картинку и распознать DeepFace будет очень трудно.
Пока нейросеть анализирует каждый кадр из видео базы, она запоминает детали лиц людей в различных ракурсах, освещении, позах и наклонах головы. Уже после того, как все изучено, она делает замену лиц. Faceswap достаточно сложная программа, прежде чем начинать работу стоит пройти обучение.
Deepfakes web
Сервис доступен в России через VPN
Ссылка: Deepfakes web
Это платный сервис, который позволяет получать качественную замену лиц. Работает также по принципу обучения нейросети. Для того чтобы получить замену лиц на видео, вам надо загрузить определенную базу видео. Обучается нейросеть около 5 часов, можно сделать это быстрее, но за бустер придется дополнительно заплатить.
Стоимость формируется не за количество сгенерированных видео, а за час работы сервиса.
Стоимость одного часа 2 доллара.
Studio D-ID
Бесплатный сервис, включает в себя встроенные покупки, работает в России.
Ссылка: Studio D-ID
Кроме замены лиц, сервис позволяет создать и озвучить персонаж. Работает также н абазе нейросетей.
Для создания идеального изображения необходимо следовать определенным требованиям. Отличное фото должно иметь лицо в центре кадра, выражение лица должно быть нейтральным с закрытым ртом, а размер головы на фотографии не должен быть меньше 200х200 пикселей. Также важно обеспечить хорошее качество, чтобы размер файла не превышал 10 мб. Можно экспериментировать с цветом фона и выбирать формат видео из трех вариантов: горизонтальный, вертикальный или квадратный.
Для озвучивания текста выбираем соответствующий язык из множества предложенных. Так как программа английская, этот язык озвучивается лучше остальных.
Голос и стиль речи вы подбираете самостоятельно, в зависимости от персонажа. Также можно загрузить свое аудио с записью речи. Если файла у вас нет, а в предложенных голосах вы не нашли подходящий, можно обратиться к нейросети и попросить ее сгенерировать нужный голос.
Для начала работы, необходимо зарегистрироваться в программе. Пройти авторизацию через свою почту или гугл аккаунт.
Для новичков у сервиса есть 20 кредитов на пробную генерацию, один кредит это одно видео. Ограничение только в озвученных словах их может быть не больше 20.
Платные тарифы стартуют от шести долларов в месяц, стоимость может меняться, лучше проверить на сайте.
Reface
Мобильное приложение, доступно как на Android так и на IOS, доступно в России.
В приложении можно генерировать не только замену лиц на видео. Можно делать прикольные GIF анимации, менять лица на фото и добавлять эффекты. В приложении необязательно подбирать фото по цветотипу и заморачиваться с размерами лица. Нейросеть за пару секунд генерит реалистичные дипфейки и сама выстраивает цветокор.
Сами генерации бесплатны, но для разблокировки некоторых функций нужно будет оплатить 3-4 доллара в неделю, стоимость варьируется, в зависимости от устройства, на котором установлено приложение.
Как сделать анимированный аватар из фото?
Практически все нейросети, которые работают с видео, позволяют делать замену лиц и на фото.
У Сбера есть своя нейросеть, которая позволяет анимировать и озвучивать фото, так что получаются крутые аватары. Также можно сделать и замену лиц на фото.
Visper
Ссылка на сервис: Visper
Доступен в России
Для начала работы нужно пройти регистрацию или авторизоваться через Google аккаунт, или VK.
Выбираем “Видео”, в бесплатном тарифе нам доступно 2 минуты генерации.
Тут можно выбрать любой типаж персонажа — мужчину или женщину. Также заменить фон и прописать текст, который будет говорить персонаж. В бесплатной версии доступно 20 секунд генерации текста или готового аудио.
После того как вы определитесь с персонажем и введете текст, нажимаем “Сгенерировать”.
Visper рассчитает количество кредитов, которое вам потребуется потратить на это видео и предложит начать генерацию или отменить действие.
Затем нужно будет подождать, монтировать видео он будет долго, 30-40 минут, но потом его можно будет скачать. В бесплатном тарифе видео будет с водным знаком.
Стоимость подписки на месяц 1490 рублей, можно выбрать тариф поминутный за 90 рублей минуту.
Важно!
Технология дипфейков стала популярной совсем недавно и ее использование еще не урегулировано законами. Однако уже сейчас несколько стран, включая США, Великобританию и государства Евросоюза, предпринимают шаги к контролю за созданием дипфейков. Эта технология не только предоставляет возможности для развлечений и исследований, но также может быть использована для манипуляций и шантажа, особенно в контексте создания незаконного контента. Особенно актуальным становится вопрос защиты пользователей от потенциальных репутационных рисков, связанных с появлением дипфейков, в том числе в виде роликов для взрослых, где участвуют известные личности.
Создание дипфейков в России не обсуждается открыто, однако это не означает, что за это не могут быть предусмотрены уголовные или административные наказания. Использование фейковых материалов в незаконных целях, таких как подделка аудиозаписей для мошенничества или шантаж через поддельные видео, все еще подпадает под действующие законы.
