Останні новини

Дипфейк синтезує рухи 1916 і лицьових м'язів акторів під язик дубляжу

Навчання 27 грудня 2023

Нейромережа створює іслюзію, що актори у фільмі вимовляють репліки з дубляжу, а не з оригінальної звукової доріжки.

Читати далі

Як заявляють автори, їх розробка зберігає всі нюанси та емоції вихідного матеріалу. TrueSync заміщує обличчя актора дипфейком з урахуванням оригінальної міміки, щоб не втратити тонкощі гри актера.Творці стверджують, що при такому підході зберігаються оригінальні емоції.

На сайті компанії Flawless опубліковані уривки з фільмів, оброблені за допомогою дипфейк-технологій, наприклад, герой Тома Хенкса з «Форреста Гампа» «заговорив» японською мовою.

Програмний пакет TrueSync за допомогою нейромереж синтезує рухи 1916 і лицьових м'язів акторів.

Дипфейки вже використовували, щоб «воскресити» музикантів, які пішли з життя. Тепер застосування технології стало в нагоді в кінематографі. Автори розробки відзначають, що поки технологія неідеальна. Все-таки в деяких моментах чітко видно недоліки роботи дипфейку. Крім того, поява технології ставить кілька питань. Наприклад, наскільки фільм з таким «візуальним дубляжем» близький початковій задумці режисера або чи не знецінює дипфейк гру акторів оригінального фільму.

Є дуже вагомі причини для занепокоєння з приводу використання штучного інтелекту та інструментів на базі нейронних мереж для маніпулювання кадрами та відео. Легко сфабрикувати ситуації, яких насправді ніколи не було, а також заяви і дії публічних осіб. Але ці інструменти також мають захоплюючий потенціал і для інших цілей, наприклад, для того, щоб зробити кіновиробництво більш доступним.

Раніше в соцмережі TikTok з'явилися реалістичні дипфейк-відео з Томом Крузом. Тоді вони збентежили шанувальників актора - відрізнити його від «дублера» було практично неможливо. Також у США за допомогою подібних технологій «воскресили» загиблого після шкільної стрілянини підлітка.