Mundo Tech

Pesquisadores criam sistema de replicação facial que exige somente uma foto

Pesquisadores criam sistema de replicação facial que exige somente uma foto - 1

Um grupo de pesquisadores conseguiu criar uma ferramenta de deep fake capaz de fornecer movimentos faciais a uma foto usando somente uma imagem da cabeça de um indivíduo. A novidade se chamada MarioNETte e foi criada pela empresa Hyperconnect, da Coreia do Sul.

A tecnologia usa um sistema de machine learning que usa movimentos de uma pessoa real para recriar como se fosse de outra. Em comparação, seriam como as captações de movimento para a indústria de efeitos especiais em cinema.

O grande feito aqui é que os pesquisadores conseguiram fazer transmissões ao vivo usando somente uma webcam e apenas uma foto da cabeça do indivíduo replicado. A ferramenta funciona assim: uma pessoa é gravada por uma webcam simples. O sistema reconhece os movimentos dela (chamada de “driver”) e cria uma animação em tempo real sob o rosto de quem se quer replicar (chamado de “target”).


Podcast Canaltech: de segunda a sexta-feira, você escuta as principais manchetes e comentários sobre os acontecimentos tecnológicos no Brasil e no mundo. Links aqui: https://canaltech.com.br/360/

Assim, o espectador final deste vídeo vê o rosto do target com movimentos naturais feito pelo driver, tudo isso acontecendo ao mesmo tempo. Como o exemplo abaixo, em que há o movimento de um rapaz sendo replicado em imagens de personalidades como Einstein, Abraham Lincoln e Jackie Chan

Pesquisadores criam sistema de replicação facial que exige somente uma foto - 2
Exemplo de recriação somente com uma foto (Foto: Marionette)

Esta não é bem uma técnica inovadora para o meio, sendo que outras empresas já conseguem fazer esta replicação de movimentos. A grande novidade aqui é como isso é feito. Geralmente, é necessário um tempo de aprendizado e a tecnologia só funciona para uma posição específica de imagem.

No caso do MarioNETte, um componente chamado de “attention block” mapeia somente os pontos mais importantes de expressão. O sistema, então, alinha com a foto apresentada, analisando geometria do target de acordo com a pose do driver para evitar distorções.

Pesquisadores criam sistema de replicação facial que exige somente uma foto - 3
Grupo pega o mapeamento dos pontos de expressão do driver (Foto: Marionette)

“O nosso sistema proposto não precisa de uma fase de refinamento para adaptação de identidade, o que aumenta significantemente a utilidade do modelo”, explica os co-autores na pesquisa publicada.

Contudo, a plataforma precisou ser treinada com banco de dados, o VoxCeleb1 e o CelebV, duas redes abertas de fotos e vídeos de celebridades. No caso, foram usadas mais de 3 mil fotos de pessoas selecionadas ao acaso para que a inteligência artificial fosse preparada.

Com isso, o MarioNETte pode usar até 8 imagens para formar um modelo que foi testado por 100 voluntários. Contudo, foi possível criar sistemas com apenas uma foto do target.

Pesquisadores criam sistema de replicação facial que exige somente uma foto - 4
Movimento criado com oito fotos (Foto: Marionette)

A proposta, claro, não é usar o sistema para recriar pessoas famosas ou produzir vídeos falsos. O objetivo dos pesquisadores é usar a tecnologia para animação, sendo mais fácil e barato para a indústria cinematográfica.

Trending no Canaltech:

Fonte: Canaltech