Um grupo de pesquisadores conseguiu criar uma ferramenta de deep fake capaz de fornecer movimentos faciais a uma foto usando somente uma imagem da cabeça de um indivíduo. A novidade se chamada MarioNETte e foi criada pela empresa Hyperconnect, da Coreia do Sul.
A tecnologia usa um sistema de machine learning que usa movimentos de uma pessoa real para recriar como se fosse de outra. Em comparação, seriam como as captações de movimento para a indústria de efeitos especiais em cinema.
O grande feito aqui é que os pesquisadores conseguiram fazer transmissões ao vivo usando somente uma webcam e apenas uma foto da cabeça do indivíduo replicado. A ferramenta funciona assim: uma pessoa é gravada por uma webcam simples. O sistema reconhece os movimentos dela (chamada de “driver”) e cria uma animação em tempo real sob o rosto de quem se quer replicar (chamado de “target”).
–
Podcast Canaltech: de segunda a sexta-feira, você escuta as principais manchetes e comentários sobre os acontecimentos tecnológicos no Brasil e no mundo. Links aqui: https://canaltech.com.br/360/
–
Assim, o espectador final deste vídeo vê o rosto do target com movimentos naturais feito pelo driver, tudo isso acontecendo ao mesmo tempo. Como o exemplo abaixo, em que há o movimento de um rapaz sendo replicado em imagens de personalidades como Einstein, Abraham Lincoln e Jackie Chan
Esta não é bem uma técnica inovadora para o meio, sendo que outras empresas já conseguem fazer esta replicação de movimentos. A grande novidade aqui é como isso é feito. Geralmente, é necessário um tempo de aprendizado e a tecnologia só funciona para uma posição específica de imagem.
No caso do MarioNETte, um componente chamado de “attention block” mapeia somente os pontos mais importantes de expressão. O sistema, então, alinha com a foto apresentada, analisando geometria do target de acordo com a pose do driver para evitar distorções.
“O nosso sistema proposto não precisa de uma fase de refinamento para adaptação de identidade, o que aumenta significantemente a utilidade do modelo”, explica os co-autores na pesquisa publicada.
Contudo, a plataforma precisou ser treinada com banco de dados, o VoxCeleb1 e o CelebV, duas redes abertas de fotos e vídeos de celebridades. No caso, foram usadas mais de 3 mil fotos de pessoas selecionadas ao acaso para que a inteligência artificial fosse preparada.
Com isso, o MarioNETte pode usar até 8 imagens para formar um modelo que foi testado por 100 voluntários. Contudo, foi possível criar sistemas com apenas uma foto do target.
A proposta, claro, não é usar o sistema para recriar pessoas famosas ou produzir vídeos falsos. O objetivo dos pesquisadores é usar a tecnologia para animação, sendo mais fácil e barato para a indústria cinematográfica.
Trending no Canaltech:
- Surpresa! Samsung deixa vazar possíveis informações sobre PS5 e Xbox Scarlett
- Designer do iPhone, Jony Ive deixa a Apple
- Mensagens que se autodestroem podem chegar ao WhatsApp em breve
- Estão vendo (de novo) insetos em fotos de Marte e isso tem nome: pareidolia
- BAIXOU O PREÇO | O campeão Redmi Note 8 com 4 câmeras por a partir R$1026 em 10x
Fonte: Canaltech
