Mundo Tech

PlayStation 5 pode usar IA para criar trilhas sonoras que reagem ao jogador

PlayStation 5 pode usar IA para criar trilhas sonoras que reagem ao jogador - 1

Uma nova patente registrada pela Sony, descoberta pelo site GameRant, pode mudar a forma como a música impacta os jogadores no PlayStation 5. A documentação fala em aplicar tecnologias avançadas de inteligência artificial (IA) para criar e executar playlists musicais conforme o perfil de uso e as emoções de um usuário. Embora a patente não mencione o console diretamente, especulações enxergam uma aplicação da tecnologia na nova geração de consoles da empresa.

De uma forma resumida, a patente — intitulada Dynamic Music Creation in Gaming (Criação Dinâmica de Músicas em Jogos, na tradução livre) — aplicaria algoritmos de machine learning para analisar “componentes musicais” como ritmo, melodia e harmonia para mapear emoções específicas, ajustando variações em trilhas sonoras de jogos que podem desencadear comportamentos específicos no jogador, conforme este vai jogando uma partida.

PlayStation 5 pode usar IA para criar trilhas sonoras que reagem ao jogador - 2
(Imagem: Reprodução/Patent Scope, via GameRant)

Pense nisso como uma forma avançada de como a trilha sonora muda de uma ambientação calma para uma faixa mais acelerada quando de repente você está na presença de um chefão, por exemplo. Isso já existe, obviamente, mas a ideia da Sony é adequar isso a todo o resto do jogo, reduzindo o volume e o ritmo de uma música quando você, por exemplo, ficar parado em uma área aberta por muito tempo ou introduzir um violino romântico quando um personagem mais querido aparece na tela.


Podcast Porta 101: a equipe do Canaltech discute quinzenalmente assuntos relevantes, curiosos, e muitas vezes polêmicos, relacionados ao mundo da tecnologia, internet e inovação. Não deixe de acompanhar.

Para isso, a Sony vai empregar compositores para criarem “temas” musicais que possam mapear personagens específicos, localidades, atividades do jogador na partida e até a sua personalidade. A partir daí, essas composições serão codificadas no jogo baseadas em dados coletados pela Sony sobre como o jogador se sentiu em determinados momentos. Ao menos inicialmente, as trilhas compostas buscariam elicitar sentimentos de tensão, poder, alegria, preocupação, afeição, transcendência, paz, nostalgia, tristeza, sensualidade e medo.

Com isso, engenheiros poderão analisar músicas mais populares a fim de aplicar ciência nas sensações oriundas de uma canção: o sistema de machine learning criará, a partir disso tudo, versões eletrônicas das composições, relacionando cada uma com avaliações feitas pelos jogadores.

PlayStation 5 pode usar IA para criar trilhas sonoras que reagem ao jogador - 3
God of War (2018) é uma das exclusividades do PlayStation 4 que aposta forte na música para dar o tom da aventura (Imagem; Divulgação/Sony Santa Monica)

Com isso, diz a patente, a Sony poderia experimentar variações diferentes de cenários, exemplificando uma situação em que, ao invés da previsibilidade de uma música intensa em momentos de tensão, uma composição mais sensual talvez traga uma resposta diferente do jogador.

A ideia também tem o intuito de diferenciar ainda mais o PlayStation 5 de seu concorrente direto, o Xbox Series X. Até o momento, ninguém consegue dizer se toda essa tecnologia seria viável para a quinta geração de consoles da empresa, mas seria uma forma interessante de abordar a temática do game music de uma forma mais aprofundada que os aparelhos normais.

A dúvida que fica é “como” a Sony coletaria certas informações dos jogadores. A patente fala em um termo de uso opcional, no qual o usuário que fizer o opt in concordará em compartilhar algumas informações biométricas com a empresa. O documento já lista categorias como “jovem”, “velho”, “masculino”, “feminino”, “introvertido” e “extrovertido”. Mas, indo além, a empresa faria uso de “dispositivos biométricos” para conseguir dados ainda mais aprofundados, como “atividade eletrodermal”, “pulsação”, “respiração”, “temperatura corporal”, “pressão sanguínea”, “atividade de ondas cerebrais” e “predisposições genéticas”.

Por “dispositivos”, a patente menciona “smartwatch”, “câmera térmica ou infravermelha” e “tracker de atividades físicas” como possibilidades, mas não informa se seriam de fabricação da própria Sony ou uma espécie de conexão da fabricante com fabricantes terceiros (o PlayStation 5 se conectar a um Apple Watch, por exemplo).

PlayStation 5 pode usar IA para criar trilhas sonoras que reagem ao jogador - 4
Final Fantasy VII Remake (2020) também é outro jogo onde a trilha sonora ocupa posição de destaque (Captura de Imagem: Rafael Arbulu/Canaltech)

Tudo isso para cenários, no momento, hipotéticos: imagine um minigame onde você está falhando repetidas vezes. Sua respiração acelera, sua pressão sanguínea sobe e o sentimento de frustração e irritação aumentam. A tecnologia da Sony, em teoria, poderia prever isso e ajustar a trilha sonora de acordo.

Evidentemente, isso levanta preocupações com a privacidade da informação dos usuários (daí a menção da patente para um termo de uso específico e a aceitação partindo do usuário), mas não é uma ideia de todo inédita: a Nintendo, há alguns anos, flertou com a ideia de monitorar o sono de seus jogadores, aplicando o conceito no jogo Ring Fit Adventure, que acabou tendo considerável sucesso.

A grosso modo, a Sony está pensando em um uso alternativo de dados biométricos de seus usuários. E dado o papel que a trilha sonora tem em um jogo, é seguro especular que a ideia traga uma nova forma de pensarmos no game music como componente central de uma experiência completa de jogo.

Fonte: Canaltech