Runway Act-One com captura de expressão facial alimentada por IA foi adicionado ao Alpha Gen-3

Runway AI, empresa de inteligência artificial (IA) focada em modelos de geração de vídeo, anunciou um novo recurso na terça-feira. O novo recurso, chamado Act-One, está disponível no mais recente modelo de linguagem grande Gen-3 Alpha (LLM) da empresa e foi projetado para capturar com precisão expressões faciais de um vídeo de origem e depois reproduzi-las em um personagem gerado por IA em o vídeo. Este recurso resolve o problema significativo da tecnologia de geração de vídeo de IA de transformar pessoas reais em personagens de IA sem perder expressões realistas.

Introduziu a possibilidade de um primeiro ato na passarela na versão Alpha Gen-3

Em postagem no bloguma empresa de inteligência artificial detalhou uma nova capacidade de geração de vídeo. Runway disse que a ferramenta Act-One pode criar conteúdo ao vivo e animado usando performances de vídeo e voz como entrada. A ferramenta tem como objetivo oferecer personagens expressivos atuando em vídeos gerados por IA.

Os vídeos gerados por IA mudaram significativamente o processo de criação de conteúdo de vídeo, pois os usuários agora podem gerar vídeos específicos usando prompts de texto em linguagem natural. No entanto, existem certas limitações que impedem a adaptação desta tecnologia. Uma dessas limitações é a incapacidade de alterar a expressão de um personagem em um vídeo ou melhorar seu desempenho em termos de frases, gestos e movimentos oculares.

Porém, em seu primeiro ato, Runway tenta preencher essa lacuna. A ferramenta, que funciona apenas com o modelo Gen-3 Alpha, simplifica o processo de animação facial, que muitas vezes pode ser complexo e exigir fluxos de trabalho de várias etapas. Atualmente, a animação desses personagens exige a gravação de vídeos da pessoa de diferentes ângulos, o posicionamento manual de seus rostos e a captura separada de seus movimentos faciais.

A Runway afirma que o Act-One substitui o fluxo de trabalho e o transforma em um processo de duas etapas. Os usuários agora podem gravar a si mesmos ou a um ator usando uma câmera de ponto único, que também pode ser um smartphone, e selecionar um personagem de IA. Depois de concluída, a ferramenta registrará fielmente não apenas as expressões faciais, mas também pequenos detalhes como movimentos oculares, microexpressões e estilo de comunicação.

Destacando o escopo do recurso, a empresa disse em uma postagem no blog: “O modelo mantém expressões faciais realistas e traduz com precisão performances para personagens com proporções diferentes do vídeo original. Essa versatilidade abre novas possibilidades para design e animação criativa de personagens.

É importante notar que embora o Act-One possa ser usado para personagens animados, ele também pode ser usado para personagens de ação ao vivo em uma sequência de filme. Além disso, a ferramenta também pode capturar detalhes mesmo que o ângulo facial do ator seja diferente do ângulo facial do personagem AI.

Este recurso está sendo implementado gradualmente para todos os usuários, mas como só funciona na versão Alpha Gen-3, aqueles que usarem a versão gratuita receberão um número limitado de tokens para gerar vídeos com esta ferramenta.