Gen Meta Movie faz clipes incríveis de IA

A Meta acaba de anunciar seu modelo de IA focado em mídia, chamado Movie Gen, que pode ser usado para gerar clipes de vídeo e áudio realistas.

A empresa compartilhou vários clipes de 10 segundos que foram criados com eles Filme geralincluindo um bebê hipopótamo no estilo Moo Deng que nada para mostrar suas habilidades. Embora a ferramenta ainda não esteja disponível para uso, o anúncio do Movie Gen ocorre logo após o evento Meta Connect, que apresentou hardware novo e atualizado e a versão mais recente do excelente modelo de linguagem Llama 3.2.

O modelo Movie Gen vai além da geração direta de clipes de texto para vídeo e pode fazer edições direcionadas em um clipe existente, como adicionar objetos às mãos de alguém ou alterar a aparência do solo. Em um dos vídeos de amostra do Meta, uma mulher usando um fone de ouvido VR parece um relógio steampunk.

Junto com os vídeos, trechos de áudio podem ser gerados com o Movie Gen. Em clipes de amostra, um homem de IA fica perto de uma cachoeira com respingos audíveis e os sons esperançosos de uma sinfonia; o motor do carro esporte grita e acelera enquanto as rodas giram na pista, e a cobra desliza pelo chão da floresta acompanhada por buzinas suspeitas.

Meta compartilhou mais alguns detalhes sobre o Movie Gen em um artigo de pesquisa publicado na sexta-feira. Movie Gen Video consiste em 30 bilhões de parâmetros, enquanto Movie Gen Audio consiste em 13 bilhões de parâmetros. (O número de parâmetros do modelo quase corresponde à sua capacidade; em contraste, a versão maior do Llama 3.1 tem 405 bilhões de parâmetros.) O Movie Gen pode produzir vídeos de alta qualidade de até 16 segundos, e o Meta afirma que supera os modelos concorrentes. . na qualidade geral do vídeo.

No início deste ano, o CEO Mark Zuckerberg exibiu o recurso Meta AI do Imagine Me, onde os usuários podem fazer upload de uma foto sua e pintar o rosto em vários cenários, postando uma imagem de IA. afogando-se em correntes de ouro sobre tópicos. Uma versão em vídeo de um recurso semelhante é possível com o modelo Movie Gen – pense nele como uma espécie de ElfYourself com esteróides.

Em quais informações o Movie Gen é treinado? Os detalhes não são claros na postagem de anúncio da Meta: “Treinamos esses modelos em uma combinação de conjuntos de dados licenciados e disponíveis publicamente”. As fontes de dados de treinamento e o que é justo remover da web continuam sendo uma questão controversa para as ferramentas de geração de IA, e raramente se sabe quais textos, vídeos ou clipes de áudio foram usados ​​para criar qualquer um dos modelos subjacentes.

Será interessante ver quanto tempo leva para o Meta obter o Movie Gen. O blog de anúncio menciona vagamente “possível lançamento futuro”. Em comparação, a OpenAI anunciou seu modelo de IA de vídeo, chamado Sora, no início deste ano e ainda não o disponibilizou ao público ou compartilhou uma data de lançamento (embora a WIRED tenha obtido alguns clipes exclusivos de Sora da empresa para pesquisa tendenciosa).

Dado o legado da Meta como empresa de mídia social, é possível que as ferramentas desenvolvidas a partir do Movie Gen acabem aparecendo no Facebook, Instagram e WhatsApp. Em setembro, o rival Google planejou disponibilizar aspectos de seu modelo de vídeo Veo aos criadores no YouTube Shorts no próximo ano.

Embora as grandes empresas de tecnologia ainda estejam relutantes em lançar modelos de vídeo completos ao público, agora você pode experimentar ferramentas de IA de vídeo de startups menores e emergentes. Trajetória de voo e Pika. Experimente o Pikaffects se você já se perguntou como seria sua visão espancado caricaturalmente é derretido com prensa hidráulica ou repentinamente em calha.