Modelo de geração de vídeo por IA da ByteDance, Dreamina Seedance 2.0, chega ao CapCut.

OpenAI e o Mercado de Geração de Vídeos

Introdução do Modelo Dreamina Seedance 2.0

A OpenAI pode estar reduzindo seus esforços no mercado de geração de vídeos com o encerramento de seu aplicativo Sora, mas a ByteDance confirmou na última quinta-feira que seu novo modelo de áudio e vídeo, chamado Dreamina Seedance 2.0, está agora sendo lançado em sua plataforma de edição, a CapCut.

Funcionalidades do Modelo

A ByteDance relata que este modelo permite aos criadores elaborar, editar e sincronizar conteúdos de vídeo e áudio utilizando prompts, imagens ou vídeos de referência. A implementação será realizada de forma gradual, começando pelos usuários de CapCut no Brasil, Indonésia, Malásia, México, Filipinas, Tailândia e Vietnã, com a adição de mais mercados ao longo do tempo.

Lançamento e Limitações

A notícia sobre o lançamento do modelo no CapCut surgiu após um relatório recente que indicava que a implementação global do modelo seria pausada, enquanto a empresa buscava resolver questões de propriedade intelectual que geraram críticas de Hollywood, relacionados a alegações de violação de direitos autorais. Isso provavelmente explica a restrição nos mercados onde o modelo está atualmente disponível na CapCut. Na China, o modelo está disponível para os usuários do aplicativo Jianying da ByteDance.

Descrição das Funcionalidades do Modelo

O modelo de geração de vídeo funciona sem a necessidade de imagens de referência, mesmo que o criador utilize apenas algumas palavras para descrever a cena desejada, conforme detalhado no anúncio da ByteDance. Além disso, a CapCut se destaca na representação de texturas realistas, movimento e iluminação em diversas perspectivas visuais e ângulos, o que pode ser utilizado para editar, melhorar ou corrigir o material criado pelos usuários.

De acordo com a empresa, outra possível aplicação do modelo é permitir que os criadores testem ideias potenciais com base em conceitos iniciais ou esboços antes de filmar o vídeo real.

Versatilidade e Tipos de Conteúdo

O Dreamina Seedance 2.0 também pode ser utilizado para uma ampla gama de conteúdos, incluindo receitas culinárias, tutoriais de fitness, apresentações de negócios ou produtos, bem como vídeos focados em movimento ou ação, áreas onde modelos de vídeo baseados em inteligência artificial historicamente enfrentaram desafios. Quando do seu lançamento, o modelo suporta clipes de até 15 segundos em seis proporções diferentes.

Distribuição do Modelo em CapCut

Dentro do CapCut, o modelo será distribuído em diferentes áreas, incluindo funcionalidades de edição, como ferramentas de Geração de Vídeo e Video Studio. O modelo também será integrado na plataforma de geração de IA da ByteDance, chamada Dreamina, e em sua plataforma de marketing, Pippit.

Medidas de Segurança e Propriedade Intelectual

Considerando sua capacidade de criar conteúdo realista, a ByteDance declarou que foram adicionadas restrições de segurança, de modo que o modelo não será capaz de criar vídeos a partir de imagens ou vídeos que contenham rostos reais. A CapCut também irá bloquear a geração não autorizada de propriedade intelectual. Entretanto, se as restrições estivessem funcionando corretamente, o modelo já estaria disponível nos Estados Unidos. Provavelmente, ajustes ainda estão sendo feitos.

Identificação e Parcerias

O conteúdo produzido pelo Dreamina Seedance 2.0 incluirá uma marca d’água invisível, que ajudará a identificar o conteúdo criado com o modelo quando for compartilhado fora da plataforma, conforme mencionado pela ByteDance. Isso pode auxiliar em solicitações de remoção de conteúdo por parte dos detentores de direitos, caso o modelo permita o uso indevido de conteúdos protegidos.

Por fim, a ByteDance afirma que irá colaborar com especialistas e comunidades criativas à medida que o modelo for sendo lançado, a fim de iterar e aprimorar suas capacidades ao longo do tempo.

Related posts

Conntour capta R$ 7 milhões da General Catalyst e YC para desenvolver um mecanismo de busca em IA para sistemas de vídeo de segurança.

Revisão dos processadores Intel Core Ultra 270K e 250K Plus: CPU’s com desempenho condicionalmente excelente.

Mistral lança um novo modelo de código aberto para geração de fala.