Projeto de Meta permite dar vida aos desenhos usando IA

Postado em

Em 2021, a equipe Meta anunciou um novo projeto em desenvolvimento que animaria qualquer desenho, ou rabisco, com pessoas ou personagens. Sim, animações de desenhos.

Meta não apenas progrediu neste projeto, mas também está compartilhando seu código para que os desenvolvedores possam criar seus próprios projetos ou dar vida a novas ideias.

Em um artigo anterior, já discutimos como os desenvolvedores do Meta estavam usando o poder da IA ​​para animar as figuras que eram exibidas em qualquer desenho. Não exigia nenhum desenho caprichado, já que um simples desenho de criança bastava para a IA criar uma animação do personagem:

Nossos pesquisadores imaginaram usar modelos de detecção de objetos, modelos de estimativa de pose e métodos de segmentação baseados em processamento de imagem para criar rapidamente uma versão digital do desenho.

Para fazer isso, você precisa acessar este link e escolher um dos desenhos de amostra ou fazer upload do seu próprio desenho. E então você só tem que seguir uma série de instruções. Por exemplo, para que a ferramenta dê o resultado esperado, Meta pede que escolhamos apenas a parte do desenho na caixa de seleção.

E uma vez que escaneia a imagem e separa o desenho do fundo, destaca quais seriam as articulações do personagem para realizar os movimentos. Eles podem não estar no lugar certo, então a ferramenta te dá a opção de modificá-los de acordo com o  seu desenho.

Ao terminar de fazer todas essas alterações, o desenho é digitalizado novamente para iniciar a ação. É possível escolher uma série de movimentos para dar vida ao seu desenho a partir de uma variedade de animações, por exemplo, para parecer que está dançando, andando, pulando, etc.

Desde o lançamento desta ferramenta, os usuários enviaram centenas de milhares de desenhos que foram usados ​​(com consentimento) para treinar a IA, portanto, este projeto possui um grande conjunto de dados.

E por causa desse interesse, a equipe de Meta considerou lançar uma versão open source com os modelos e códigos usados ​​neste projeto:

Ao publicar os modelos como código aberto, o projeto fornece um ponto de partida para os desenvolvedores desenvolverem e estenderem o projeto, promovendo uma cultura de inovação e colaboração na comunidade de código aberto.

Quem quiser usar este código só tem que seguir as instruções no GitHub para instalação.