Os laboratórios de pesquisa de inteligência artificial da Microsoft criaram uma técnica de treinamento para modelos 3D a partir de dados 2D, um sistema que aprende “com a vida real” a imaginar os dados ausentes quando se trata de “ver” uma imagem plana.
A Microsoft acredita que pode aprender constantemente a gerar melhores formas do que os modelos existentes ao treinar exclusivamente imagens 2D, que podem ser usadas por desenvolvedores de videogames, empresas de comércio eletrônico, estúdios de animação, empresas de arquitetura e muitas outras empresas que não têm orçamento para criar 3D do zero.
No documento, comentam alguns detalhes técnicos:
Para isso, foi usado software que produz imagens a partir de dados de visualização, treinando um modelo generativo para formas 3D que utiliza um vetor de entrada aleatório (valores que representam as características do conjunto de dados) e gera uma representação contínua do voxel (valores em uma grade no espaço 3D) do objeto 3D. Os voxels são então enviados para um processo de representação não diferenciável, onde são limitados a valores discretos antes de serem processados usando um renderizador pronto para uso.
A ideia, explicada com muita simplicidade, é ter um cérebro capaz de criar milhões de objetos tridimensionais e depois verificar qual deles é o que melhor se adapta à imagem 2D inicialmente recebida.
Sua abordagem aproveita o sinal de iluminação e sombreamento fornecido pelas imagens, o que lhe permite extrair informações mais significativas treinando amostras e produzindo melhores resultados nesses ambientes. Além disso, pode produzir amostras realistas ao treinar em conjuntos de dados de imagens naturais.
Claro que é preciso ter em mente que mágica não existe. Se uma imagem 2D não tiver todas as informações necessárias (ou sombras que fornecem pistas sobre sua altura, ou curvas com texturas iluminadas etc.), o sistema de Inteligência Artificial inventará o resto, mas, ainda assim, será um importante ponto de partida.
A propósito, uma técnica semelhante foi usada na empresa threedy.ai por vários meses. Vale assistir seus vídeos para conhecer suas modelos.