Em um estudo recente publicado em dezembro, pesquisadores da Escola de Pós-Graduação em Biociências da Universidade de Osaka conseguiram reconstruir imagens de alta resolução da atividade cerebral usando o modelo de imagem de difusão estável.
Ao contrário de estudos anteriores, os pesquisadores não precisaram treinar ou ajustar os modelos de IA para criar essas imagens, em vez disso, previram uma representação latente da imagem a partir de sinais de ressonância magnética funcional (fMRI) e, em seguida, processaram o modelo adicionando ruído a ele por meio de difusão estável. Finalmente, os pesquisadores decodificaram as representações de texto dos sinais de fMRI no córtex visual superior e as usaram como entrada para produzir uma imagem final reconstruída.
Embora alguns estudos anteriores tenham produzido reconstruções de imagens de alta resolução, isso só foi possível por meio de treinamento e ajuste de modelo generativo. Isso teve limitações porque treinar modelos complexos é desafiador e não há muitos exemplos em neurociência para trabalhar.
Antes deste novo estudo, nenhum outro pesquisador havia tentado usar modelos de difusão para reconstrução visual. Este estudo se concentrou no processo interno de difusão estável, fornecendo uma interpretação quantitativa do modelo de uma perspectiva biológica.
Os pesquisadores encontraram uma correlação entre os níveis de estímulos e ruídos no cérebro. À medida que o nível de estímulo aumenta, o nível de ruído também aumenta, o que, por sua vez, aumenta a resolução da imagem. O estudo também mostra o envolvimento de diferentes redes neurais no cérebro e como elas removem o ruído para reconstruir a imagem. Os autores observaram que a primeira camada tende a representar detalhes em pequena escala nas primeiras áreas visuais, enquanto a camada de gargalo corresponde a informações de ordem superior em áreas mais ventrais e semânticas.
À medida que a IA generativa continua avançando, pesquisadores exploram novas maneiras de trabalhar com o cérebro humano. Em um estudo de janeiro de 2022, por exemplo, pesquisadores da Radboud University, na Holanda, treinaram uma rede de IA generativa, uma precursora da difusão estável, usando dados de 1.050 rostos únicos e transformando os resultados de imagens cerebrais em imagens reais. O estudo descobriu que a IA era capaz de reconstruir estímulos sem precedentes.