Compreender a precisão com que as pessoas tomam decisões sobre tarefas complexas tornou-se muito mais claro, graças a uma nova abordagem que integra sinais cerebrais e informações de imagem. Esta pesquisa inovadora foi publicada recentemente na revista Scientific Reports. Xuan-The Tran, um estudante de doutorado sob a co-supervisão do Professor Chin-Deng Lin, do Professor Nikhil Paul, do Professor Tzyy-Ping Jung e do Dr. Thomas Do, é afiliado a instituições como o Indian Statistical Institute, Sydney, Chan-District Institute, Universidade de Sydney.
Os pesquisadores desenvolveram uma estrutura que usa aprendizado de máquina, um tipo de inteligência artificial que aprende padrões a partir de dados, para analisar a atividade cerebral e os detalhes da imagem em conjunto para fazer previsões sobre se uma pessoa responderá corretamente a uma tarefa desafiadora. O método usou Segment Anything Model (SAM) para identificar e isolar objetos em imagens. Para melhorar a precisão da previsão, recursos foram extraídos tanto das características do objeto alvo quanto dos relacionamentos dos objetos alvo com objetos vizinhos. Os sinais cerebrais são coletados por meio de um eletroencefalograma (EEG), uma técnica não invasiva. Os recursos extraídos dos dados de EEG são então combinados com recursos de imagem para melhorar ainda mais a precisão da previsão. “Esta descoberta destaca como a combinação de informações do cérebro e imagens pode melhorar a nossa compreensão de como as pessoas tomam decisões”, explicou o professor Lin.
No estudo, os participantes foram convidados a encontrar animais em fotos. Esses animais foram camuflados para dificultar a tarefa, simulando desafios semelhantes a situações do mundo real. “Ao contrário de outros estudos onde os participantes podem adivinhar aleatoriamente, este sistema tornou a adivinhação mais difícil, proporcionando um melhor teste de como as pessoas pensam e julgam”. Dr. Thomas Do explicou. Os pesquisadores registraram a atividade elétrica do cérebro, medida por meio de eletroencefalografia, que capta sinais cerebrais por meio de sensores colocados no couro cabeludo, e analisaram-na com recursos de imagem para ver como ambos influenciavam a tomada de decisões.
Os resultados mostram que combinar dados cerebrais e de imagem funciona muito melhor do que usá-los sozinhos. “Quando testada, esta abordagem combinada alcançou uma precisão significativamente maior na previsão de resultados corretos em comparação com modelos que dependem de apenas um tipo de dados”, disse o autor principal, Xuan-The Tran. Isso destaca a vantagem de combinar múltiplas fontes de informação para compreender melhor o comportamento humano.
“Esta pesquisa não só ajuda a prever a precisão do resultado, mas também fornece uma estrutura para projetar sistemas que podem alertar os usuários antes que ocorram erros potenciais. Tais sistemas podem ser críticos em áreas críticas como saúde ou segurança, onde evitar erros pode salvar vidas”, disse o professor Nikhil Paul.
Um aspecto fundamental desse sucesso é o uso profundo de recursos de imagem. Os recursos extraídos identificam relações entre objetos em imagens e os transformam para se integrarem perfeitamente aos recursos neurais do EEG. “Os sinais cerebrais de áreas envolvidas na detecção de objetos e na tomada de decisões, como as regiões occipitais e parietais responsáveis pelo processamento de informações sensoriais e pela tomada de decisões, desempenham um papel significativo no desempenho do modelo”, acrescentou o professor Tzyy-Ping Jung. A equipe descobriu que treinar seu modelo com dados de participantes individuais teve melhor desempenho do que treinar com dados agregados de grupos, mostrando como a tomada de decisões varia de pessoa para pessoa.
Ao reunir análises detalhadas da atividade cerebral e análises sofisticadas de imagens, esta pesquisa abre possibilidades interessantes para a construção de sistemas que podem prever quão bem as pessoas executarão tarefas em tempo real. A equipe planeja expandir sua pesquisa usando mais dados e refinando seu modelo para torná-lo mais prático para aplicações cotidianas.
Nota de diário
Tran XT, Do T., Ball NR, Jung DB, Lin CT “Fusão multimodal para prever o desempenho da tomada de decisão humana.” Relatórios Científicos, 2024. DOI: https://doi.org/10.1038/s41598-024-63651-2
Sobre os professores
Chin-Teng Lin O ilustre professor Sin-Teng Lin recebeu seu diploma de bacharel em ciências pela National Chiao-Tung University (NCTU), Taiwan, em 1986, e seu mestrado e doutorado em engenharia elétrica pela Purdue University, EUA, em 1989 e 1992, respectivamente.
Atualmente é Professor Distinto na Escola de Ciência da Computação, Diretor do Centro de IA Centrada em Humanos (HAI) e Codiretor do Instituto Australiano de Inteligência Artificial (AAII) na Faculdade de Engenharia e Tecnologia da Informação da Universidade de Tecnologia de Sydney, Austrália. Ele também é Professor Honorário de Engenharia Elétrica e de Computação na NCTU. Por suas contribuições para sistemas de informação de inspiração biológica, o Prof. Lin recebeu uma bolsa do IEEE em 2005, e da International Fuzzy Systems Association (IFSA) em 2012. Ele recebeu o prêmio IEEE Fuzzy Systems Pioneer em 2017. Ele ocupou cargos de liderança do IEEE Systems 1 ao Editor-in-Systems 1. 2016; assentos no Conselho de Governadores da IEEE Circuits and Systems (CAS) Society (2005-2008), IEEE Systems, Man, Cybernetics (SMC) Society (2003-2005), IEEE Computational Intelligence Society (2008-2010); Presidente da Seção IEEE Taipei (2009-2010); Presidente do Comitê de Prêmios IEEE CIS (2022, 2023); Palestrante ilustre da IEEE CAS Society (2003-2005) e da CIS Society (2015-2017); Presidente do Comitê do Programa de Palestrantes Distintos do IEEE CIS (2018-2019); Editor-chefe associado do IEEE Transactions on Circuits and Systems-II (2006-2008); Presidente do Programa, Conferência Internacional IEEE sobre Sistemas, Homem e Cibernética (2005); e Presidente Geral da Conferência Internacional IEEE sobre Sistemas Fuzzy de 2011.
O professor Lin é coeditor de Neural Fuzzy Systems (Prentice-Hall) e editor de Neural Fuzzy Control Systems with Structure and Parametric Learning (World Science). Suas 948 publicações incluem 3 livros; 28 capítulos de livros; 485 revistas; e 432 artigos de conferências arbitrados, incluindo cerca de 232 artigos de periódicos do IEEE nas áreas de redes neurais, sistemas difusos, interface cérebro-computador, processamento de informações multimídia, neuroengenharia cognitiva e grupos homem-máquina, que foram citados 40.065 vezes. Atualmente, seu índice H é 96 e o índice i10 é 464.
Nikhil R. Leite Foi professor do Departamento de Eletrônica e Ciências da Comunicação e Diretor Fundador do Centro de Inteligência Artificial e Aprendizado de Máquina do Instituto Indiano de Estatística. Seus atuais interesses de pesquisa incluem ciência do cérebro, inteligência computacional, aprendizado de máquina e mineração de dados.
Ele foi editor-chefe do IEEE Transactions on Fuzzy Systems de janeiro de 2005 a dezembro de 2010. Ele atuou/atuou no conselho editorial/consultivo/comitês de direção de vários periódicos, como International Journal of proximate Reasoning, Fzy International Systems Neuz, Applied Joft Computing, Applied Joft Computing, etc. Transações IEEE em computação difusa e o Transações IEEE sobre Cibernética.
Ele recebeu o prêmio Fuzzy Systems Pioneer da IEEE Computational Intelligence Society (CIS) de 2015 e o prêmio de serviço meritório IEEE CIS de 2021. Ele apresentou vários discursos plenários/keynotes em várias conferências internacionais importantes na área de Inteligência Computacional. Ele atuou como presidente geral, presidente do programa e copresidente do programa em muitas conferências. Foi Distinguished Lecturer do IEEE CIS (2010-2012, 2016-2018, 2022-2024) e membro do Comitê Executivo do IEEE CIS (2010-2012). Ele atuou como vice-presidente de publicações do IEEE CIS (2013-2016) e presidente do IEEE CIS (2018-2019).
Ele é membro da Academia de Ciência e Tecnologia de Bengala Ocidental, Instituto de Engenheiros Eletrônicos e Telecomunicações, Academia Nacional de Ciências da Índia, Academia Nacional de Engenharia da Índia, Academia Nacional de Ciências da Índia, Associação Internacional de Sistemas Fuzzy (IFSA), Academia Mundial de Ciências e IEEE, EUA.
Tzyy-Ping Jung (S’91-M’92-SM’06-F’15) recebeu seu bacharelado em engenharia eletrônica pela National Hsiao Tung University, Hsinchu, Taiwan, em 1984, e seu mestrado e doutorado. formou-se em engenharia elétrica pela Ohio State University, Columbus, OH, EUA, em 1989 e 1993, respectivamente. Atualmente atua como Diretor Associado do Centro de Engenharia Neural Avançada e Diretor Associado do Centro Schwartz de Neurociências da Universidade da Califórnia, San Diego. Além disso, ele é professor adjunto do Departamento de Bioengenharia da UC San Diego. Jung estende suas contribuições acadêmicas internacionalmente, ocupando cargos de professor adjunto na Universidade de Tianjin e na Universidade de Ciência e Tecnologia de Pequim, na China, bem como na Universidade Nacional Tsing Hua e na Universidade Nacional Yang Ming Hsiao Tung, em Taiwan.
Jung foi pioneiro em técnicas transformadoras para usar separação cega de fontes para decompor dados multicanais de EEG, MEG, ERP e fMRI. Em reconhecimento às suas contribuições para a separação cega de fontes para aplicações biomédicas, ele foi elevado a IEEE Fellow em 2015. Ele também é membro da Associação de Inteligência Artificial da Ásia-Pacífico (AAIA). A pesquisa do Dr. Jung enfatiza a integração da ciência cognitiva, ciência da computação e engenharia, neurociência, engenharia biológica e engenharia elétrica. Seu trabalho interdisciplinar é altamente considerado e citado por pares, com cerca de 47.000 citações e um MÍndice de 92 segundo Google Scholar.
Thomas Doe Ele é professor sênior e codiretor do Centro de Interação Humano-IA (HAI) da Universidade de Tecnologia de Sydney (UTS). com doutorado em Ciência da Computação pela UTS e mestrado em Interação Humano-Computador pelo Instituto Coreano de Ciência e Tecnologia.
Sua pesquisa se concentra na integração de inteligência artificial (IA), interfaces cérebro-computador (BCI), interação humano-computador e robótica. A visão do Dr. Du é preencher a lacuna entre a neuroengenharia e as aplicações práticas do mundo real, desenvolvendo sistemas sofisticados alimentados por IA que traduzem sinais cerebrais em resultados acionáveis.
