MIT SceneSmith cria casas virtuais de IA para melhorar o treinamento de robôs

Peça ao robô para colocar uma xícara de café no armário. Você verá rapidamente que tarefas domésticas simples podem ser difíceis. Quão complicado será? Você sabe onde está o vidro. Você pode se movimentar pela cadeira, evitando a bagunça no balcão. e abra o gabinete apropriado sem pensar muito. O robô deve trabalhar em todas as partes desse processo.

Isso ajuda a explicar por que os robôs de hoje parecem tão impressionantes durante as demonstrações. Mas ainda lutando com tarefas básicas em casa ou na fábrica, eles precisam de experiência em diferentes salas e situações. muitos antes que possa funcionar de forma confiável. Ensinar-lhes tudo no mundo físico exige tempo e muita supervisão prática.

Pesquisadores do Laboratório de Ciência da Computação e Inteligência Artificial do MIT e do Toyota Research Institute acreditam que o treinamento virtual pode ajudar. Seu sistema, chamado SceneSmith, usa um agente de IA para criar ambientes internos 3D detalhados a partir de simples instruções de texto. Os robôs podem treinar em tarefas e revelar planos operacionais fracos dentro de um espaço gerado por IA antes de entrarem em uma casa ou escritório real.

Inscreva-se para receber meu relatório CyberGuy gratuito.

• Receba as melhores dicas técnicas Alerta de segurança urgente e ofertas exclusivas enviadas diretamente para sua caixa de entrada.
• Se você quiser saber a maneira mais fácil no mundo real de detectar fraudes precocemente. e protegido, visite CyberGuy.com – Com a confiança de milhões de pessoas que assistem CyberGuy na TV todos os dias.
• Você também terá acesso instantâneo ao meu Ultimate Scam Survival Guide gratuitamente ao se cadastrar.

Você confiaria em um pequeno robô dental?

Por que uma casa virtual de IA é importante para o treinamento de robôs?

Os robôs aprendem através da experiência. No entanto, os engenheiros não conseguem planejar facilmente todos os cômodos ou arranjos de objetos que uma máquina possa encontrar. O teste físico também exigia que alguém reiniciasse a cena após cada tentativa. Uma cadeira pontiaguda ou uma garrafa fora do lugar podem alterar o próximo teste. Enquanto isso, a falha no movimento pode danificar o robô ou objetos próximos.

A simulação é uma alternativa mais segura. Os robôs podem repetir tarefas sem quebrar pratos ou ocupar o espaço físico de trabalho. Ainda assim, muitos sistemas de simulação anteriores criam salas que parecem esparsas. Eles tendem a não ter desordem. móveis que podem ser movidos e os detalhes físicos encontrados na vida cotidiana, o SceneSmith faz com que esses ambientes de treinamento pareçam mais próximos do mundo real.

Outros desenvolvedores também o usam. Tecnologia de vídeo AI para acelerar o treinamento de robôs humanóidesEle transforma uma pequena quantidade de imagens reais em um ambiente de treinamento sintético.

Como SceneSmith cria casas virtuais com IA

SceneSmith começa com uma simples solicitação por escrito. Os pesquisadores poderão solicitar garagem com carro e mesa de trabalho. Os pneus são então fixados nos cantos e as escadas nas paredes. Três agentes de IA com tecnologia GPT-5.2 trabalham juntos para criar o espaço. O designer começou a criar uma sala. Os críticos verificam se tudo parece realista ou não. O editor irá e voltará e decidirá quando o design estará pronto.

SceneSmith constrói cada ambiente camada por camada. Comece com uma planta baixa e de móveis. Em seguida, adicione vários itens. às paredes e ao teto. Pequenos itens que o robô pode pegar ou mover virão mais tarde. Os críticos também criticaram opções que consideraram inadequadas, como a possibilidade de recomendar a remoção da banheira da sala de estar. Os compositores também podem enviar os projetos algumas etapas atrás quando uma parte do design precisar de mais trabalho.

Assim que as autoridades concordarem, o SceneSmith adicionará sistemas físicos que controlam o movimento e a resposta dos objetos. Os resultados oferecem aos pesquisadores uma sala de trabalho virtual onde os robôs podem abrir armários e manipular objetos. Em vez disso, é apenas uma cena 3D realista.

SceneSmith cria objetos que os robôs podem usar.

Os robôs precisam de mais do que cenas realistas. Precisava de um objeto que respondesse quando tocado. SceneSmith conseguiu colocar um armário com uma porta funcional. Também pode criar objetos em movimento e estimar propriedades físicas como massa ou atrito. Esses detalhes afetam a forma como o item responde quando o robô o agarra, empurra ou deixa cair.

para objetos padrão O sistema pode usar um processo de visualização de texto 3D para extrair itens claros com peças móveis de uma biblioteca selecionada. Este método permite que portas e gavetas de armários funcionem dentro do simulador. O sistema também detecta objetos sobrepostos e permite que a gravidade os mantenha em uma posição estável.

Os pesquisadores relatam que 96% dos objetos permaneceram estáveis ​​durante a simulação. Menos de 2% dos pares de objetos colidem. Essa tarefa é importante porque os robôs não conseguem aprender muito em uma cozinha virtual com xícaras flutuando ou móveis afundados no chão.

Melhores práticas virtuais também podem apoiar esses avanços. Novo cérebro de IA ajuda robôs a se moverem mais como humanosIsto é especialmente verdadeiro quando o trabalho requer movimentos precisos das mãos.

Primeiro robô humanóide para limpeza de apartamentos nos EUA

Os pesquisadores do MIT usaram o SceneSmith para criar mais de 1.300 espaços virtuais, incluindo quartos, hotéis e salas especiais desordenadas. (Cena Smith)

SceneSmith criou mais de 1.300 espaços de treinamento.

Os pesquisadores usaram o SceneSmith para criar mais de 1.300 cenas. Esta coleção inclui espaços familiares, como quartos e hotéis, além de cenários inusitados, como uma olaria. e uma sala de jogos com tema Minecraft. Algumas cenas têm até seis vezes mais itens do que os métodos anteriores. Como resultado, os robôs podem encontrar confusão que torna as tarefas do mundo real mais difíceis.

Um robô pode precisar mover uma lata de refrigerante de uma prateleira para uma mesa. Outra tarefa pode envolver colocar xícaras na pia. Cada cena muda o ambiente. Portanto, um robô não pode confiar em um único layout cuidadosamente elaborado. Essa variedade dá aos engenheiros uma maneira melhor de verificar se o plano de um robô funciona do que uma única demonstração.

A casa virtual da IA ​​pode revelar planos de robôs que deram errado

na robótica As políticas dizem às máquinas o que fazer com base no que observam. O SceneSmith permite que os pesquisadores testem essas políticas em diferentes ambientes. A equipe criou 100 cenas de avaliação, abrangendo quatro tarefas de gestão. A política do robô tenta cada tarefa na simulação. Os avaliadores de IA verificam então os resultados usando os dados do simulador e observações visuais.

Os avaliadores alcançaram 99,7% de concordância com rótulos humanos. Os resultados sugerem que os pesquisadores podem usar o sistema para filtrar tentativas de robôs em grande escala, sem ter que julgá-las manualmente todas as vezes. As frases de título “Aprender com os erros” requerem uma distinção importante. SceneSmith revela onde a política falhou. Os engenheiros podem usar essas falhas para modificar posteriormente o comportamento do robô. Neste estudo, o sistema se concentra na geração e avaliação automática de cenas, em vez do autotreinamento contínuo após cada falha.

Pesquisadores testam se casas virtuais realmente funcionam

As salas virtuais podem parecer realistas ao olho humano e ainda assim funcionarem mal durante o treinamento do robô, por isso a equipe testou o SceneSmith por meio de interações físicas dentro do simulador. Os pesquisadores colocaram robôs treinados de forma autônoma em cenas geradas. Esta política é anterior ao SceneSmith e nunca foi treinada em seu ambiente ou ativos.

Em uma demonstração, o robô moveu uma maçã de uma tigela para uma tábua de cortar após receber instruções de idioma. A equipe também moveu o robô pelo espaço virtual. Os pesquisadores o guiaram enquanto abriam os armários e guardavam as garrafas. Estes testes demonstram que o ambiente pode suportar mais do que apenas a inspeção visual. As demonstrações conjuntas fornecem evidências preliminares de que as salas do SceneSmith podem apoiar experimentos robóticos úteis.

As pessoas adoram as salas virtuais do SceneSmith.

Os pesquisadores pediram a 205 pessoas que comparassem o SceneSmith com métodos anteriores de criação de cenas. SceneSmith registrou uma taxa média de vitórias de 92% por seu realismo. Também alcançou uma taxa média de vitórias de 91% seguindo as instruções originais.

Na prática, os participantes tendiam a pensar que os seus quartos eram mais autênticos e mais relevantes para os seus pedidos. Estes resultados apoiam o aspecto visual do sistema, no entanto, o desempenho do robô continua a ser um teste mais importante. A capacidade do SceneSmith de combinar design realista com física utilizável dá a este projeto sua maior vantagem.

A marca de um jogador de futebol robô com um chute terrível.

SceneSmith do MIT usa inteligência artificial para criar casas 3D realistas. O robô pode realizar tarefas diárias com segurança. (Cena Smith)

SceneSmith ainda está enfrentando problemas significativos de velocidade.

Salas virtuais detalhadas levam tempo para serem criadas. O MIT diz que o SceneSmith pode levar horas para criar uma única cena. Isso ocorre porque os agentes de IA criarão e examinarão muitos objetos. Mais poder de processamento pode acelerar esse processo. Mesmo assim Mesmo construir uma grande biblioteca de treinamento requer muitos recursos.

Os sistemas atuais também têm suporte limitado para objetos deformáveis, como esponjas. Esses materiais mudam de forma com o contato. Isso dificulta a simulação. Os pesquisadores esperam que uma biblioteca 3D maior lhes permita expandir essa capacidade.

Os testes no mundo real continuarão a desempenhar um papel importante. As casas têm pessoas imprevisíveis e coisas que são danificadas ou quebradas. A simulação pode reduzir tentativas e erros arriscados. Mas os engenheiros ainda precisam provar que os robôs se comportam de forma segura fora da sala digital.

O que isso significa para você?

Os futuros robôs domésticos poderão ser treinados em centenas, senão milhares, de salas virtuais antes de entrarem na sua cozinha. Isso dá aos desenvolvedores uma chance melhor de detectar movimentos ruins ou planos de execução fracos enquanto o robô ainda está no simulador. O SceneSmith também pode colocar o robô em uma sala cheia de móveis, objetos e layouts. Isso é importante porque sua cozinha não se parecerá com o espaço cuidadosamente planejado onde os robôs aprenderam suas tarefas pela primeira vez.

Esse tipo de preparação é finalmente possível. Ajude máquinas como este robô doméstico projetado para cozinhar, limpar e lidar com bagunças e surpresas. Encontrado em casa todos os dias

A tecnologia ainda está em fase de pesquisa. E os robôs ainda precisam ser testados no mundo físico. Ainda assim, a SceneSmith está enfrentando um problema que os fabricantes de robôs precisam resolver: como equipar uma máquina doméstica com uma cadeira móvel? Balcão desordenado E não há quase nada no local original.

Pontos-chave de Kurt

SceneSmith oferece aos robôs um lugar seguro para cometer erros. Os engenheiros conseguiram detectar movimentos ruins dentro de uma casa virtual lotada. Antes que a máquina corra o risco de danificar algo ou chegar muito perto de uma pessoa. O que torna este sistema interessante são as diferentes salas. Funciona como um espaço físico real: os armários se abrem, os objetos se movem e o robô pode interagir com o ambiente. A maior desvantagem é a velocidade. Criar uma cena detalhada pode levar horas, no entanto, esses ambientes gerados por IA podem ajudar os desenvolvedores a detectar mais problemas antes que os robôs entrem em sua casa.

Você confiaria mais em robôs domésticos? E se os robôs cometessem milhares de erros dentro de uma casa gerada por IA? Informe-nos escrevendo para nós em Cyberguy.com

Clique aqui para baixar o aplicativo FOX NEWS.

Inscreva-se para receber meu relatório CyberGuy gratuito.

• Receba as melhores dicas técnicas Alerta de segurança urgente e ofertas exclusivas enviadas diretamente para sua caixa de entrada.
• Se você quiser saber a maneira mais fácil no mundo real de detectar fraudes precocemente. e protegido, visite CyberGuy.com – Com a confiança de milhões de pessoas que assistem CyberGuy na TV todos os dias.
• Você também terá acesso instantâneo ao meu Ultimate Scam Survival Guide gratuitamente ao se cadastrar.

Copyright 2026 CyberGuy.com Todos os direitos reservados.