Depois dos smartphones, aqui estão os robôs de Gemini sonhados pelo Google

O Google continua a recusar Gêmeos para todos os molhos. Muito presente nos smartphones Android, a inteligência artificial da gigante americana agora chega a robôs animados.

A Divisão DeepMind da empresa levanta o véu em dois novos modelos de idioma IA derivados de Gemini 2.0:

• Gemini Robotics, um modelo de “VLA-Ação de Languagem” (VLA);
• E Gemini Robotics-ER, um modelo de linguagem baseado em língua (VLM).

“” Esses dois modelos permitem que uma variedade de robôs realize um número maior de tarefas no mundo real do que nunca “Explica o Google.

O gigante da Mountain View também está associado ao Apptronik, especialista em robótica ” Para avançar a próxima geração de robôs humanóides ».

Robôs mais reativos, inteligentes e hábeis

Para explicar sua abordagem, o Google destaca três princípios principais para os modelos de robôs se tornarem realmente úteis para os seres humanos.

Primeiro de tudo, os modelos devem ser “em geralPara se adaptar a diferentes situações, não deve ser especializado em uma tarefa precisa. Aqui, a Gemini Robotics inclui tarefas que ele nunca fez antes, sabe como gerenciar várias instruções ao mesmo tempo e acomoda muitos novos objetos e ambientes. O Google se orgulha de alcançar resultados mais do que duas vezes mais altos em benchmarks medindo esse tipo de desempenho.

Eles também devem ser ” interativo Para entender e responder a instruções e perguntas ou mudanças em seu ambiente. Aqui, entender a linguagem natural por Gemini 2.0 está necessariamente envolvida.

Finalmente, a noção de ” destreza Também é citado para robôs capazes de usar habilmente as mãos e manusear objetos com cuidado. Algo que é mais fácil de dizer do que fazer por um robô. Ouro, ” A Gemini Robotics pode enfrentar tarefas extremamente complexas, em vários estágios, que requerem manuseio preciso, como dobrar um origami ou a embalagem de um lanche em uma bolsa Ziploc [avec fermeture à glissière ; ndlr] ».

O Google também explica que esse modelo foi projetado para se adaptar a todas as formas de robôs.

Treinamos o modelo principalmente em dados da plataforma robótica de dois braços Aloha 2, mas também mostramos que ele poderia controlar uma plataforma de dois braços, com base nos braços de Franka usados ​​em muitos laboratórios universitários. A Gemini Robotics pode até ser especializada para conquistas mais complexas, como o robô Apollo Humanóide desenvolvido pela Apptronik, a fim de executar tarefas do mundo real.

Raciocínio espacial

Quanto à Gemini Robotics-ER, esse modelo é projetado mais especificamente para melhorar a compreensão do mundo de Gemini 2.0. Para os robôs, o Google explica que está particularmente focado em ” Raciocínio espacial ».

Ao combinar isso em seu domínio da codificação, Gemini Robotics-Er pode desenvolver ” em tempo real Novas capacidades de acordo com o que o robô vê. “” Por exemplo, quando uma xícara de café é mostrada, o modelo pode determinar um plugue apropriado nos dois dedos para agarrá -lo pela alça e uma trajetória segura para se aproximar ».

Outro argumento, este modelo “Pode executar todas as etapas necessárias para controlar um robô assim que sair da caixa, incluindo percepção, estimativa de estado, compreensão do espaço, planejamento e geração de código». Nos cenários em que a IA deve gerenciar todas as tarefas do início ao fim, o Google destaca as taxas de sucesso 2 a 3 vezes maiores do que a versão clássica do Gemini 2.0 sabe como fazer.

O Google fornece a Gemini Robotics-Er vários parceiros escolhidos a dedo para que eles possam testá-lo e fazer feedback para melhorá-lo. Robôs ágeis, robôs de agilidade, Boston Dynamics e as ferramentas encantadas francesas são mencionadas.