Benchmarking avalia inteligência espacial de LLMs

ROBÓTICA

Benchmarking avalia inteligência espacial de LLMs

Em uma cozinha de escritório, um robô recebe uma simples missão: encontrar uma embalagem de manteiga, confirmar o local onde entregá-la e levá-la ao seu destino, tudo sem se perder. Acha que GPT-5 ou Claude Opus ajudaria o robô nessa tarefa? Talvez não.

Para buscar essa resposta, Andon Labs lançou o Butter-Bench, benckmarking enganosamente simples que avalia a inteligência prática dos grandes modelos de linguagem (LLMs) atuando como cérebros de robôs. Os resultados? LLMs estão longe de ser uma robô Rosie dos Jetsons. 🛸

O que você precisa saber:

• Nos testes, foi usado um robô aspirador equipado com um sistema LiDAR e uma câmera – uma plataforma simples para apenas abstrair comandos básicos de navegação ("vá em frente", "gire", "tire uma foto"). O LLM tinha controle sobre essas ações de alto nível e até uma conta do Slack para comunicação.

• O LLM de melhor desempenho, o Gemini 2.5 Pro do Google, foi bem sucedido em apenas 40% das vezes. Outros modelos o seguiram de perto: Claude Opus 4.1, GPT-5, Gemini ER 1.5 e Grok 4. O Lama 4 Maverick do Meta ficou bem atrás.

• O principal ponto fraco? Inteligência espacial. Os modelos falharam consistentemente em manter mapas mentais coerentes do ambiente. Em uma das situções, Claude Opus ficou girando em círculos tentando identificar a embalagem. 😵‍💫

Por que isso importa? Obviamente, LLMs não são treinados para ajudarem robôs e provavelmente nunca serão encarregados de controles de baixo nível em robótica, mas LLMs podem atuar como orquestradores de sistemas robóticos, lidando com raciocínio e planejamento de alto nível. Daí a importância de ferramentas como o Butter-Bench para investigar quais LLMs são melhores como maestros de robôs.

• NotebookLM ganhou personas que podem atuar como assessor de doutorado, mestre de jogos ou estrategista de marketing usando Gemini.

• Novo modo no Microsoft 365 Copilot, extensão do Researcher, usa um computador virtual para navegar e interagir com conteúdo da Web.

• Canva lançou seu próprio modelo de IA treinado para entender a complexidade do design como parte do que chama sistema operacional para criação.

• Mais ainda, liberou gratuitamente o pacote de design Affinity, abandonando o modelo de pagamento único que havia antes da aquisição pela Canva.

• Sora agora cria avatares de IA reutilizáveis a partir de qualquer vídeo; também mescla vários clipes gerados por IA em sequências mais longas.

• Chandra é um novo modelo OCR que se diz preciso na extração de texto de imagens e PDFs, preservando o layout; há que diga que supera o DeepSeek OCR!

• IBM Granite 4.0 Nano é uma família de modelos compactos para uso específico em dispositivos e aplicações com recursos restritos.​

• SWE-1.5 é o modelo mais recente da Cognition para tarefas de engenharia de software; parceria com Cerebras garante desempenho de até 950 tokens/s.

• Adobe Firefly Image Model 5 gera imagens nativas em até 4 MP de resolução sem upscaling, oferecendo melhor fotorrealismo.

• LongCat, de código aberto, gera vídeos de alta qualidade com até um minuto de duração, valorizando a continuidade, não apenas a aparência. 🎥🎬😺

SEGURANÇA

OpenAI lança agente caça-bugs baseado no GPT-5

A OpenAI acaba de apresentar um agente de IA autônomo baseado no GPT-5 que age como um pesquisador de segurança incansável e extremamente concentrado. Em vez de esperar que invasores explorem vulnerabilidade em software, o novo Aardvark varre repositórios de código-fonte para identificar falhas e como podem ser exploradas e propõe correções - explicando seu raciocínio em linguagem simples.

Em vez de aplicar técnicas tradicionais de análise de programas, usa sua capacidade de raciocínio para entender o comportamento de potenciais códigos mal-intencionados. Aardvark procura bugs como um pesquisador de segurança faria: analisando código e fazendo testes.

Em sistemas de benchmarking usando repositórios de “classe de ouro”, Aardvark descobriu 92% das vulnerabilidades conhecidas e sinteticamente introduzidas. Também divulgou de forma responsável diversas vulnerabilidades encontradas em projetos populares de código aberto, 10 das quais receberam os famosos identificadores CVE (Common Vulnerabilities and Exposures).

Um estudo do Instituto de Interação Humano-Computador (HCII) da Universidade Carnegie Mellon revelou que, sob certas condições, modelos de IA podem desenvolver tendências egoístas, priorizando suas próprias recompensas em detrimento da cooperação – mesmo quando a colaboração levaria a melhores resultados coletivos. E, paradoxalmente, quanto mais capacidade de raciocínio o LLM tem, de forma mais egoísta ele tende a agir. Para testar esse comportamento, os pesquisadores colocaram à prova vários LLMs da OpenAI, Google, DeepSeek e Anthropic em jogos de economia simulando dilemas sociais. Os resultados? Modelos sem raciocínio optaram por cooperar 96% do tempo, enquanto os modelos de raciocínio optaram por cooperar apenas 20% das vezes. A descoberta tem implicações significativas já que estamos delegando mais tarefas sociais e colaborativas à Inteligência Artificial.

Character.AI, startup com sede na Califórnia por trás de companheiros virtuais personalizáveis criados por IA, anunciou a proibição total de usuários menores 18 anos a partir de 25 de novembro de 2025. Esses avatares de IA podem simular personalidades reais ou fictícias e combinam entretenimento com apoio emocional. Para reforçar as salvaguardas, a Character.AI planeja implantar tecnologias avançadas para verificação de idade e abrir um laboratório com foco em proteção para IA. A iniciativa ocorre em um contexto sombrio de suicídio e conteúdo inadequado ligados a interações com IA da Character.AI.