HalluHard: Até os melhores LLMs alucinam em 30% das respostas

BENCHMARKING

HalluHard: Até os melhores LLMs alucinam em 30% das respostas

Grandes modelos de linguagem (LLMs) estão cada vez mais impressionantes, mas ainda há um “elefante na sala”: as alucinações. Essas afirmações factualmente incorretas, porém plausíveis, continuam sendo o calcanhar de Aquiles da IA Generativa. Agora, o novo benchmarking HalluHard deu a dimensão do problema.

Os dados mostram que mesmo os modelos mais avançados sucumbem a alucinações especialmente em diálogos longos, onde pequenos erros iniciais se propagam e se amplificam.ao longo da conversa.

O HalluHard usa 950 perguntas distribuídas em quatro domínios de alto risco: casos jurídicos, questões de pesquisa acadêmica, diretrizes médicas e programação.
Os números são reveladores mesmo para os modelos mais avançados e que utilizam busca na Web (WS):

Sem acesso à busca na Web, as taxas de alucinação disparam para 60% ou mais. Pior ainda: os autores descobriram que os modelos muitas vezes encontram fontes relevantes, mas acabam distorcendo ou inventando detalhando que simplesmente não existem nos textos originais.

A análise mais abrangente do HalluHard também revelou padrões de alucinação:

1. Propagação de erros ao longo das rodadas: A taxa de alucinação aumenta conforme as etapas da conversa avançam, criando uma espiral de desinformação.

2. Capacidade do modelo importa, mas não resolve: Embora modelos mais robustos alucinem menos, nenhum deles atingiu o nível de confiabilidade necessário para missões críticas.

3. Raciocínio ajuda, mas com limites: Modelos com raciocínio estruturado apresentam menos alucinações em comparação com versões sem essa habilidade, porém aumentar o esforço de raciocínio não garante melhorias.

Por que isso importa? O HalluHard nos alerta que mesmo os modelos mais avançados ainda "confabulam" com frequência preocupante e que, para aplicações em saúde, direito e engenharia de software, a confiança cega nos LLMs ainda apresenta um risco real.

• Claude Opus 4.6 ganhou variante 2,5 vezes mais rápida, disponível como experimento por meio do Claude Code e da API.

• OpenClaw passou a verificar os skills de IA depois que centenas de complementos mal-intencionados foram encontrados no ClawHub.

• YouTube acrescentou um recurso de IA para gerar playlists a partir de prompts de texto ou voz (para usuários Premium de iOS e Android).

• Composer 1.5 é a nova versão do modelo de codificação da Cursor com melhor um equilíbrio entre velocidade e inteligência.

• Qwen-Image-2.0 é o novo modelo de geração de imagens da Alibaba Cloud que combina geração e edição e traz renderização de texto em vários idiomas.

• Seedance 2 é um modelo de geração de vídeo por IA multimodal da ByteDance com sincronização nativa de áudio e alto nível de controle.

• RynnBrain é o modelo de IA da Alibaba que ajuda robôs a compreender o mundo físico e identificar objetos.

• WordPress agora conta com um conector Claude para usuários de planos pagos conectarem seus sites ao assistente de IA da Anthropic,.

• Audiobooks é um kit da ElevenLabs para criar, refinar e publicar audiolivros usando vozes realistas geradas por IA.📚🎧☕

Na cúpula Responsible AI in the Military Domain (REAIM) realizada em La Coruña (Espanha) no início do mês, apenas 35 dos 85 países participantes assinaram uma declaração sobre o uso responsável de IA na guerra. Notavelmente ausentes entre os
signatários estavam Estados Unidos e China - as duas maiores potências militares e em IA do mundo. O compromisso não vinculante delineava 20 princípios, como a manutenção do controle humano sobre armas alimentadas por IA, o estabelecimento de cadeias de comando claras e o compartilhamento de informações sobre mecanismos de supervisão nacionais. Os principais signatários foram Reino Unido, França, Alemanha, Canadá, Coreia do Sul e Ucrânia.

📚 Miscelânea

• Há três anos, um vídeo bizarro de Will Smith devorando espaguete de forma grotesca se tornou o famoso teste "Hello World" para geração de vídeos por IA. Hoje, esse mesmo teste revela não apenas o impressionante progresso tecnológico, mas também os novos limites éticos e legais que moldam o futuro da Inteligência Artificial.