A armadilha dos LLMs supertreinados

Bem-vindos, humanos: Seu download diário com as principais notícias sobre Inteligência Artificial começa agora. Nesta edição, você vai se informar sobre modelos de linguagem que estão enfrentando o paradoxo do excesso de treinamento. Também conhecerá uma ferramenta que decifra jargões em meio ao caos. 😵‍💫

Porém isso não é tudo no IA Express de hoje:
- Será que a OpenAI está desenvolvendo um computador?
- Gemini 2.5 Pro supera a pontuação média humana em testes de QI
- Agentes de IA bem comportados agora podem seguir regras
- IA recompensa com cervejas torcedores em jogos de beisebol

Porque, no mundo da Inteligência Artificial, conhecimento é seu algoritmo mais valioso.

 AI_NEWS_CIRCUIT

ESTUDO

A armadilha dos LLMs supertreinados

Boa parte do grandes modelos de linguagem (LLMs), aqueles que alimentam chatbots, passam por dois processos antes de chegar às telas. Primeiro, são pré-treinados com pilhas enormes de texto que os ensinam o básico da linguagem. Depois são ajustados para se especializar em tarefas como responder perguntas ou seguir instruções.

Imaginava-se até então que mais pré-treinamento significava um melhor cenário para o ajuste fino. Um estudo recente diz que essa ideia nem sempre é verdade.

O que você precisa saber:

• Os pesquisadores cunharam o termo overtraining catastrófico para descrever o que acontece quando o pré-treinamento vai longe demais e, após o ajuste fino, o desempenho do LLM cai - em mais de 2% em alguns casos. É como estudar tanto para uma prova e esquecer o básico na hora H.

• A equipe investigou o "porquê" com experimentos e teoria. A principal descoberta? Modelos supertreinados se tornam sensíveis demais. É como se o LLM se tornasse perfeccionista, agarrando-se ao seu conhecimento pré-treinado e lutando para se adaptar a novas tarefas. Os pesquisadores chamaram isso de sensibilidade progressiva, que é a raiz do problema.

Qual é o pulo do gato? Há um ponto ideal no qual o pré-treinamento maximiza os benefícios. Encontrá-lo, no entanto, depende do tamanho do modelo, da tarefa de ajuste fino e até mesmo da taxa de aprendizado - quão rápido o LLM se ajusta durante o ajuste fino.

Por que isso importa? A descoberta desafia o mantra "mais é melhor" que tem fundamentado a pesquisa de IA por anos. O estudo sugere uma reformulação: concentrar-se no pré-treinamento inteligente, não apenas no pré-treinamento longo. Colocado de outra maneira, usar dados suficientes para aprender, mas não tanto a ponto de fazer o modelo se esquecer de como se adaptar.

AI_TRENDS

AI_VENTURES

AI_GOVERNANCE & ETHICS

AI_SNAPSHOT

💡 Inovação & Inspiração

• Mãozinha cientista O sistema de IA CodeScientist da Ai2 quer ajudar na descoberta científica autônoma, automatizando os principais aspectos do processo científico: ler artigos, criar hipóteses, projetar experimentos, analisar resultados e gerar relatórios. Em um teste com 50 artigos, o CodeScientist gerou 50 ideias de experimentos, que foram filtradas por um pesquisador humano. Após revisão de especialistas, seis foram consideradas cientificamente sólidas. 🧑‍🔬

• Recompensa em cervejas A marca Coors Light de cerveja de baixo teor alcoólico lançou uma campanha inovadora chamada "Obstructed Brews" que usa IA para transformar assentos com vistas obstruídas em jogos de beisebol, recompensando-os com cerveja grátis. Os torcedores enviam fotos de seus assentos obstruídos para o site ou Instagram da Coors Light, e a IA determina se, de fato, a visão está prejudicada. 🍺⚾

🌍 Global_AI

🇬🇧 Ajuda no dever de casa O governo do Reino Unido vai criar uma ferramenta de IA para auxiliar na correção de deveres de casa de crianças em idade escolar. Serão usados algoritmos para avaliar o trabalho dos alunos e dar notas e feedback. Ao identificar tendências de desempenho, será possível apontar áreas em que os estudantes precisam de ajuda extra.

🇨🇳 Tensão entre China e EUA A Microsoft fechou seu IoT & AI Insider Lab localizada na zona de alta tecnologia de Zhangjiang, em Xangai. O movimento é visto como parte de uma retirada mais ampla de empresas da China em meio às crescentes tensões geopolíticas entre Estados Unidos e China. O laboratório apoiava o desenvolvimento local de tecnologias de IA e Internet das Coisas (IoT).

🔢 IA em números

 AI_FLASH_NEWS

• A OpenAI garantiu US$ 40 bilhões em novo financiamento - a empresa agora está avaliada em US$ 300 bilhões. Esse aporte financeiro deve acelerar os esforços de P&D da OpenAI, particularmente na busca pela Inteligência Artificial Geral (AGI).

• Em uma conversa no Reddit, Aravind Srinivas, CEO da Perplexity, negou firmemente que a empresa esteja passando por dificuldades financeiras e também declarou que não há planos de IPO antes de 2028.

• A Zhipu AI apresentou o agente AutoGLM Rumination gratuito que, segundo a startup chinesa, supera o DeepSeek-R1 ao operar oito vezes mais rápido e consumir um trigésimo dos recursos computacionais.

• A PwC lançou a plataforma AI Agent Operating System (Agent OS) para agiliza a implantação e a gestão de agentes de IA em ambientes empresariais.

• O Ministério Público do Rio Grande do Sul já utiliza soluções de IA, por exemplo, na transcrição de vídeos e dar a promotores respostas detalhadas em segundos.

Até a próxima

Obrigado por mergulhar nesta edição. Seu tempo é valioso, e estamos felizes por você ter escolhido passar alguns minutos aqui.

Voltaremos à sua caixa de entrada em breve. Até lá, cultive a curiosidade.😊