Indo além do próximo token para acelerar chatbots

PESQUISA

Indo além do próximo token para acelerar chatbots

Pesquisadores da Apple apresentaram uma nova maneira para acelerar as repostas dos grandes modelos de linguagem (LLMs) sem perder a qualidade. Como? Indo além do próximo token.

LLMs convencionais usam um método "autoregressivo", por meio do qual cada nova “palavra” ou token é gerado com base no anterior. Embora ótimo para treinamento, essa técnica explora correlações entre os elementos sequenciais, mas pode ser lenta, especialmente para respostas longas. Pense nisso como uma pessoa escrevendo uma frase, uma letra de cada vez, em vez de pensar em toda a frase primeiro.

Qual é a novidade? A nova estrutura, chamada Multi-Token Prediction (MTP), permite que LLMs prevejam várias tokens ao mesmo tempo. Para fazer isso funcionar, os pesquisadores desenvolveram algumas inovações, descritas de modo simplificado a seguir:

• Entrada por máscaras: Em vez de gerar um token de cada vez, o modelo é treinado para prever vários tokens futuros de uma só vez usando "máscaras" especiais de tokens.

• Uma técnica chamada Gated LoRA garante que o novo processo de ajuste fino não prejudique a capacidade original do LLM de gerar texto de alta qualidade.

• Um módulo do tipo sampler ajuda a garantir que os tokens previstos formem uma sequência coerente e lógica.

• Para evitar erros, o modelo usa um processo de verificação (geração especulativa) para verificar se os tokens gerados são válidos, semelhante ao que o LLM teria produzido normalmente.

Quais foram os resultados? Em tarefas exigentes, como gerar código e resolver problemas de matemática, o novo método chegou a ser até cinco vezes mais rápido. Para tarefas como conversar e responder perguntas, o ganho foi de quase duas vezes e meia. E o melhor, a maior velocidade foi alcançada sem perda de qualidade. 

EDUCAÇÃO

Gemini leva estudantes de respostas simplificadas ao "aha!"

Já parou para pensar que a Inteligência Artificial pode ir além do que simplesmente dar respostas para se tornar uma parceiro no processo de aprendizagem? É exatamente essa a proposta do Guided Learning (Aprendizado Guiado) desenvolvido pelo Google como base nos novos modelos LearnLM e adicionado ao chatbot do Gemini.

O Aprendizado Guiado atua como um tutor pessoal que usa perguntas abertas para despertar curiosidade e pensamento crítico e fazer o aluno chegar aos seus próprios momentos de descoberta do tipo “a-ha“. O processo divide assuntos complexos em passos gerenciáveis, adaptando-se ao ritmo e às necessidades de cada pupilo. 🧑‍🎓

O Aprendizado Guiado foi desenvolvido com a ajuda de educadores e alunos, garantindo que o resultado se tornasse em um espaço de conversação para exploração. É mais do que um recurso; é uma nova maneira de aprender com a IA.

• Grok 4 está disponível gratuitamente para todos - mas por tempo limitado e com restrições de uso.

• Outra novidade: usando o Grok, agora você pode transformar qualquer imagem no X em um vídeo simplesmente com um clique longo sobre ela.

• NuMarkdown-8B-Thinking é um modelo de raciocínio de código aberto projetado para tarefas de OCR (reconhecimento óptico de caracteres).

• Speech 2.5, da MiniMax, transforma texto em fala usando clonagem de voz realista que preserva detalhes de sotaque, idade, emoção e voz.

• Alibaba lançou Qwen3-4B-Instruct-2507 para tarefas de uso geral com respostas eficientes e Qwen3-4B-Thinking-2507 de raciocínio avançado.

• Xiaomi tem um novo modelo de voz MiDashengLM-7B otimizado para sistemas para automóveis e dispositivos domésticos inteligentes.

• Recurso de geração de imagens por prompt do Bing agora pode usar o modelo GPT-4o da OpenAI.

• Ideogram liberou uma API para que desenvolvedores integrem recursos de personagens em seus projetos.

• Google está testando uma nova versão do Google Finance com recursos de IA com respostas incluindo gráficos e links para fontes relevantes.

• Roblox abriu o código do Sentinel, sistema de IA que detecta possíveis padrões de exploração infantil dentro de bate-papos on-line.

• GLM-4.5V, da Z.ai, é apontado como melhor modelo de raciocínio visual de código aberto, dominando em 41 sistemas de benchmarking. Faz análises sofisticadas de imagens, cenas, vídeos, gráficos e interfaces. Teste-o aqui. 👀🧠

Um dia após o lançamento, Sam Altman, CEO da OpenAI, reconheceu que há problemas no novo GPT-5, como falhas no roteador de modelos, mau desempenho e confusão de usuários. Em resposta aos percalços, a OpenAI restabeleceu o acesso a modelos anteriores, como o GPT-4o, para assinantes do ChatGPT Plus, permitindo que eles optem por não usar o GPT-5. Usuários relataram erros em tarefas de matemática, lógica e codificação, e desenvolvedores observaram as fraquezas do GPT-5 em comparação com rivais como o Claude Opus 4.1 da Anthropic. Em outra publicação no X, Altman também admitiu que muitas vezes desempenho bruto não é tudo e que a OpenAI subestimou o quanto as pessoas gostam de algumas coisas no GPT-4o, mesmo que o GPT-5 tenha um desempenho melhor em muitos aspectos. Concluiu que o principal desafio será equilibrar superioridade técnica com experiência do usuário e que a OpenAI pretende oferecer experiências mais personalizadas, embora esse seja um objetivo de longo prazo. Por enquanto, o foco estará em estabilizar o novo GPT-5 para depois fazer as primeiras mudanças para tornar o modelo mais receptivo.

Simplesmente ler um documento compartilhado por outra pessoa agora pode ser um ato inseguro. Em um prova de conceito, pesquisadores da Zenity demonstraram o que pode acontecer. Um documento contendo um prompt invisível (texto branco, tamanho de fonte minúsculo) é compartilhado no Google Drive com a devida permissão. Ao tentar, por exemplo, resumir tal documento usando o recurso Connectors da OpenAI - que vincula o ChatGPT, ao Google Drive -, a vítima aciona ingenuamente o prompt oculto. Além de fazer o resumo, o prompt pode ordenar o ChatGPT a pesquisar o Google Drive da vítima em busca de dados confidenciais e enviá-los a um servidor externo. Esse ataque do tipo clique zero não exige nenhuma interação além de receber o documento e usá-lo como a vítima sempre faria.