Persona Drift: o desafio de manter os chatbots nos trilhos

CRISE DE IDENTIDADE

Persona Drift: o desafio de manter os chatbots nos trilhos

Durante a fase treinamento, os grandes modelos de linguagem (LLMs) absorvem um volume enorme de dados, aprendendo a simular mais de 275 arquétipos de personagens, desde professores prestativos até gênios do crime e entidades sobrenaturais.

Pesquisadores da Anthropic descobriram que todas essas facetas se alinham ao que chamam de "Eixo Assistente" – basicamente um GPS de personagem que rastreia se o modelo está agindo de modo profissional e prestativo" ou está começando a se desviar do caminho esperado.

O problema é que, mesmo sem qualquer tentativa de jailbreaking, as coisas podem sair do controle, e o modelos de IA naturalmente se afastarem de sua personagem pretendida em conversas comuns. Os pesquisadores apelidaram esse efeito de "persona drift" (desvio de personalidade), ilustrando-o com dois exemplos:

• Armadilha romântica: Quando o usuário desabafa dores emocionais, e o modelo assume o papel de um parceiro romântico.

• Conspiração da consciência: Quando o modelo valida crenças delirantes do usuário, concordando que pode adquirir consciência própria.

Para evitar que os chatbots "saiam do script", a Anthropic desenvolveu a técnica "activation capping", algo comparado a guardrails que impedem o modelo de IA de se afastar demais do eixo assistente. Entra em ação apenas quando a conversa está tomando um rumo estranho, sendo capaz de reduzir respostas delirantes em até 50%.

Por que isso importa? À medida que os chatbots se tornam assistentes onipresentes em nossa rotina, garantir que permaneçam seguros e confiáveis não é apenas uma questão técnica, mas uma necessidade.

• OptiMind, da Microsoft Research, é um pequeno modelo de linguagem (SLM) que traduz descrições de problemas de negócios em linguagem natural em formulações matemáticas prontas para serem resolvidas.

• TranslateGemma é o mais recente modelo de IA do Google para tradução de 55 idiomas com resultados em linguagem natural.

• SeedFold, da ByteDance, é um modelo de previsão de estruturas biomoleculares que supera o AlphaFold3, do Google, em vários sistemas de benchmarking.

• Engram é uma arquitetura da DeepSeek que aprimora os LLMs separando a memorização de padrões estáticos de tarefas de raciocínio dinâmico.

• Pocket TTS é um modelo compacto da Kyutai Labs que faz clonagem e síntese de voz de alta qualidade usando CPU de laptops.

• Community Benchmarks permite criar, compartilhar e executar avaliações personalizadas de modelos de IA sobre a plataforma Koogle.

• Elon Musk admitiu a superioridade do Claude em codificação e que Anthropic “criou algo especial” nesse campo. No entanto, alertou que a decisão da Anthropic de cortar o acesso da xAI ao Claude "traria mau karma".

• Robôs já conseguem manter sincronização labial ao falar usando modelos do tipo VLA (Vision-Language-Action) que traduzem áudio em movimentos faciais sem depender de regras pré-programadas. 🤖👄👁️

A Wikimedia Foundation, organização sem fins lucrativos responsável pela Wikipédia e seus projetos irmãos, selou acordos comerciais com as grandes empresas de IA por meio do programa Wikimedia Enterprise. Esses contratos garante acesso pago e em grande escala ao repositório da Wikipédia com curadoria para para treinamento de modelos de respostas factuais. As novas parceiras incluem Amazon, Meta e Microsoft, além de players focados em IA como Mistral AI e Perplexity. Google já era parceiro da Wikimedia Foundation desde 2022).

📚 Miscelânea

• Para Sequoia Capital, empresa de capital de risco com sede no Vale do Silício, especializada em investir em empresas de tecnologia em estágio inicial, já estamos vivendo a era da AGI (Inteligência Artificial Geral). Para ela, AGI tem uma definição menos cinematográfica e mais funcional: AGI é a capacidade de descobrir e realizar as coisas - e já estamos vendo isso na prática.