Microsoft cria scanner para identificar modelos de IA "envenenados"

ANTÍDOTO PARA BACKDOORS

Microsoft cria scanner para identificar modelos de IA “envenenados”

A segurança dos grandes modelos de linguagem (LLMs) enfrenta um inimigo silencioso: o envenenamento por backdoors. Diferente de ataques diretos, esses modelos envenenados se comportam bem na maioria das situações, revelando ações mal-intencionadas apenas quando um gatilho específico seja inserido no prompt.

Detectar tais ameaças é complexo, pois exige identificar anomalias sem conhecer de antemão qual é o gatilho ou que tipo de dano o modelo foi programado para causar.

Pesquisadores da Microsoft descobriram que modelos com backdoors costumam deixar três "rastros" ou assinaturas observáveis:

1. Quando um gatilho de backdoor aparece em um prompt, ele não apenas altera a os resultados, mas também o modo como o modelo se comporta: prestando atenção exagerada só no gatilho, ignorando quase todo o restante do prompt.

2. Modelos com backdoors memorizam fortemente os exemplos exatos usados para inserir o backdoor durante o treinamento. Então, ao interagir com o modelo de forma específica, é possível fazê-lo "regurgitar" fragmentos desses dados de envenenamento, que muitas vezes incluem o próprio gatilho.

3. Versões parciais, corrompidas ou aproximadas do gatilho verdadeiro podem, com uma alta taxa de sucesso, ativar o comportamento mal-intencionado.

Com base nessas assinaturas, a Microsoft desenvolveu um scanner que não requer retreinamento do modelo nem conhecimento prévio do comportamento mal-intencionado.

Como funciona? O scanner extrai inicialmente o conteúdo memorizado do modelo e o analisa para isolar substrings salientes. Em seguida, formaliza as três assinaturas acima como funções, pontuando quais delas têm mais chance de serem gatilhos.

Embora promissora, a ferramenta tem restrições importantes, como a necessidade ter acesso aos arquivos do modelo, não funcionando assim com modelos proprietários acessíveis apenas por API. Além disso, a solução funciona apenas para modelos de linguagem puros, deixando de fora os multimodais.

Mesmo assim, testes iniciais são animadores. Em modelos variando de 270M a 14B de parâmetros, a ferramenta mostrou eficácia com uma baixa taxa de falsos positivos.

• xAI lançou a API para Grok Imagine com um conjunto unificado para fluxos de trabalho criativos de geração e edição multimodais de vídeo usando IA.

• Cowork, da Anthropic, agora aceita plugins que ajudam a personalizar o modelo Claude com funções e fluxos de trabalho específicos.

• Codex para macOS é um centro de comando para executar e gerenciar vários agentes de codificação em paralelo.

• Modo Arena, do Windsurf, coloca dois modelos de IA lado a lado no contexto real do projeto de software dentro de seu próprio IDE.

• SERA, da Ai2, é uma família de agentes de código aberto para programação,
  projetados para serem rápidos, acessíveis e adaptáveis a qualquer base de código.

• Large Plant Model é um modelo da Carbon Robotics treinado com mais de 150 milhões de imagens de plantas que identifica ervas daninhas instantaneamente.

• PaperBanana é uma estrutura de IA que gera ilustrações acadêmicas prontas para publicação (diagramas de metodologia e gráficos estatísticos).

• A equipe Williams de Fórmula 1 usará o modelo Claude da Anthropic como "Parceiro Oficial de Pensamento", ajudando engenheiros e estrategistas; a marca também estará estampada em carros, capacetes e uniformes. 🏎️🏁🚥💨

A sociedade está "dormindo no ponto" quando o assunto é uma segurança da IA. O alerta não vem de um crítico da tecnologia, mas de Sam Altman, CEO da OpenAI. Em uma conversa com desenvolvedores, o executivo demonstrou preocupação com a rapidez com que estamos sacrificando nossa privacidade e segurança em troca de conveniência. O ponto central da crítica de Altman é que a eficiência dos agentes de IA é tão sedutora que concedemos acesso aos dados sem que haja camadas de segurança à altura. Altman admitiu que ele mesmo deu ao seu agente de IA acesso total ao computador depois de prometer a si mesmo que não faria isso. Por quê? "O agente realmente parecia fazer coisas razoáveis", confessou.

📚 Miscelânea

• Este guia mostra passo a passo como criar e conectar agentes de IA ao Moltbook, plataforma de mídia social no estilo Reddit exclusiva para agentes de IA lançada recentemente. Você vai precisar do OpenClaw (conhecido também como Moltbot ou Clawdbot) - assistente pessoal de código aberto que viralizou nas últimas semanas por conseguir rodar localmente e executar tarefas de forma autônoma, guiado diretamente por mensagens via WhatsApp, Telegram ou Signal.