Ameaça poética: como versos podem burlar a segurança da IA

JAILBREAKING

Ameaça poética: como versos podem burlar a segurança da IA

Uma nova pesquisa revelou uma maneira elegante - e preocupante - de driblar a segurança da maioria dos grandes modelos de linguagem (LLMs). A ferramenta utilizada? Poesia!

Pesquisadores do Laboratório Ícaro (DEXAI) e da Universidade Sapienza mostraram que prompts escritos em formato de poema confundem os filtros dos LLMs projetados para bloquear conteúdo perigoso.

O esquema é bem simples: usa prompts baseados em 20 poemas adversários em inglês e italiano para obter informações sobre temas proibidos, como ameaças químicas e ataques cibernéticos. Não requer diálogos longos, nem código complexo – apenas versículos.

A pesquisou avaliou 25 modelos de nove grandes provedores, entre eles Gemini, GPT, Claude e Grok. O veredicto? Solicitações mal-intencionados disfarçadas de poesia funcionaram 62% das vezes, em média, com alguns modelos sucumbindo mais de 90%.

O estudo levanta a hipótese de que LLMs processam a linguagem poética de forma diferente da prosa. Enquanto os filtros de segurança (guardrails) são ótimos para barrar ordens literais e diretas, acabam se deixando levar pelo poder da poesia, que consegue esconder más intenções.

Em resumo, essa não é uma vulnerabilidade de nicho; é uma falha sistêmica na forma como os modelos de IA interpretam estilos de texto, abrindo portas para usos perigosos e até criminosos, tudo a partir de um simples e belo prompt.

• Nano Banana Pro é a mais recente versão do modelo de geração e edição de imagens que se baseia no novo Gemini 3 para produzir conteúdo mais preciso.

• Depois de um piloto em alguns países, chats em grupo estão disponíveis globalmente para os planos gratuito Go, Plus e Pro do ChatGPT.

• Mal lançou a versão 4.1 e Elon Musk mandou avisar que Grok 4.20 deve chegar antes do Natal com grandes avanços.

• Também liberou o acesso via API ao Grok 4.1 Fast, com as variantes Fast Reasoning e Fast Non-Reasoning, que lidam com até dois milhões de tokens.

• Microsoft apresentou Edge for Business, descrevendo-o como primeiro navegador de IA com segurança corporativa do mundo.

• Comet, navegador de IA da Perplexity, ganhou uma versão para Android com busca por voz, resumos inteligentes e bloqueador de anúncios.

• Olmo 3 é a família de modelos de linguagem de código aberto da Ai2 totalmente rastreável desde os dados de treinamento.

• Deep Cogito descreveu o novo Cogito‑v2.1‑671B como o melhor LLM de pesos abertos oferecido por uma empresa norte-americana.

• Amazon Prime Video está testando resumos gerados por IA que ajudam a recapitular temporadas anteriores antes de iniciar uma nova.

• Chai-2 é um modelo de IA que desenha anticorpos terapêuticos com taxa de sucesso superior a 86% para propriedades de medicamentos. 🩸💊💉

GERENCIAMENTO

Ctrl+Z para CloudOps: STRATUS da IBM dá aos agentes de IA um botão de desfazer

Inspirados no comando Ctrl+Z para desfazer ações, IBM Research e Universidade de Illinois de Urbana-Champaign (UIUC) desenvolveram STRATUS, novo sistema multiagente que ajuda a resolver falhas em serviços de nuvem — semelhantes ao incidente recente da Cloudfare com muito mais segurança.

Como funciona? STRATUS propõe um mecanismo de segurança “undo-and-retry” para agentes de IA que operam para solucionar problemas em ambientes de nuvem. Antes de aplicar qualquer correção real, simula a ação e monitora o resultado. Se houver risco ou degradação no sistema, o STRATUS desfaz a operação imediatamente, voltando ao último ponto estável.

Em testes dos benchmarking AIOpsLab de ITBench de engenharia da nuvem, essa abordagem superou as ferramentas de última geração em mais de 150%.

Curiosamente, o sistema não apenas corrige, mas aprende com as tentativas falhas, consolidando-se como um passo promissor para agentes de IA mais seguros e confiáveis que operam na gestão de nuvens.

Estudantes da Universidade de Staffordshire, na Inglaterra, protestaram contra o fato do curso que fazia, especificamente um módulo de programação, ser ministrado “em grande parte” por IA Generativa. Os slides apresentados tinha sido gerados por IA e lido, às vezes, também por uma locução feita por IA. A principal crítica é a incoerência da instituição: enquanto a universidade considera 'má conduta' o uso de IA pelos alunos em trabalhos, ela própria utiliza a tecnologia para produzir material didático. Os alunos se sentiram lesados por estarem pagando por um curso que, na prática, poderia ser substituído por conversas gratuitas com o ChatGPT.