Mais do que estimar, Google mede o real impacto da inferência da IA

IA SUSTENTÁVEL

Mais do que estimar, Google mede o real impacto da inferência da IA

Muito se fala do uso intensivo de recursos para treinar modelos de IA, mas a inferência da Inteligência Artificial, processo que utiliza esses modelos treinados para gerar resultados, também tem sua pegada ambiental e, por isso, levanta questões sobre o consumo de energia e água e emissões de carbono. Um recente artigo técnico do Google Cloud ofereceu uma visão detalhada de como mede - e não apenas estima - os impactos ambientais da inferência de IA, em especial, dos modelos Gemini.

Quais são os principais resultados dessa medição:

• Um prompt de texto mediano dos modelos Gemini consome 0,24 watt-hora de energia, emite 0,03 gramas de equivalente em CO² (CO2e) e usa 0,26 mililitros de água (equivalente a cinco gotas). Segundo o Google, colocando em perspectiva, isso é comparável a assistir TV por menos de nove segundos.

• O Google também afirma que seus esforços em favor da eficiência estão valendo a pena. Nos últimos 12 meses, a pegada energética e de emissão de carbono de um prompt de texto mediano dos Gemini Apps caiu 33 e 44 vezes, respectivamente.

• Esses ganhos são resultado de uma abordagem de pilha completa, destaca o Google, abrangendo as arquiteturas dos modelos, algoritmos e inferência, hardware personalizado e datacenters.

Por que isso importa? Ao contrário de cálculos simplistas que só contabilizam o uso de energia no nível dos chips, o Google faz questão de destacar que sua metodologia não apresenta apenas estimativas, mas resultados que capturam todo o sistema, incluindo máquinas ociosas, uso de CPU e RAM e sobrecarga dos data centers, para medir o real impacto ambiental da inferência da IA.

Qual é a diferença? Segundo o Google, um método não abrangente relata que um prompt de texto mediano dos modelos Gemini consome 0,10 watt-hora de energia, e 0,12 mililitros de água, além gerar 0,02 gramas de CO2e. Em comparação com os números da metodologia do Google, o cenário parece otimista, mas subestima substancialmente a real pegada operacional da inferência da IA.

Críticas já aparecem. Apesar do passo do Google na direção da transparência - poucas empresas de tecnologia compartilham métricas detalhadas por período - críticas apontam várias omissões no estudo que também podem subestimar o verdadeiro impacto ambiental da inferência da IA.

Uma das ressalvas é considerar apenas prompts de texto “típicos” do Gemini, sem definir o comprimento médio do prompt nem incluir tarefas com uso mais intensivo de recursos, como geração de imagens ou de código e pesquisas avançadas na Web.

Além disso, a metodologia não esclarece se modelos Gemini estão usando o modo de raciocínio, o que pode impactar o consumo de energia, e também parece excluir a energia consumida por redes internas nos datacenters e meios para transferências externas de dados em trabalhos mais complexos.

No caso específico do consumo de água, especialistas criticam a metodologia do Google, apontando-a como incompleta porque só explica o uso direto para resfriamento dos datacenters e exclui o consumo indireto ligado à geração de eletricidade.

O artigo do Google ainda não foi revisado por pares. 🔎🧐

• Elon Musk abriu o código do Grok 2.5, segundo ele, o melhor modelo da xAI do ano passado. Fará o mesmo com o Grok 3 em cerca de seis meses.</>🔓

• Novo recurso do Gemini permite ler documentos do Google Docs em voz alta.

• Também usando Gemini, Google vai lançar um treinador pessoal em outubro que atuará como preparador físico e consultor de saúde em dispositivos Fitbit.

• ElevenLabs liberou Chat Mode na plataforma de agentes de conversação para cenários em que a digitação é mais eficaz do que falar.

• Yan é uma nova estrutura para geração de vídeos interativos com três módulos: Yan-Sim, Yan-Gen e Yan-Edit.

• Jupyter Agent 2 é um agente de IA dentro de notebooks (ambientes de programação) capaz de carregar dados, executar código e apresentar resultados.

• BiomedArena.AI é um novo benchmarking para avaliação de grandes modelos de linguagem (LLMs) usados em pesquisa biomédica.

• Firecrawl lançou API para scrapping 10x mais rápida com cache inteligente, rastreio semântico, novo formato de resumo e pesquisa de notícias e imagens.

• Grok 5 da xAI começará a ser treinado em setembro e “tem chances de se tornar uma verdadeira AGI”, disse Elon Musk. 🏋️‍♂️🧠⋆☀︎.

AVANÇO CHINÊS

DeepSeek V3.1 redefine excelência e eficiência

A DeepSeek lançou uma versão atualizada de seu grande modelo de linguagem (LLM), a V3.1, que dá mostras do poderio chinês para desafiar gigantes de IA norte-americanas como OpenAI e Anthropic em termos de desempenho e eficiência de custo.

O que você precisa saber:

• No benchmarking de programação Aider, o DeepSeek-V3.1 alcançou a impressionante pontuação de 71.6%, superando o ChatGPT 4.5 da OpenAI (40%) e chegando muito perto do Claude Opus 4 da Anthropic, com a vantagem de ser dezenas de vezes mais barato. E tudo isso trabalhando no modo de não-raciocínio.

Isso e muito mais colocam o DeepSeek-V23.1 entre a elite dos LLMs, combinando desempenho e eficiência de custo. Além disso, ao contrário das empresas dos Estados Unidos que colocam modelos avançados atrás de APIs caras e licenças restritivas, o DeepSeek V3.1 está livre para download, modificação e implantação local.

Um estudo recente testou 19 LLMs para avaliar a crescente influência desses modelos de IA na formação de opiniões políticas. Em uma série de experimentos envolvendo quase 77.000 participantes, foi avaliada a capacidade de persuasão dos LLMs em 707 questões políticas. A pesquisa mostrou que o poder persuasivo dos modelos de IA depende mais de métodos de pós-treinamento e de prompts – houve aumento da persuasão em até 51% e 27%, respectivamente – do que da personalização ou do aumento da escala dos modelos.

A Anthropic lançou duas iniciativas para integrar IA de forma responsável no ensino superior. Primeiro, criou um Conselho Consultivo composto por especialistas de instituições como Stanford, Georgia Tech e Universidade de Oxford, para orientar o uso ético e eficaz do assistente Claude no ensino, na aprendizagem e na pesquisa. Em segundo lugar, liberou três cursos gratuitos de Fluência em IA, criados em conjunto com educadores, para desenvolver em professores e alunos habilidades práticas e responsáveis em IA. Esses cursos estão acessíveis a qualquer universidade.