Gemini aprende a dominar o reino das telas e cliques

INTELIGÊNCIA VISUAL

Gemini aprende a dominar o reino das telas e cliques

Até agora, grandes modelos de linguagem sonhavam com texto, imagens e vídeo, mas a recente invenção do Google DeepMind está empurrando os limites para o reino tangível de telas e cliques. Como? Com o novo Gemini 2.5 Computer Use, modelo que dá a agentes de IA a destreza de navegar por interfaces gráficas (GUI, na sigla em inglês) assim como fazemos nós – clicando em botões, digitando em campos de formulários e percorrendo páginas Web.

Como funciona? Desenvolvido sobre o raciocínio visual do Gemini 2.5 Pro, o Computer Use supera a limitação dos grandes modelos de linguagem (LLMs) ao lidar com ambientes visuais dinâmicos, como aplicativos Web ou interfaces mutantes. Assim permite que agentes de IA enfrentem o mundo GUI em tempo real, preenchendo fichas e até reorganizando notas adesivas virtuais.

Não são bots com scripts; são agentes adaptáveis que raciocinam sobre capturas de tela e históricos de ação para improvisar quando precisa.

Tecnicamente, Gemini 2.5 Computer Use opera em um loop elegante e iterativo usando a chamada de função ‘computer_use’ disponível na API do Gemini. O agente recebe um prompt, uma captura de tela e um registro das ações recentes. Com base nesses dados, o analisa o contexto visual e decide o próximo movimento. A ação escolhida é executada no ambiente, atualizando-o e assim começa uma nova iteração até que a tarefa seja concluída.

Por que isso importa? Google DeepMind desenvolveu uma agente de IA para navegadores que é páreo para os de concorrentes. Pelos testes da Browserbase, com 200 experimentos combinando um total of 4.000 horas/browser, Gemini 2.5 Computer Use superou modelos da OpenAI e da Anthropic em precisão, velocidade e custo.

Aviso aos navegantes: o novo Gemini 2.5 Computer Use é otimizado principalmente para navegadores Web, mas se mostra promissor para tarefas em interfaces móveis. Ainda não está preparado totalmente para atuar no nível do sistema operacional de desktops, segundo Google DeepMind.

Gemini 2.5 Computer Use está disponível em versão prévia pública, acessível por meio da API do Gemini no Google AI Studio e no Vertex AI. Quer testar agora? Vá até o ambiente de demonstração hospedado pela Browserbase.

• Opal, experimento do Google Labs para construir miniaplicativos usando IA, chega a mais 15 países, entre eles, Brasil.

• AppGen, da Retool AI, transforma descrições em aplicativos funcionais conectados a bancos de dados ativos.

• UserLM-8b, da Microsoft, é um LLM que simula comportamentos realistas do usuário em conversas, em vez de atuar como um mero assistente.

• Hunyuan Vision 1.5 é o modelo da Tencent para compreensão visual, que já ocupa o terceiro lugar no LMArena e é o de melhor desempenho na China.

• xAI apresentou Imagine v0.9, atualização do seu modelo de geração de vídeos com melhores qualidade visual e fluidez, além de áudio sincronizado.

• LFM2-Audio-1.5B converte fala em texto, processa-o e transforma de volta em voz, tudo em um único modelo, tornando o conteúdo mais natural.

• OVI gera áudio e vídeo simultaneamente, resultado em melhor sincronização.

• Tiny Recursive Model (TRM) é um modelo de raciocínio recursivo simplificado da Samsung que supera modelos maiores em tarefas como Sudoku e ARC-AGI.

• Dias após OpenAI lançar Apps in ChatGPT (com curadoria), Google revela Gemini CLI Extensions, ecossistema de linhas de comando usando Gemini que não passam por aprovação prévia. Primeira extensão: Google Nanobanana. ⌨🔌🍌

ENGENHARIA DE HARDWARE

Agentes de IA transformam prompts em projetos de circuito impresso

Se você pode digitar, você pode criar eletrônicos. Essa é a promessa da Flux, plataforma de eCAD para design de hardware que, agora com agentes de IA, promete transformar prompts em layouts de placas de circuito impresso totalmente funcionais.

Flux já contava com um assistente de IA que era, digamos, reativo: respondia perguntas e lidava com tarefas pontuais. Embora úteis, essas interações deixavam o trabalho mais complexo para engenheiros. Agora Flux subiu de nível e conta com agentes autônomos que executam fluxos de trabalho em etapas, tomam decisões de design e até modificam projetos.

Ao ter uma compreensão técnica profunda com controle direto sobre o ambiente dos projeto, Flux agora age com base em instruções em linguagem natural. Basta dizer o que construir para que Flux liste os requisitos do projeto, descreva as funcionalidades e transforme tudo isso em um plano completo, passo a passo.

Qual é o segredo? Seus agentes de IA foram treinados com base em centenas de milhares de projetos reais de placas de circuito impresso. Um orquestrador central interpreta prompts, atribui tarefas a agentes especializados, valida saídas e melhora iterativamente os resultados.

Então, se estiver projetando um controlador industrial ou for um entusiasta caseiro criando um sintetizador de áudio, tudo o que precisará fazer é descrever sua ideia em um breve prompt e começar a dialogar. Quer ver tudo isso em ação, então clique aqui.

O Departamento de Justiça dos Estados Unidos acusou Jonathan Rinderknecht de iniciar o devastador incêndio de Palisades, na Califórnia, afirmando que usou ChatGPT para imaginar a destruição meses antes de acontecer. De acordo com promotores federais, Rinderknecht gerou, usando ChatGPT, uma imagem distópica retratando uma floresta em chamas e a fuga de multidões antes do incêndio de janeiro de 2025. A imagem está sendo citada como parte das evidências do caso, além de vídeos, dados de celulares e declarações de testemunhas que colocam Rinderknecht perto de Palisades pouco antes do início do incêndio. Mais ainda, depois de ter iniciado o fogo, Rinderknecht buscou esclarecer junto ao ChatGPT se “alguém é culpado de um incêndio por causa de cigarros?”.

Estudo mundial realizado pela Wiley revelou um aumento expressivo na adoção da IA entre pesquisadores, com 84% dos entrevistados afirmando utilizar ferramentas de IA atualmente contra 57% em 2024. No entanto, essa elevação veio acompanhada da recalibração de expectativas por conta da compreensão mais detalhada das atuais capacidades da IA. Há uma crença mais tímida no desempenho atual da IA quando comparada ao de pessoas. No ano passado, os pesquisadores acreditavam que a IA superava humanos em mais da metade dos casos de uso; neste ano, o percentual caiu para menos de um terço. Também há mais preocupação com imprecisões e alucinações (de 51% para 64%) e com questões de privacidade e segurança (de 47% para 58%).