Nova classe de modelos de IA abre mão dos tokens dos LLMs

MAIS EFICIÊNCIA

Nova classe de modelos de IA abre mão dos tokens dos LLMs

Grandes modelos de linguagem (LLMs), como ChatGPT ou Gemini, geram texto palavra por palavra, com base em vocabulários fixos, quase como um digitador rápido, ou seja, a maneira como funcionam é fundamentalmente lenta.

Agora, uma nova classe de modelos denominada Continuous Autoregressive Language Models (CALM), proposta por pesquisadores da Tencent e da Universidade de Tsinghua, abordou esse problema, buscando tornar a próxima geração de LLMs muito mais rápida e eficiente.

Como funciona? Em vez de trabalhar com tokens discretos (palavras ou partes de palavras), prevendo o próximo um de cada vez, em uma ordem rigorosa, a estrutura CALM usa um espaço contínuo para prever o próximo vetor, não o token.

Em uma analogia simples, em vez de montar um link (token) de cada vez em uma cadeia, CALM agrupa várias links e os trata em grupo (vetor) como uma única unidade mais densa. Em linguagem mais técnica, em vez de atribuir probabilidades a tokens individuais, prevê diretamente um vetor que codifica vários tokens de uma só vez.

Por que isso importa? Como cada vetor representa, digamos, um grupo de K tokens, o modelo reduz significativamente o número de passos generativos por um fator K. Na prática, isso se traduz em desempenho equiparável ao de modelos de IA tradicionais a um menor custo computacional.

Além disso, a capacidade do vetor contínuo pode ser expandida simplesmente aumentando sua dimensão, o que oferece um caminho muito mais fácil de escalar em comparação com a estrutura discreta.

• Google Maps agora conta com Gemini para tornar a navegação mais intuitiva, usando linguagem natural (“vire à direita após o banco”) ou Google Lens.

• E a pesquisa aprofundada do Gemini foi integrada diretamente no Gmail, no Drive (Docs, Slides, Sheets e PDFs) e no Google Chat.

• Você já pode interromper consultas de longa duração no ChatGPT para adicionar novo contexto, bastando clicar em Atualizar na barra lateral.

• Perplexity atualizou o assistente de IA do navegador Comet para realizar mais tipos de ações com desempenho 23% melhor, segundo testes internos.

• Maya1 é o primeiro modelo TTS com recurso de "design de voz" que cria e personaliza vozes usando descrições em linguagem natural.

• Tinder está testando um recurso de IA para entender melhor os usuários fazendo perguntas e, com permissão, acessando fotos no telefone.

• GEN-0, da Generalist AI, é um modelo de IA para robótica treinado com mais de 270.000 horas de dados de interação física do mundo real.

• Kosmos é um sistema de IA autônomo capaz de concluir em um dia o trabalho científico equivalente a seis meses quando realizado de modo convencional. Foi criado por Edison Scientific, nova unidade comercial da FutureHouse. 🧑‍🔬

LINGUÍSTICA

Modelos de IA já trabalham melhor com metalinguagem

Pesquisadores da UC Berkeley e da Universidade Rutgers demonstraram que modelos de IA são capazes de analisar a linguagem com as mesmas profundidade e sofisticação de um especialista em linguística. Vários grandes modelos de linguagem (LLMs) tiveram colocada à prova sua capacidade metalinguística, de não apenas usar a linguagem, mas de pensar e raciocinar sobre sua estrutura.

E qual foi o resultado? O modelo o1 da OpenAI se destacou na análise de estruturas gramaticais intrincadas, inclusive recursão (incorporação de frases dentro de frases), que é característica definidora da mente humana. Talvez mais impressionante, foi o fato de ter lidado muito bem com frases ambíguas, gerando árvores sintáticas correspondentes para cada interpretação.

Também inferiu com sucesso regras fonológicas, descrevendo com precisão padrões sonoros (como vogais deveriam ser pronunciadas com base em consoantes anteriores), apesar de nunca ter trabalhando com pequenos idiomas criados pelos pesquisadores para os testes.

O que o estudo concluiu é que os atuais modelos podem, em princípio, realizar análises linguísticas mais sofisticadas, mas nada muito original. No entanto, deve ser uma questão de tempo até que possamos ver melhores generalizações a partir de menos dados e de uma maneira mais criativa.

Um novo relatório do Google Threat Intelligence Group (GTIG) confirmou que grupos patrocinados por algumas nações - especificamente Coreia do Norte, Irã e China - estão usando a IA para ter mais do que apenas eficiência; também estão desenvolvendo recursos avançados de ataque. As tendências mais preocupantes são versões de malware alimentadas por IA capazes de mudar dinamicamente seu próprio código para dificultar sua detecção; uso de engenharia social para se passarem por estudantes ou pesquisadores em prompts, conseguirem ignorar proteções internas dos modelo de IA e assim extrair informações confidenciais; e acesso a mercados digitais subterrâneos que oferecem ferramentas sofisticadas de IA para phishing, malware e pesquisa de vulnerabilidades. Veja mais detalhes do relatório aqui.

Amazon exigiu que Perplexity impeça usuários de seu navegador de IA Comet de fazer compras em site de comércio eletrônico, alegando que o agente de IA do Comet viola termos de serviço, degrada a experiência de compra, além de apresentar riscos à privacidade dos clientes e de fazer compras sem divulgação clara. Perplexity rebate o pedido a Amazon, caracterizando-o como bullying em vez de inovação e argumentando que a postura da Amazon restringe a escolha dos usuários e a concorrência. Vai além e diz que a Amazon está favorecendo anúncios e listas patrocinadas em detrimento de experiências mais simples possibilitadas pela IA autônoma.