Tecnologia espanhola compacta LLMs em até 95%

SEM PREJUDICAR O DESEMPENHO

Tecnologia espanhola compacta LLMs em até 95%

A startup espanhola Multiverse Computing desenvolveu uma tecnologia de compressão chamada CompactifAI, de inspiração quântica, capaz de reduzir o tamanho dos grandes modelos de linguagem (LLMs) em até 95%, sem prejuízo do desempenho.

Os resultados já foram apresentados na prática com dois dos menores modelos de IA de alto desempenho já vistos, apelidados de “Model Zoo” por seus tamanhos minúsculos, comparados ao cérebro de uma galinha e de uma mosca.

Como funciona? A CompactifAI foi criada usando Tensor Networks, uma abordagem inspirada na física quântica para simplificar as redes neurais. O resultado? Modelos desenvolvidos usando CompactifAI são versões altamente compactadas dos principais LLMs de código aberto, mas com as vantagens de manter a precisão original, ser de 4 a 12 vezes mais rápidos e reduzir de 50% a 80% os custos de inferência, segundo a Multiverse Computing.

Os integrantes da série Model Zoo podem ser usados localmente em dispositivos como smartphones, wearables, laptops e dispositivos IoT ou mesmo off-line, reduzindo significativamente os custos de processamento na nuvem:

🐔 ChickenBrain: Modelo compactado de 32 bilhões de parâmetros baseado no Llama 3.1-8B da Meta, que supera o original em importantes sistemas de benchmarking, podendo inclusive realizar tarefas de raciocínio.

🪰 SuperFly: Modelo compactado de 94 milhões de parâmetros baseado no SmolLM2 135M do Hugging Face. É otimizado para implantação em dispositivos leves, com o mínimo de hardware, como eletrodomésticos operados por comando de voz.

Para quem estiver interessado em usar modelos de IA compactados, a Mulltiverse Computing oferece algumas opções via API no AWS Marketplace.

• Novo recurso do Gemini permite lembrar e aprender com interações anteriores do usuário para melhorar as respostas. Recurso é ativado por padrão, mas pode ser desativado na configuração de Contexto Pessoal.

• Outra novidade do Gemini é manter conversas temporárias que não são salvas no histórico de bate-papo nem usadas para personalização ou treinamento de IA.

• Jan-v1 é um modelo para pesquisas na Web, construído sobre o Qwen3-4B-Thinking e lançado como alternativa de código aberto ao serviço Perplexity Pro.

• Higgsfield Draw-to-Video transforma esboços e imagens em cenas de vídeo cinematográficas, sem precisar de prompts. Experimente aqui.

• Hunyuan-Large-Vision é um modelo da Tencent com compreensão multilíngue e multimodal de imagens, vídeos e 3D.

• LFM2-VL é a primeira série de modelos de linguagem visual da Liquid voltada para uso em dispositivos portáteis e cenários de baixa latência.

• Gemma 3 270M é um modelo compacto do Google, com baixo consumo de energia, para ajustes finos em domínios e idiomas específicos.

• Imagen 4 do Google, antes em versão preview, agora tem ampla disponibilidade com novo modo Fast para geração rápida de imagens.

• HTC lançou em Taiwan os óculos VIVE Eagle, com assistente inteligente ativado por voz para tirar fotos, tocar música, fazer traduções e mais.

• Lançamento do DeepSeek R2 atrasará devido a problemas técnicos persistentes ao tentar treiná-lo usando processadores Ascend da Huawei. 🏻⏳⚠️

IDIOMAS

NVIDIA libera conjuntos de dados e modelos para IA multilíngue

A NVIDIA liberou um enorme conjunto de dados de código aberto, o Granary, juntamente com dois novos modelos de IA, Canary-1b-v2 e Parakeet-tdt-0.6b-v3, para acelerar o desenvolvimento de tecnologias de reconhecimento de fala e tradução de alta qualidade, particularmente para linguagens com dados limitados.

Com cerca de um milhão de horas de áudio, sendo 650 mil horas para reconhecimento de fala e 350 mil horas para tradução, o Granary foi criado usando um pipeline de processamento movido pelo kit de ferramentas NVIDIA NeMo Speech Data Processor, que converte áudio sem rótulos em dados limpos e de alta qualidade sem a necessidade de anotação humana intensiva em recursos.

Por que isso importa? Com o Granary, os modelos Canary and Parakeet e a metodologia usada para criá-los, a NVIDIA está dando à comunidade de desenvolvedores ricas ferramentas para inovar no campo da IA com recursos de fala, em aplicações que vão desde chatbots multilíngues e agentes de voz de atendimento ao cliente a serviços de tradução em tempo real.

Uma investigação da Reuters revelou que políticas internas para o chatbot de IA da Meta permitiam interações inadequadas com menores, como conversas de teor romântico ou sensual com crianças, além de darem respostas racistas e informações médicas falsas. As revelações foram extraídas de um documento obtido pela Reuters, com diretrizes para o assistente Meta AI e também para o chatbot no Facebook, WhatsApp e Instagram, que teve a autenticidade confirmada pela própria Meta. Após contato com a Reuters, as seções do documento que permitiam de flerte com menores foram removidas pela Meta. Senadores norte-americanos já pediram uma investigação sobre o tema.

Pesquisadores da Universidade de Oxford, da EleutherAI e do Instituto de Segurança da IA do Reino Unido desenvolveram um método para melhorar a segurança dos modelos de linguagem de IA de peso aberto. Ao filtrar conhecimento potencialmente danoso, como conteúdo relacionado a ameaças biológicas, durante o processo de treinamento, foi possível criar modelos resistentes a atualizações mal-intencionadas. A abordagem chegou a remover até 9% dos dados de risco, preservando o desempenho geral. Além disso, os modelos filtrados provaram ser cerca de 10 vezes mais eficazes do que os métodos anteriores, resistindo a tentativas de ajuste fino.