O que há de Neu nos LLMs?

A Shopper Electronics Present (CES) está mais uma vez em pleno andamento em Las Vegas e, como sempre, as últimas inovações em todo o cenário tecnológico estão em exibição. Com os principais lançamentos de produtos ocorridos no ano passado, não deveria ser surpresa que as tecnologias que incorporam inteligência synthetic estejam na vanguarda. Os Massive Language Fashions (LLMs), em explicit, tiveram um ano de destaque, melhorando muito suas capacidades como chatbots, assistentes digitais, sistemas de controle para robôs e muito mais. Mas qualquer conversa sobre as capacidades dos LLMs inevitavelmente também se voltará para outro aspecto importante desses modelos – a utilização de recursos de {hardware}. Apesar de muitos avanços algorítmicos que serviram para otimizar LLMs, eles ainda são conhecidos como consumidores de recursos, muitas vezes exigindo enormes recursos de computação em nuvem apenas para executar inferências. Naturalmente, isto tem o efeito de limitar quando e onde estes modelos podem ser utilizados, impedindo que sejam incorporados em muitas aplicações comerciais. Uma empresa chamada Neuchips, que se concentra no desenvolvimento de circuitos integrados específicos de aplicativos (ASICs) para aplicações de IA, anunciou na CES um par de novos componentes de {hardware} que podem ajudar os LLMs a rodar em plataformas de {hardware} menos potentes, consumindo menos energia. Os produtos são chamados de chip acelerador Raptor Gen AI e placa aceleradora Evo PCIe. Ambos os dispositivos foram projetados para ajudar as empresas a implantar LLMs por uma fração dos custos atuais. Cada chip Raptor é capaz de realizar até 200 tera operações por segundo, com suporte para certas operações que são críticas para algoritmos modernos de aprendizado de máquina, como multiplicações de matrizes e pesquisas de tabela incorporadas. Esses recursos vão além dos LLMs, beneficiando uma ampla gama de IA generativa e modelos baseados em transformadores. A placa de aceleração Evo combina o poder dos chips Raptor com 32 GB de memória LPDDR5 e uma interface PCIe Gen 5 com oito pistas para fornecer largura de banda de E/S de host de 64 GB/s. A equipe Neuchips demonstrou seu {hardware} acelerando os populares chatbots Whisper e Llama AI na CES. Dado o desempenho e a eficiência energética deste {hardware}, pode ajudar a alimentar uma nova geração de ferramentas de IA. Fique atento a mais lançamentos de produtos da Neuchips no segundo semestre do ano. O Raptor ASIC pode executar com eficiência inferências LLM (📷: Neuchips) Placa Evo Gen 5 PCIe (📷: Neuchips)