Que s'est-il passé

Tether Data a introduit le QVAC Fabric LLM, un modèle de langage de grande taille axé sur le edge (LLM) associé à un cadre d'adaptation à faible rang généralisé (LoRA) pour le réglage fin. Cette technologie prend en charge les modèles d'IA modernes fonctionnant efficacement sur des plateformes hétérogènes, y compris les GPU, les smartphones, les ordinateurs portables et les serveurs. Le cadre permet le traitement de l'IA sur l'appareil, conçu pour optimiser l'utilisation des ressources et améliorer la vitesse d'inférence pour les applications nécessitant des capacités LLM.

Contexte
La sortie de QVAC Fabric LLM s'inscrit dans une tendance industrielle plus large qui met l'accent sur le calcul AI à la périphérie—où les données sont traitées localement sur les appareils des utilisateurs au lieu de serveurs cloud centralisés—pour améliorer la confidentialité, réduire la latence et économiser la bande passante. L'affinage LoRA est une technique qui permet aux modèles de s'adapter à de nouvelles tâches avec moins de ressources informatiques en mettant à jour un sous-ensemble plus petit de paramètres, ce qui le rend pratique pour une large gamme d'appareils. Tether Data, une entreprise