Điều gì đã xảy ra

Tether Data đã giới thiệu QVAC Fabric LLM, một mô hình ngôn ngữ lớn ưu tiên biên (LLM) với runtime suy diễn kết hợp với một khung tinh chỉnh thích nghi thấp LLM (LoRA). Công nghệ này hỗ trợ các mô hình AI hiện đại chạy hiệu quả trên các nền tảng không đồng nhất bao gồm GPU, điện thoại thông minh, máy tính xách tay và máy chủ. Khung này cho phép xử lý AI trên thiết bị, được thiết kế để tối ưu hóa việc sử dụng tài nguyên và cải thiện tốc độ suy diễn cho các ứng dụng yêu cầu khả năng LLM.

Bối cảnh
Sự ra mắt của QVAC Fabric LLM phù hợp với một xu hướng rộng lớn hơn trong ngành công nghiệp, nhấn mạnh việc tính toán AI ở rìa—nơi dữ liệu được xử lý tại chỗ trên các thiết bị của người dùng thay vì trên các máy chủ đám mây tập trung—để cải thiện quyền riêng tư, giảm độ trễ và tiết kiệm băng thông. Tinh chỉnh LoRA là một kỹ thuật cho phép các mô hình thích ứng với các nhiệm vụ mới với ít tài nguyên tính toán hơn bằng cách cập nhật một tập hợp các tham số nhỏ hơn, làm cho nó khả thi cho nhiều loại thiết bị khác nhau. Tether Data, một công ty