Trong video chia sẻ trên X ngày 19/1, công ty siêu máy tính Cerebras cho biết đã sử dụng hệ thống chạy chip WSE-3 kết hợp mô hình ngôn ngữ lớn (LLM) Llama 3.1 405B (405 tỷ tham số) của Meta và dịch vụ đám mây AI Cerebras Inference để lập trình trò chơi cờ vua bằng Python, sau đó so sánh với hệ thống khác cũng chạy LLM của Meta nhưng dùng dịch vụ đám mây Amazon Web Services (AWS) và GPU Nvidia.

Kết quả, với khả năng tạo 972 token (mã riêng lẻ từ phản hồi của LLM) mỗi giây và thời gian bắt đầu token đầu tiên là 0,24 giây, hệ thống của Cerebras mất hơn hai giây để viết một game cờ vua - kỷ lục thế giới hiện tại. Trong khi đó, hệ thống AWS mất gần 20 giây.

Cerebras cũng so sánh hàng loạt AI hàng đầu khác từ Google, Microsoft Azure hay Fireworks và đều cho kết quả vượt trội. SambaNova, đối thủ cạnh tranh trực tiếp của WSE-3, cũng bị Cerebras Inference đánh bại với thời gian nhanh gấp 6 lần.

"Llama 3.1 405B trên Cerebras là mô hình nhanh nhất thế giới cho đến nay, gấp 12 lần so với GPT-4o, 18 lần so với Claude 3.5 Sonnet", Cerebras nói với Tom's Hardware. "Nhờ sự kết hợp giữa phương pháp tiếp cận mở của Meta và công nghệ suy luận đột phá của Cerebras, Llama 3.1 405B hiện chạy nhanh hơn 10 lần so với các LLM đóng đang có trên thị trường".

Cũng theo đại diện Cerebras, ngay cả khi tăng kích thước truy vấn từ 1.000 token lên 100.000 token (một lời nhắc được tạo thành từ ít nhất vài nghìn từ), Cerebras Inference cũng sẽ hoạt động ở mức 539 token mỗi giây. Các đối thủ hiện có đạt 49 token mỗi giây.

Được giới thiệu hồi tháng 3, WSE-3 là nền tảng thế hệ thứ ba của Cerebras, được thiết kế để vận hành hệ thống AI như GPT-4 của OpenAI và Claude 3 Opus của Anthropic. Chip chứa 4.000 tỷ bóng bán dẫn, 900.000 lõi AI, cấu tạo từ tấm bán dẫn silicon 21,5 x 21,5 cm. Chip giống phiên bản tiền nhiệm năm 2021 là WSE-2, tiêu thụ cùng lượng điện nhưng mạnh gấp đôi. Để so sánh, một trong những chip mạnh nhất hiện nay dùng để huấn luyện mô hình AI là Nvidia H200 hiện có 80 tỷ bóng bán dẫn, ít hơn 57 lần so với chip của Cerebras.