AI chạy tại nhà nhanh như đám mây: GLM-5.3-Flash đạt 222 token/giây trên cụm DGX Spark

Mô hình 320 tỷ tham số

Theo tổng hợp tin tức trên X, GLM-5.3-Flash do Z.ai phát hành vào tháng 8/2026 có 320 tỷ tham số, hỗ trợ ngữ cảnh 1 triệu token và đầu vào đa phương thức như hình ảnh, video.

Kết quả benchmark cộng đồng

Dùng phần mềm TensorFold trên bốn máy DGX Spark nối trực tiếp (không cần switch), cộng đồng ghi nhận:

• 95 token/giây với một luồng.
• 163 token/giây với bốn luồng.
• 222 token/giây với tám luồng.

Một người thử nghiệm chia sẻ rằng sau khi dùng ở tốc độ 1.000 token/giây, họ “không nghĩ có thể quay lại”. Đây là các số liệu benchmark cộng đồng, không phải từ nhà sản xuất.

Đáng tiền hay không?

Cụm phần cứng có chi phí khoảng 20.000 USD, và nhiều người cho rằng chạy trên đám mây rẻ hơn nhiều. Phe ủng hộ chạy cục bộ đáp lại bằng những lợi ích khó đo bằng tiền: dữ liệu không rời khỏi máy, không bị giới hạn tốc độ, không phụ thuộc chính sách của nhà cung cấp.

Xu hướng AI tại chỗ

Câu chuyện GLM-5.3-Flash nằm trong làn sóng mô hình mở mạnh lên. Theo các phân tích được chia sẻ, mô hình mở đã chiếm tới 78% lượng token trên một số nền tảng tính đến giữa tháng 9, dù tỷ trọng chi tiêu còn thấp. Các mô hình giá rẻ đến từ Trung Quốc đang gây áp lực giá lên các hãng Mỹ.

Kết hợp với ví dụ Coinbase tinh chỉnh mô hình Qwen nhỏ để chống gian lận, có thể thấy một hướng đi rõ ràng: doanh nghiệp cần bảo mật dữ liệu đang có lựa chọn ngày càng khả thi để chạy AI mạnh trên hạ tầng của chính mình.

Gợi ý

Với doanh nghiệp Việt Nam có yêu cầu dữ liệu không ra nước ngoài, đầu tư một cụm máy suy luận cục bộ chạy mô hình mở có thể đáng cân nhắc – đặc biệt khi tốc độ đã đủ cho sử dụng thực tế.

Nguồn tham khảo

• X News – GLM-5.3-Flash Hits 222 Tokens per Second on DGX Sparks

Bài viết tổng hợp từ các bản tin tổng hợp bài đăng trên X (X News); thông tin có thể tiếp tục được cập nhật.