SAI-for-VinFast-Q8_0_375M

Checkpoint SAI-for-VinFast 375M, dành cho tác vụ trợ lí ảo trên xe VinFast. Có 375.194.624 tham số, 24 layer, d_model=1024, 16 query head và 4 KV head.

Bản đã quantize 8 bit Q8_0, định dạng GGUF; norm giữ F32. File trọng số: SAI-for-VinFast-Q8_0_375M.gguf. Config và tokenizer đã nằm trong file GGUF, không cần tải riêng.

Dùng llama.cpp revision cb7934c52ca8710994b2ecc19775ebefcfdb8d01 và áp dụng llama-ugm-byte-fallback.patch đi kèm trước khi build runtime:

git -C /path/to/llama.cpp checkout cb7934c52ca8710994b2ecc19775ebefcfdb8d01
git -C /path/to/llama.cpp apply /absolute/path/to/llama-ugm-byte-fallback.patch

Sau đó build llama.cpp cho máy của bạn và load file GGUF. Dùng chat template trong GGUF, nội dung tiếng Việt được lowercase. Patch cần thiết để giữ đúng byte fallback của tokenizer SAI; llama.cpp stock/Ollama chưa được xác minh.

License trọng số chưa được chủ sở hữu chỉ định.

Kiểm chứng checkpoint cập nhật ngày 10/10/2026

Trọng số 380.55 MiB. Tokenizer khớp 13/13 trường hợp; logits hữu hạn ở 45 điểm, gồm prefill và decode có KV cache đến context 1024. Max relative RMSE=0.032482; max KL=0.006738; top-1 khớp FP32 45/45 điểm. Đây là kiểm chứng kỹ thuật, chưa đánh giá chất lượng câu trả lời trên held-out VinFast. Hash nguồn, tokenizer, patch và trọng số nằm trong manifest.json.