gemma-4-e4b-it-qat-q4_0-mlx

Checkpoint MLX quantifié QAT Q4_0 pour Apple Silicon, dérivé de google/gemma-4-E4B-it (release officielle Gemma 4 QAT de Google).

Ce dépôt publie une variante locale préparée pour Oriloq MLX. L'objectif est de diffuser un checkpoint téléchargeable tel quel par identifiant de repo Hugging Face, lisible par les chargeurs MLX.

Résumé

• Famille : Gemma 4 E4B
• Base model : google/gemma-4-E4B-it
• Repo id conseillé : NeoRoth/gemma-4-e4b-it-qat-q4_0-mlx
• Modalités : text, image, audio
• Architecture : Dense
• Couches texte : 42
• Quantification : affine 4-bit uniforme, group_size=32, mode=affine (Q4_0)
• Taille totale des poids : 5.66 GB
• Plus gros shard : 5.37 GB

Quantification

• Schéma homogène : quantification affine asymétrique 4-bit, blocs de 32 (Q4_0), appliquée uniformément (pas d'override par couche dans config.json).
• .weight en U32, .scales et .biases en BF16.
• Provient de la quantification du checkpoint QAT officiel *-qat-q4_0-unquantized de Google : le modèle a été entraîné en tenant compte de la quantification (Quantization-Aware Training), ce qui limite la perte de qualité face à une quantification post-entraînement classique.

Fichiers de poids

• model-00001-of-00002.safetensors
• model-00002-of-00002.safetensors

Format et compatibilité

• Format de repo : safetensors + config.json + tokenizer/chat template.
• Pensé pour les chargeurs MLX capables de lire la section quantization de config.json.
• Checkpoint MLX complet, ce n'est pas un alias vers le modèle Google original.

Téléchargement

from huggingface_hub import snapshot_download
local_path = snapshot_download("NeoRoth/gemma-4-e4b-it-qat-q4_0-mlx")
print(local_path)

Licence et conditions d'utilisation

Ce checkpoint est un dérivé de Gemma (modèle de base google/gemma-4-E4B-it) et reste soumis aux Gemma Terms of Use. Il n'est pas sous licence Apache 2.0.

Gemma is provided under and subject to the Gemma Terms of Use found at ai.google.dev/gemma/terms

• Conditions complètes : https://ai.google.dev/gemma/terms
• Politique d'usage interdit (Prohibited Use Policy) : https://ai.google.dev/gemma/prohibited_use_policy
• Usage commercial autorisé dans le strict respect de ces conditions.
• En téléchargeant ou en utilisant ce checkpoint, vous acceptez les Gemma Terms of Use et la Prohibited Use Policy, qui se propagent à tout usage en aval.

Le fichier LICENSE de ce dépôt rappelle l'avis Gemma à transmettre aux utilisateurs downstream.