mece-tunepigier-9b / README.md
Geres Vignikin HOUNSOU
Update README.md
a6afc84 verified
|
Raw History Blame Contribute Delete
2.39 kB
metadata
license: other
language:
  - fon
  - fr
  - en
pipeline_tag: text-generation
library_name: transformers
tags:
  - fongbe
  - fon
  - low-resource
  - african-languages
  - qlora
  - assistant
  - mece

MƐCE — Tune_Pigier (Qwen 3.5 9B fine-tuné Fongbe, modèle fusionné)

Modèle de langue conversationnel centré sur le Fongbe (fon), cœur de l'assistant vocal MƐCE. Version fusionnée (poids QLoRA mergés dans le modèle de base), chargeable directement avec transformers.

Détails

  • Base : Qwen 3.5 9B (multilingue), tokenizer étendu de +82 tokens Fongbe (caractères ɔ, ɛ, ɖ + sous-mots) → byte-fallback ramené de 49,24 % à 0 %.
  • Méthode : QLoRA (NF4, r=64, α=128, dropout 0,05), embeddings dégelées (embed_tokens, lm_head), calcul bf16. ~116 M paramètres entraînables (1,28 %).
  • Entraînement : 3 époques, 2× RTX 5090 (DDP), ~140 K exemples (cf. dataset associé). Loss eval finale 0,378, mean token accuracy 90,0 %.
  • Capacités : conversation en Fongbe, français préservé, traduction FR/EN↔FON.

Usage

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

tok = AutoTokenizer.from_pretrained("CapitaineVigs/mece-tunepigier-9b")
model = AutoModelForCausalLM.from_pretrained(
    "CapitaineVigs/mece-tunepigier-9b", torch_dtype=torch.bfloat16, device_map="auto")

messages = [
    {"role": "system", "content": "Hwi wɛ nyí MƐ CE, alɔgɔ́nútɔ́ gbɛtɔ́ lɛ tɔn. A nɔ na xósin ɖò Fɔngbè mɛ hwebǐnu."},
    {"role": "user", "content": "A fɔn ganji a ?"},
]
prompt = tok.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
out = model.generate(**tok(prompt, return_tensors="pt").to(model.device), max_new_tokens=256)
print(tok.decode(out[0], skip_special_tokens=True))

Note d'inférence : forcer l'EOS sur <|im_end|> et bannir les single-byte tokens non-ASCII évite les artefacts (séquelle corrigée en phase 4c). Cf. app/llm.py du projet.

Limites

STT/TTS non inclus (modèles tiers intégrés dans l'app). Corpus encore en partie biblique~; pas de benchmark conversationnel Fongbe standardisé.

Licence

à reporter explicitement ici.

Citation

HOUNSOU Vignikin Gerès, MƐCE : assistant vocal Fongbe basé sur un grand modèle de langue fine-tuné, École PIGIER Bénin, 2026.