---
license: other
language:
- fon
- fr
- en
pipeline_tag: text-generation
library_name: transformers
tags:
- fongbe
- fon
- low-resource
- african-languages
- qlora
- assistant
- mece
---

# MƐCE — Tune_Pigier (Qwen 3.5 9B fine-tuné Fongbe, modèle fusionné)

Modèle de langue conversationnel **centré sur le Fongbe** (fon), cœur de l'assistant
vocal **MƐCE**. Version **fusionnée** (poids QLoRA mergés dans le modèle de base),
chargeable directement avec `transformers`.

## Détails

- **Base** : Qwen 3.5 9B (multilingue), **tokenizer étendu de +82 tokens Fongbe**
  (caractères ɔ, ɛ, ɖ + sous-mots) → *byte-fallback* ramené de 49,24 % à **0 %**.
- **Méthode** : **QLoRA** (NF4, r=64, α=128, dropout 0,05), embeddings dégelées
  (`embed_tokens`, `lm_head`), calcul bf16. ~116 M paramètres entraînables (1,28 %).
- **Entraînement** : 3 époques, **2× RTX 5090 (DDP)**, ~140 K exemples (cf. dataset
  associé). Loss eval finale **0,378**, *mean token accuracy* **90,0 %**.
- **Capacités** : conversation en **Fongbe**, français préservé, traduction FR/EN↔FON.

## Usage

```python
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

tok = AutoTokenizer.from_pretrained("CapitaineVigs/mece-tunepigier-9b")
model = AutoModelForCausalLM.from_pretrained(
    "CapitaineVigs/mece-tunepigier-9b", torch_dtype=torch.bfloat16, device_map="auto")

messages = [
    {"role": "system", "content": "Hwi wɛ nyí MƐ CE, alɔgɔ́nútɔ́ gbɛtɔ́ lɛ tɔn. A nɔ na xósin ɖò Fɔngbè mɛ hwebǐnu."},
    {"role": "user", "content": "A fɔn ganji a ?"},
]
prompt = tok.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
out = model.generate(**tok(prompt, return_tensors="pt").to(model.device), max_new_tokens=256)
print(tok.decode(out[0], skip_special_tokens=True))
```

> Note d'inférence : forcer l'EOS sur `<|im_end|>` et bannir les *single-byte tokens*
> non-ASCII évite les artefacts (séquelle corrigée en phase 4c). Cf. `app/llm.py` du projet.

## Limites

STT/TTS non inclus (modèles tiers intégrés dans l'app). Corpus encore en partie biblique~;
pas de benchmark conversationnel Fongbe standardisé.

## Licence
à reporter explicitement ici.

## Citation

> HOUNSOU Vignikin Gerès, *MƐCE : assistant vocal Fongbe basé sur un grand modèle de
> langue fine-tuné*, École PIGIER Bénin, 2026.