5W1H_Llama_3B

Descripción

Modelo ajustado a partir de meta-llama/Llama-3.2-3B-Instruct para extraer etiquetas 5W1H en español. Entrenado con Lightning Fabric usando el chat template de LLaMA 3.2.

La tarea principal del modelo es la extracción de 5W1H (WHAT, WHEN, WHERE, WHY, WHO, HOW), es decir, identificar y etiquetar las palabras o frases clave en un texto según estas categorías.

Dataset

El dataset utilizado se puede descargar desde: Dataset de las 5W1H.

Formato utilizado para realizar el fine-tuning y la inferencia en el modelo.

[
  {
    "role": "system",
    "content": """Eres un experto en lengua española. Tu tarea es identificar y etiquetar las palabras o frases clave de un TEXTO dado según las siguientes categorías:
    WHAT: Describe la acción, suceso o idea principal del texto.)
    WHEN: Señala el momento o duración en que ocurre el suceso.
    WHERE: Indica el lugar donde ocurre el suceso.
    WHY: Explica la causa o razón detrás del suceso.
    WHO: Define las entidades, personas o grupos que participan o son afectados por el suceso.
    HOW: Describe las circunstancias o la forma en que sucede el hecho.
    Por favor, coloca la categoría correspondiente entre corchetes justo antes o después de la palabra o frase relevante."""
  },
  {
    "role": "user",
    "content": "Texto: Esto se refleja en la ocupación de unidades de cuidados intensivos (UCI), lo que se agrava con la llegada de pacientes remitidos de otras ciudades de la región."
  },
  {
    "role": "assistant",
    "content": "Esto se refleja [WHERE]en la ocupación de unidades de cuidados intensivos (UCI)[/WHERE], lo que se agrava [HOW]con la llegada de pacientes[/HOW] remitidos [WHERE]de otras ciudades de la región[/WHERE]."
  }
]

Parámetros de entrenamiento

• epochs: 5
• learning_rate: 1e-5
• beta1: 0.9
• beta2: 0.95
• weight_decay: 0.1
• batch_size global: 4
• micro_batch_size: 1
• lr_warmup_steps: 100
• max_seq_length: 512

Resultados por clase (5W1H)

Las métricas aplicadas se pueden replicar usando el código del siguiente repositorio: Métricas para la tarea de 5W1H.

Clase	Correct (Ca)	Incorrect (Ia)	Partial (Pa)	Missing (Ma)	Spurious (Sa)	Precision	Recall	F1 Score	Accuracy
WHAT	343	21	198	143	166	0.6071	0.6270	0.6169	0.5075
WHEN	119	7	21	35	30	0.7316	0.7115	0.7214	0.6108
WHERE	120	12	21	60	15	0.7768	0.6127	0.6850	0.5724
WHO	328	15	69	64	55	0.7762	0.7616	0.7688	0.6827
WHY	23	3	9	26	13	0.5729	0.4508	0.5046	0.3716
HOW	54	18	13	72	37	0.4959	0.3854	0.4337	0.3119

Promedios generales (macro)

Métrica	Valor
Precision	0.6740
Recall	0.6424
F1 Score	0.6578
Accuracy	0.5462

Referencia

@misc{gplsi-5w1h-llama3b,
  author       = {Sepúlveda-Torres, Robiert and Bonet-Jover, Alba and Mármol-Romero, Alba María and Cabrera-de-Castro and Saquete, Estela and Martínez-Barco, Patricio and Martín-Valdivia, M. Teresa and L. Alfonso Ureña-López},
  title        = {5W1H Extractor Fine-Tuned from Llama-3B-Instruct},
  year         = {2025},
  howpublished = {\url{https://huggingface.co/gplsi/5W1H_Llama_3B}},
  note         = {Accessed: 2025-05-28}
}