Qwen2.5-1.5B 提示词自动优化器 (Prompt Optimizer LoRA)

本模型基于 Qwen2.5-1.5B,使用 QLoRA 微调,能够将模糊的自然语言提问自动改写为结构化的提示词。

训练配置

  • 基座模型:Qwen/Qwen2.5-1.5B(Apache 2.0)
  • 微调方法:QLoRA (4-bit) + LoRA (r=16, alpha=32)
  • 训练设备:Tesla T4 (Google Colab 免费版)
  • 训练数据:100 条'差→好'提示词配对
  • 训练时长:66 秒
  • 最终训练损失:0.81
  • 训练轮数:3 epochs

评测结果

在 14 条测试集上:

指标 数值
原始模糊提问正确率 29%
优化后提示词正确率 64%
绝对提升 +35 个百分点

使用方法

from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer

base_model = AutoModelForCausalLM.from_pretrained('Qwen/Qwen2.5-1.5B')
model = PeftModel.from_pretrained(base_model, 'redstone-ui/qwen2.5-1.5b-prompt-optimizer-lora')
tokenizer = AutoTokenizer.from_pretrained('redstone-ui/qwen2.5-1.5b-prompt-optimizer-lora')

input_text = '告诉我生态系统。'
inputs = tokenizer(input_text, return_tensors='pt')
outputs = model.generate(**inputs, max_new_tokens=256)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

局限性

  • 训练数据规模较小(100 条),模型泛化能力有限
  • 测试集仅 14 条,统计意义有限
  • 本模型为教学演示用途,非生产级工具

许可证

Apache 2.0

Downloads last month
7
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Model tree for redstone-ui/qwen2.5-1.5b-prompt-optimizer-lora

Adapter
(499)
this model