YAML Metadata
Warning:
empty or missing yaml metadata in repo card
(https://huggingface.co/docs/hub/model-cards#model-card-metadata)
模型介绍
TLAB-PanGu1B-FFT是基于openPangu-Embedded-1B-V1.1基座模型，通过全参数微调方法获得的专业化版本。该模型结合Alpaca(https://huggingface.co/datasets/tatsu-lab/alpaca)数据对模型进行instruction-tuning， 旨在提升模型知识理解与生成能力。
主要特色
1）知识理解与生成：结合Alpaca数据进行instruction-tuning，增强模型术语理解与文本生成能力；
2）全参数微调策略：采用完整的参数更新机制，充分学习数据特征，最大化模型的知识学习与适应能力；
3）端侧部署友好：在保持1B轻量级参数规模的同时，通过instruction-tuning提升在资源受限环境下的推理准确性；
基座模型
openPangu-Embedded-1B-V1.1（https://gitee.com/hf-models/openPangu-Embedded-1B）
微调方法
训练策略：有监督、全参数微调
环境准备
- 硬件规格：NPU 910B （64G）
- 操作系统：Linux 5.10.0
- cann==8.0
- python==3.10
- torch==2.1.0
- torch-npu==2.1.0.post6
- transformers==4.53.2
- tokenizers==0.21.4
- tensorboard==2.20.0
贡献人员名单
核心贡献者：罗玉平、张宏刚（东南大学复杂交通网络研究中心）
支持团队：东南大学交通学院、东南大学统计与数据科学学院
- Downloads last month
- 8
Inference Providers
NEW
This model isn't deployed by any Inference Provider.
🙋
Ask for provider support