Firefly
开源项目
Firefly

中文对话式大语言模型

? 支持微调XVERSE-13B。
? 开源Firefly项目多轮对话微调的firefly-chatglm2-6b。
? 支持微调通义千问Qwen-7B,该模型在各个中英文榜单,表现非常优异。
? 支持多轮对话微调ChatGLM2,比官方的训练方法更加充分高效(近期会进行源码分析)。当前微调了2500步的效果:Firefly-ChatGLM2-6B生成样例
? 开源firefly-llama2-13b,在Open LLM排行榜上以62分,同量级模型排名第三,比榜首略低0.5分。
? 开源firefly-baichuan-13b,使用一百万多轮对话数据,提升baichuan-13b的多轮对话能力。 Firefly-Baichuan-13B生成样例
? 开源firefly-llama-13b,在Hugging Face的Open LLM排行榜上复刻Vicuna-13B,比Vicuna-13b-1.1略高0.2分,比llams-2-13b-chat略低0.5分。
? 支持训练LLaMA-2、ChatGLM2、Baichuan、通义千问Qwen-7B、书生·浦语InternLM、LLaMA、Ziya、Bloom等开源模型。
? 发布Firefly项目教程:微调百川Baichuan-13B保姆式教程,手把手教你训练百亿大模型
? 发布项目首个百亿参数规模的模型:firefly-ziya-13b ,该模型使用百万指令数据进行微调。
发布经过QLoRA微调的百川baichuan-7b模型。
发布经过QLoRA微调的bloom-7b1模型。

相关导航

发表回复