阿里巴巴开源其大语言模型通义千问

阿里巴巴在今年四月宣布了它的大语言模型通义千问（Tongyi Qianwen 或简写 Qwen）。现在它宣布开源有 70 亿参数的 Qwen-7B 系列模型，源代码托管在 GitHub 上，采用被称为 Tongyi Qianwen LICENSE AGREEMENT 的许可证，有限制条件，如果商业使用，月活用户数超过 1 亿，则需要从阿里巴巴获得授权。这一条件与 Meta 对其 LLaMA 2 大模型的限制类似。阿里巴巴称，Qwen-7B是基于 Transformer 的大语言模型, 在 2.2 万亿 token 的预训练数据上进行训练得到。预训练数据类型多样，覆盖广泛，包括大量网络文本、专业书籍、代码等。相比同规模的开源模型，Qwen-7B 在多个评测数据集上具有显著优势，甚至超出 12-13B 等更大规模的模型。评测评估的能力范围包括自然语言理解与生成、数学运算解题、代码生成等。