百亿规模参数，MOSS 的英文回答水平较中文更高。

(资料图)

作者 | 黄楠

编辑 | 陈彩娴

2月20日，复旦大学自然语言处理实验室发布对话式大型语言模型 MOSS，该模型由邱锡鹏教授带队完成发布，上海人工智能实验室提供有力支持。

作为一个语言模型，MOSS 可执行对话生成、编程、事实问答等系列任务，比如让它回答关于“AI 取代人类工作”的问题：

也可以通过列举具体的指令，请它帮忙推荐电影：

或者是生成一段 Python 代码实现快速排序：

可以看到，MOSS 回答流畅，在不同场景上都有不凡的表现。

MOSS 的开发步骤包括了自然语言模型的基座训练、理解人类意图的对话能力训练两个阶段，与 ChatGPT 基本一致。

在对话能力训练阶段中，OpenAI 采取的做法是，收集至少几十万条人类指令，由专业的标注员写出指令回复后，将回复输入模型基座，从而实现 ChatGPT 逐步理解各种指令。

MOSS 与其不同的是，邱锡鹏及团队，是通过将其同人类与其他对话模型进行交互，从而提升 MOSS 的学习和研发效率， 在短时间内完成对话能力训练。

在参数量级方面，MOSS 的参数量比 ChatGPT 小一个数量级，只进行百亿规模参数上探索、验证 ChatGPT 的技术路线，这也意味着 MOSS 在任务完成度和知识储备量上，存在一定的提升空间。

科研团队指出，当前版本的 MOSS 表现不够稳定，部分回答或存在事实差错、逻辑不顺等问题。不仅如此，MOSS 的英文回答水平较中文回答水平更高，这主要受到其模型基座的单词收录量影响，MOSS 学习了 3000 多亿个英文单词，但中文词语只学了约 300 亿个。

由于访问火爆，计算资源无法支撑，现内测窗口已暂时关闭。

对此，MOSS团队表示，“MOSS 还是一个非常不成熟的模型，距离 ChatGPT 还有很长的路需要走。我们一个学术研究的实验室无法做出和 ChatGPT 能力相近的模型。”

在完成初步的验证之后，这项工作将通过开源方式和业界社区分享。

邱锡鹏，复旦大学电子计算机科学技术学院教授，他的研究方向为自然语言处理、深度学习，发表 CCF-A/B 类论文70余篇。曾出版发行开源系统著作《神经网络与深度学习》。

作为自然语言处理领域的知名学者，邱锡鹏长期致力于研究具有多任务学习能力的通用模型。由他主持开发的开源自然语言处理工具 FudanNLP，可实现在线调解程序，并支持多卡分布式训练，同时适用于多套国产深度学习框架，在学术界和产业界得到了广泛使用。

近年来，学界尝试通过条件概率和神经网络的表示方法，在自然语言处理领域预先训练得到大规模的语言模型，并针对具体场景制作特定数据集，供大模型在下游任务中通过参数微调以适配具体任务。

2022年12月，邱锡鹏曾就大模型的调用模式作《语言模型即服务，走向大模型的未来》的分享，详细讲解了语言模型越来越大的背景下对于新应用模式的探索，并分享了自己团队在构建统一模型和寻找参数微调算法方面的成果。

当下，ChatGPT 无疑已是全球人工智能领域最炙手可热的现象级模型，MOSS 的出现，是类 ChatGPT 模型在国内的一次尝试，对学术界和产业界来说，都是不小的激励，也为其他研究团队提供了经验，将助力大语言模型的进一步探索和应用。

参考链接：

1.https://moss.fastnlp.top/

2.https://www.shobserver.com/staticsg/res/html/web/newsDetail.html?id=584634

关键词： 语言模型 自然语言处理 人工智能 神经网络