机器之心报导
编辑：蛋酱
今年 2 月份，机器之心报导了复旦大学推出我国版 ChatGPT 的消息（参见《复旦发布我国版 ChatGPT：MOSS 敞开测验冲上热搜，服务器挤爆》），引起了广泛重视。其时，邱锡鹏教授就曾表明将于四月份开源 Moss。
昨日，开源版的 Moss 真的来了。
项目地址：github.com/OpenLMLab/M…
MOSS 是一个支撑中英双语和多种插件的开源对话言语模型，但参数数量比 ChatGPT 少得多。在 v0.0.2 之后，团队持续对其进行调整，推出了 MOSS v0.0.3，也便是现在开源的版别。比较于前期版别，功用也实现了多项更新。
开始的测验中，MOSS 的根底功用与 ChatGPT 类似，可以依照用户输入的指令完成各类自然言语处理任务，包括文本生成、文本摘要、翻译、代码生成、闲聊等等。
敞开内测后，团队持续加大中文语料的预训练：「截止现在，MOSS 003 的基座言语模型已经在 100B 中文 token 上进行了训练，总训练 token 数量到达 700B，其中还包含约 300B 代码。」
在敞开内测后，咱们也收集了一些用户数据，咱们发现实在中文国际的用户意图和 OpenAI InstructGPT 论文中发表的 user prompt 分布有较大差异（这不仅与用户来自的国家差异有关，也跟产品上线时间有关，前期产品收集的数据中存在很多对抗性和测验性输入），所以咱们以这部分实在数据作为 seed 从头生成了约 110 万惯例对话数据，涵盖更细粒度的 helpfulness 数据和更广泛的 harmlessness 数据。
内容来历：www.zhihu.com/question/59…
现在，团队已将 moss-moon-003-base、moss-moon-003-sft、moss-moon-003-sft-plugin 三个模型上传到 HuggingFace。后续，还有三个模型将会开源。
依据项目主页介绍，moss-moon 系列模型具有 160 亿参数，在 FP16 精度下可在单张 A100/A800 或两张 3090 显卡运转，在 INT4/8 精度下可在单张 3090 显卡运转。
团队同时表明，由于模型参数量较小和自回归生成范式，MOSS 依然或许生成包含事实性过错的误导性回复或包含偏见 / 歧视的有害内容，请谨慎辨别和运用 MOSS 生成的内容，请勿将 MOSS 生成的有害内容传达至互联网。
新增才能
在 MOSS v0.0.3 中，团队加入了多项新才能。
团队结构了约 30 万插件增强的对话数据，包含搜索引擎、文生图、计算器、方程求解等。关于插件版 MOSS 怎么运用，后续团队将在 GitHub 发布。
MOSS v0.0.3 现已引入运用多种插件的才能。
下图展现了调用搜索引擎的才能：
下图展现了调用方程求解器的才能：
下图展现了从文本生成图片的才能：
项目作者孙天祥补充说，MOSS 003 支撑启用插件的才能是经过 meta instruction 来操控，类似 gpt-3.5-turbo 里的 system prompt。「因为是模型操控的，所以并不能保证 100% 操控率，以及还存在一些多选插件时调用禁绝、插件互相打架的缺陷，咱们正在赶快开发新的模型来缓解这些问题。」
下载装置
下载本仓库内容至本地 / 长途服务器：
git clone https://github.com/OpenLMLab/MOSS.gitcd MOSS
创立 conda 环境：
conda create --name moss python=3.8conda activate moss
装置依赖：
pip install -r requirements.txt
其中 torch 和 transformers 版别不建议低于引荐版别。
依据协议，开源的 MOSS 可用于商业用途：
此外，开发者也可经过 API 调用 MOSS 服务，团队将依据当时服务压力考虑经过 API 接口方式供给服务，接口格局可参阅：github.com/OpenLMLab/M…
现在，已有开发者依据开源内容进行而创，比如经过 VideoChat 进行视频问答。
VideoChat 是一款多功用视频问答工具，结合了动作识别、视觉字幕和 StableLM 的功用。该工具可为视频中的任何对象和动作生成密布的描述性字幕，供给一系列言语风格以满意不同的用户偏好。它支撑用户进行不同长度、情绪、言语实在性的对话。
项目地址：github.com/OpenGVLab/A…
