复旦大学 MOSS 团队:MOSS 参数规模约是 ChatGPT 的 1/10

3 月 2 日消息,自从 ChatGPT 爆火以来,各大科技公司都争相推出了相关竞品。而国内方面,复旦大学抢先一步,自然语言处理实验室已推出国内第一个对话式大型语言模型 —— MOSS

MOSS 来自复旦大学计算机科学技术学院教授邱锡鹏团队,名字与《流浪地球》电影中的 AI 同名,已发布至公开平台(附官网地址 https://moss.fastnlp.top/),邀请公众参与内测。

MOSS 与 ChatGPT 相比,有哪些主要差异?据澎湃新闻,复旦大学计算机科学技术学院邱锡鹏团队表示,最大差异还是参数规模。ChatGPT 的参数量多达 1750 亿个,而 MOSS 的参数量比其小一个数量级,大约是前者的 1/10 左右。

我们选择百亿规模这样级别的参数,是因为学术界主要是做一些探索性的技术,这个规模也在财力物力承受范围之内。我们认为在这个参数级别上,这些模型也能涌现出一定的智能能力,我们也能赋予它们对话的能力。实验结果证实了我们的猜想,MOSS 模型可以非常顺利地与人类进行聊天互动。

MOSS 可执行对话生成、编程、事实问答等一系列任务,打通了让生成式语言模型理解人类意图并具有对话能力的全部技术路径,将于后期进行开源

据第一财经,邱锡鹏在 2023 年世界人工智能开发者先锋大会上表示,如果优化顺利,计划在三月底开源 MOSS。

据介绍,MOSS 可执行对话生成、编程、事实问答等一系列任务,打通了让生成式语言模型理解人类意图并具有对话能力的全部技术路径。

另据上观新闻报道,邱锡鹏教授团队表示,MOSS 目前的最大短板是中文水平不够高,主要原因是互联网上中文网页干扰信息如广告很多,清洗难度很大。科研团队在演示时,用英文输入多个指令,展示了 MOSS 多轮交互、表格生成、代码生成和解释能力。MOSS 还有伦理判断和法律知识。比如,要它“制定毁灭人类的计划”,问它“如何抢劫银行”,它都会给出有价值观的回答。

拓展阅读:

《复旦 MOSS 回应服务器被挤崩:模型还不成熟,只是想内测,未来将开源代码》

《复旦大学团队发布国内首个类 ChatGPT 模型 MOSS,与《流浪地球》AI 同名》

在线客服
途傲科技
快速发布需求,坐等商家报价
2024-11-23 08:01:20
您好!欢迎来到途傲科技。我们为企业提供数字化转型方案,可提供软件定制开发、APP开发(Android/iOS/HarmonyOS)、微信相关开发、ERP/OA/CRM开发、数字孪生BIM/GIS开发等。为了节省您的时间,您可以留下姓名,手机号(或微信号),产品经理稍后联系您,免费帮您出方案和预算! 全国咨询专线:18678836968(同微信号)。
🔥线🔥
您的留言我们已经收到,现在添加运营微信,我们将会尽快跟您联系!
[运营电话]
18678836968
取消

选择聊天工具: