【资料图】
自ChatGPT在全球走红,文心一言、通义千问、MOSS等类ChatGPT产品相继涌现。这些AIGC产品是如何炼成的?又隐藏着哪些关键技术?
“大语言模型技术快速演进,已给人类展现出一个通向通用人工智能的大框架,下一步最重要的是让大模型和现实世界对齐。”近日,复旦大学计算机科学技术学院教授邱锡鹏表示,情景学习、思维链和指令学习这三项技术,会是以ChatGPT为代表的语言模型在AI领域叱咤风云的关键原因。
所谓语言模型,是利用计算机重新建模人类语言,把自然语言转化为机器能够理解并判断的语言的一种机制。
据介绍,研发大模型即利用概率判断来进行语句处理,如果这个句子符合自然语言的规律,就赋予它一个比较高的概率,反之,则赋予较低的概率。而要想模型的预测越准确,就势必需要大量的参数对其进行训练,以帮助大规模语言模型能够充分理解人类语言规则及其逻辑关系。当大型语言模型在达到百亿级规模后,其关键能力便开始涌现。
具体而言,情景学习,即在上下文语境中学习的能力。思维链,指的是做大模型示例的时候不要只给答案,也要给它推导过程,语言模型学习这个推导过程,最终给出一个正确的答案。自然指令学习,是语言模型直接听懂人的意图。“好的语言模型需要更好地理解语言与常识。”邱锡鹏说。
谈及国产ChatGPT是如何炼成的,邱锡鹏表示,大致分为三步,第一步需要先实现语言模型基座,第二步是指令微调,第三步是能力不断强化迭代。以MOSS为例,目前已激活了大型语言模型对话能力。但由于在训练上投入有限,其规模只有ChatGPT的十分之一,未来会引入外部工具进行优化。同时用户的使用也是在帮助它变得越来越好。
语言模型向人类的价值观和思维方式对齐,并应用于真实世界,无疑将颠覆各行业生态。在邱锡鹏看来,人类具有适应性和灵活性,更擅长的是利用AI的能力把工作做到更好。“人类的思考和判断能力需要再度强化,变得更加明确。”他表示,目前为止,AI依然在可控范围内发展,当它成为某种基础设施后,如何控制其能力就将变得十分关键,相关的法律法规、政府的重视、社会的认同,都应参与进整个生态中来。
-
热资讯!中国中铁上海工程局、万华化学与苏伊士集团签订蓬莱海水淡化项目合作协议证券时报e公司讯,中国中铁上海工程局与万华化学集团、法国苏伊士集团签订蓬莱海水淡化项目合作协议,进一步深化三方在环保领...
-
全球热点!江苏省农村产权交易市场交易额突破2000亿元4月7日下午,随着昆山市新城村资产租赁项目顺利成交,江苏省农村产权交易市场交易总金额突破2000亿元大关。这标志着江苏成为...
-
全球视点!安眠药和什么药不能一起吃?安眠药物是极其特殊的药物,安眠药一般情况下不能和任何的药物进行混合使用,因为安眠药物与常见的抗生素还有相应的催眠类的...
-
细胞骨架系统_关于细胞骨架系统介绍1、细胞骨架是由蛋白质与蛋白质搭建起的骨架网络结构,包括细胞质骨架和细胞核骨架。2、细胞骨架系统的主要作用是维持细胞
-
有一种叫云南的生活|芒市泼水节住宿预订火爆,多家民宿加速筹备接待游客有一种叫云南的生活|芒市泼水节住宿预订火爆,多家民宿加速筹备接待游客
-
热资讯!中国中铁上海工程局、万华化学与苏伊士集团签订蓬莱海水淡化项目合作协议
2023-04-09 10:38:48
-
全球热点!江苏省农村产权交易市场交易额突破2000亿元
2023-04-09 09:14:43
-
全球视点!安眠药和什么药不能一起吃?
2023-04-09 06:47:25
-
细胞骨架系统_关于细胞骨架系统介绍
2023-04-09 03:36:34
-
有一种叫云南的生活|芒市泼水节住宿预订火爆,多家民宿加速筹备接待游客
2023-04-08 22:14:01