【资料图】
新华财经上海9月7日电(记者王淑娟、杜康)大模型的通用能力让其能够应用到人类生产生活的各个场景中,可谓“无孔不入”,AI的发展因此带来了新的安全隐私问题。如何解决这一隐患,9月7日开幕的2023INCLUSION·外滩大会上,中国科学院院士何积丰开出了他的“药方”:利用对齐技术为大模型“戴上紧箍咒”。
何积丰认为,大模型的安全问题主要是在未经同意的情况下,收集、使用和泄露个人信息。隐私问题既可能发生在训练过程,也可能发生在使用过程中,而大模型的生成能力则让“隐私泄露”的方式变得多样化,造成隐私保护更加困难。
“为了应对这些问题,我们需要大模型对齐技术。”何积丰说,对齐(alignment)是指系统的目标和人类价值观一致,使其符合设计者的利益和预期,不会产生意外的有害后果。
不过,对齐技术同样面临挑战。首先,对齐的基础,人类的价值观是多元且动态变化的,需要保证大模型为人服务、与人为善;其次,大模型的有用性与无害性之间目标也不完全一致。如何对错误进行有效纠正,设好大模型的“紧箍咒”也是挑战。
因此,对齐技术已经成为了一项令人眼花缭乱的跨学科研究,不仅考验技术,也审视文化。何积丰介绍,反馈强化学习是实现对齐的技术途径,目前有两种方式,一种方式是通过人工反馈给模型不同的奖励信号,引导模型的高质量输出;另一种方式,事先给大模型提供明确的原则,系统自动训练模型对所有生成的输出结果提供初始排序。
编辑:林郑宏
声明:新华财经为新华社承建的国家金融信息平台。任何情况下,本平台所发布的信息均不构成投资建议。
-
中国科学院院士何积丰:应对大模型的安全问题需设好“紧箍咒”AI的发展带来了新的安全隐私问题,对于如何解决这一隐患,9月7日开幕的
-
国家原子能机构:推动核技术应用产业做大做强做优国家原子能机构副主任刘敬7日表示,进一步提升核技术应用水平,壮大产
-
“银行系”公募上半年成绩单:农银汇理规模大跌 永赢基金表现亮眼近日,12家“银行系”公募交出上半年成绩单。其中工银瑞信基金上半年净
-
中化国际推出自主研发对位芳纶系列产品 实现光纤光缆领域关键材料国产化替代中化国际7日对外推出其通过自主研发突破国外技术封锁的对位芳纶系列产
-
【财经分析】中芯国际等晶圆股行情回调 业内认为半导体仍未迎来景气周期7日,中芯国际等晶圆个股出现大幅回调。业内分析认为,半导体产业仍未
-
中国科学院院士何积丰:应对大模型的安全问题需设好“紧箍咒”
2023-09-07 19:52:01
-
国家原子能机构:推动核技术应用产业做大做强做优
2023-09-07 19:53:20
-
“银行系”公募上半年成绩单:农银汇理规模大跌 永赢基金表现亮眼
2023-09-07 17:44:23
-
中化国际推出自主研发对位芳纶系列产品 实现光纤光缆领域关键材料国产化替代
2023-09-07 17:41:56
-
【财经分析】中芯国际等晶圆股行情回调 业内认为半导体仍未迎来景气周期
2023-09-07 16:55:18