最近,AIGC圈开始了军备竞赛:
ChatGPT发布……
(相关资料图)
小冰链公测……
文心一言推出……
科大讯飞全能AI小助手上线……
一波波的AIGC产品出现,让人感觉电影《头号玩家》就要照进现实世界。但问题也随之而来:当AI生成的文本与人类的写作越来越像,人们也快被疑似AI作弊的论文、新闻、脚本、商业提案、诗歌等淹没了。
毕竟,除了香港大学、法国巴黎政治学院等高校限制学生使用ChatGPT之外,在内地,已有北京、上海、四川等地重点大学的一线教师反映,发现学生正用ChatGPT撰写论文。
近日,传播内容认知全国重点实验室联合中国科学技术大学推出了AI生成内容检测工具,据称结合内容识别、内容溯源等技术,可以快速分辨出内容是机器生成还是人工生成的。
那么,这一追捕AIGC服务工具到底好不好用?对不同的AIGC工具生成的内容是否都能做到有效检测?又是否可以区别人类写作和AIGC的文案?记者选择了ChatGPT、文心一言、科大讯飞全能AI小助手四款AIGC工具,以及记者写作的答案,就同一个问题的回复进行测试。
问题一:请你论述一下AIGC生成的内容如何能不被识别出是机器生成的?
1号答案:
2号答案:
3号答案:
这三个答案均为AI生成,分别来自OpenAI的ChatGPT、百度的文心一言和科大讯飞的全能AI小助手,我们使用AIGC内容检测工具对这三个答案进行了“扫描”,结果无一例外,三个答案全部被识别为AIGC生成内容。
问题二:川菜宫保鸡丁和鲁菜宫保鸡丁有什么不同
1号答案:
2号答案:
3号答案:
4号答案:
这四个答案中,有三个为AI生成,分别来自OpenAI的ChatGPT、百度的文心一言和科大讯飞的全能AI小助手,还有一个是记者模仿AI写的“手工”答案。检测结果显示,ChatGPT、文心一言和全能AI助手生成的答案全部被识别出,而记者写的答案被检测系统认定为“手工”文案。
记者写的答案最后一句话其实改写自AI生成的内容,仅替换一个词语,就可以“逃过”检测;如果使用AI生成的内容,这段大概人工撰写3/4,AI生成1/4的内容,依然会被识别为AIGC生成。
值得注意的是,由AIGC生成的“诗词”,直接使用了大量经典古诗词的完整句子,但却无法被检测系统识别出为AIGC。
测试的最后,也揭晓两个问题各个答案的来源:问题一的答案1-3依次为ChatGPT、文心一言和全能AI小助手;问题二的答案1来自ChatGPT,答案2是记者自写,答案3、4分别来自全能AI小助手和文心一言。
由此可见,目前的“追捕AIGC”工具,虽然对于完全由AI生成的文字可以快速识别,但还只能做到“防君子不防小人”,难以直接用于论文、报告等学术和作业领域里的反作弊,也存在一些“误伤”风险。
记者测试,如果使用AI润色自己写的文字,AI仅对“手工文字”做小幅修改,系统不会将AI润色后的内容判定为AIGC。
学者谈“魔法打败魔法”的“AIGC检测
对于AIGC的检测,学者们也表达了不同的看法。
北京理工大学网络与安全研究所所长闫怀志认为,这种“以AI检测AI”的方式,充分发挥了AI学习的优势。
“在很多场景下,对文本、图片等是否由AI生成进行识别是必要的。而这种识别所用到的检测工具,就是AI检测器。AI检测器在技术架构上与生成式AI类似,以生成式AI创作的内容与非生成式AI创作的内容作为数据进行训练,通过大量的训练数据来‘培养’识别能力。”闫怀志表示。
“通常来说,目前的AI检测器并不会给出是或否的精确判断,而是根据置信度给出“很有可能”“可能”“不清楚”“不太可能”“非常不可能”等模糊判断,将最终评判权交由人类自身。然而,目前AI检测器的检测水平并不理想,显然无法有效解决滥用生成式AI带来的危害。如果AI检测器的检测成功率能够得到较大提升,必将有助于解决目前使用生成式AI所带来的部分问题。但很显然,目前离达到这个目标,还有很长的路要走。”闫怀志告诉记者。
除了技术成熟度以外,闫怀志还指出需要明确界定生成式AI的应用场景和使用范围,并在必要的情况下向人们告知哪些内容是通过生成式AI生成的。“通过相关的技术规范,界定生成式AI的应用场景和使用范围,有利于保障生成式AI遵循相应的技术伦理要求。”他说。
传播内容认知全国重点实验室研究员靳国庆也对AIGC的规范和引导提出了看法,他认为AIGC检测器将推动AI风险管理、安全评测技术的发展,为建立安全可控的AIGC生态提供技术支撑。
“通过采用算法融合与知识驱动的人工智能框架,使用深度建模来捕捉困惑度、突现频次等隐式特征,可对AI技术生成的假新闻、内容抄袭、垃圾邮件进行检测,在内容版权、网络钓鱼、虚假信息和学术造假检测等内容安全、内容风控方面有广阔的应用前景。未来还会扩展为对人工智能生成文本、图像乃至视频的通用智能识别模型。”靳国庆说。
-
【新华财经调查】大全能源“逆势”扩产近两倍 坦陈今年终端需求不确定性较大大全能源2022年第四季度多晶硅销量下降近1万吨导致单季度净利润环比下降约27%。大全能源相关负责人表示,近三年的第四季度均...
-
【读财报】股基发行透视:年内发行规模超240亿元 中庚、工银瑞信基金新发产品规模居前以认购起始日统计,2023年年初至今,公募基金市场合计发行股票型基金产品65只,合并发行规模约为242 10亿元,发行数量同比增...
-
【环球财经】市场担忧缓解 纽约股市三大股指23日上涨美国财政部长耶伦在23日出席国会听证会时表示,联邦政府在应对硅谷银行和签名银行危机过程中采取的存款人保护措施也可能用于...
-
报告:2022年500强房企盈利能力下滑 2023年风险将加速出清23日,中国房地产业协会、上海易居房地产研究院共同发布的2023房地产开发企业综合实力测评成果显示,随着房地产市场环境的变...
-
首只主板注册制新股定价出炉 中重科技确定发行价为17.8元/股首只主板注册制企业IPO定价结果正式出炉。3月23日晚,中重科技率先披露发行公告,确定本次发行价格为17 80元 股,对应发行...
-
【新华财经调查】大全能源“逆势”扩产近两倍 坦陈今年终端需求不确定性较大
2023-03-24 07:39:01
-
【读财报】股基发行透视:年内发行规模超240亿元 中庚、工银瑞信基金新发产品规模居前
2023-03-24 07:40:04
-
【环球财经】市场担忧缓解 纽约股市三大股指23日上涨
2023-03-24 06:42:36
-
报告:2022年500强房企盈利能力下滑 2023年风险将加速出清
2023-03-23 22:25:57
-
首只主板注册制新股定价出炉 中重科技确定发行价为17.8元/股
2023-03-23 20:29:05