当前位置:资讯 > 金融 > 正文
天天热资讯!预见·科技 | 当AIGC工具们在一起问答大乱斗,谁会被检测器“识破”?
2023-03-24 07:31:48 来源: 封面新闻

最近,AIGC圈开始了军备竞赛:

ChatGPT发布……


(相关资料图)

小冰链公测……

文心一言推出……

科大讯飞全能AI小助手上线……

一波波的AIGC产品出现,让人感觉电影《头号玩家》就要照进现实世界。但问题也随之而来:当AI生成的文本与人类的写作越来越像,人们也快被疑似AI作弊的论文、新闻、脚本、商业提案、诗歌等淹没了。

毕竟,除了香港大学、法国巴黎政治学院等高校限制学生使用ChatGPT之外,在内地,已有北京、上海、四川等地重点大学的一线教师反映,发现学生正用ChatGPT撰写论文。

近日,传播内容认知全国重点实验室联合中国科学技术大学推出了AI生成内容检测工具,据称结合内容识别、内容溯源等技术,可以快速分辨出内容是机器生成还是人工生成的。

那么,这一追捕AIGC服务工具到底好不好用?对不同的AIGC工具生成的内容是否都能做到有效检测?又是否可以区别人类写作和AIGC的文案?记者选择了ChatGPT、文心一言、科大讯飞全能AI小助手四款AIGC工具,以及记者写作的答案,就同一个问题的回复进行测试。

问题一:请你论述一下AIGC生成的内容如何能不被识别出是机器生成的?

1号答案:

2号答案:

3号答案:

这三个答案均为AI生成,分别来自OpenAI的ChatGPT、百度的文心一言和科大讯飞的全能AI小助手,我们使用AIGC内容检测工具对这三个答案进行了“扫描”,结果无一例外,三个答案全部被识别为AIGC生成内容。

问题二:川菜宫保鸡丁和鲁菜宫保鸡丁有什么不同

1号答案:

2号答案:

3号答案:

4号答案:

这四个答案中,有三个为AI生成,分别来自OpenAI的ChatGPT、百度的文心一言和科大讯飞的全能AI小助手,还有一个是记者模仿AI写的“手工”答案。检测结果显示,ChatGPT、文心一言和全能AI助手生成的答案全部被识别出,而记者写的答案被检测系统认定为“手工”文案。

记者写的答案最后一句话其实改写自AI生成的内容,仅替换一个词语,就可以“逃过”检测;如果使用AI生成的内容,这段大概人工撰写3/4,AI生成1/4的内容,依然会被识别为AIGC生成。

值得注意的是,由AIGC生成的“诗词”,直接使用了大量经典古诗词的完整句子,但却无法被检测系统识别出为AIGC。

测试的最后,也揭晓两个问题各个答案的来源:问题一的答案1-3依次为ChatGPT、文心一言和全能AI小助手;问题二的答案1来自ChatGPT,答案2是记者自写,答案3、4分别来自全能AI小助手和文心一言。

由此可见,目前的“追捕AIGC”工具,虽然对于完全由AI生成的文字可以快速识别,但还只能做到“防君子不防小人”,难以直接用于论文、报告等学术和作业领域里的反作弊,也存在一些“误伤”风险。

记者测试,如果使用AI润色自己写的文字,AI仅对“手工文字”做小幅修改,系统不会将AI润色后的内容判定为AIGC。

学者谈“魔法打败魔法”的“AIGC检测

对于AIGC的检测,学者们也表达了不同的看法。

北京理工大学网络与安全研究所所长闫怀志认为,这种“以AI检测AI”的方式,充分发挥了AI学习的优势。

“在很多场景下,对文本、图片等是否由AI生成进行识别是必要的。而这种识别所用到的检测工具,就是AI检测器。AI检测器在技术架构上与生成式AI类似,以生成式AI创作的内容与非生成式AI创作的内容作为数据进行训练,通过大量的训练数据来‘培养’识别能力。”闫怀志表示。

“通常来说,目前的AI检测器并不会给出是或否的精确判断,而是根据置信度给出“很有可能”“可能”“不清楚”“不太可能”“非常不可能”等模糊判断,将最终评判权交由人类自身。然而,目前AI检测器的检测水平并不理想,显然无法有效解决滥用生成式AI带来的危害。如果AI检测器的检测成功率能够得到较大提升,必将有助于解决目前使用生成式AI所带来的部分问题。但很显然,目前离达到这个目标,还有很长的路要走。”闫怀志告诉记者。

除了技术成熟度以外,闫怀志还指出需要明确界定生成式AI的应用场景和使用范围,并在必要的情况下向人们告知哪些内容是通过生成式AI生成的。“通过相关的技术规范,界定生成式AI的应用场景和使用范围,有利于保障生成式AI遵循相应的技术伦理要求。”他说。

传播内容认知全国重点实验室研究员靳国庆也对AIGC的规范和引导提出了看法,他认为AIGC检测器将推动AI风险管理、安全评测技术的发展,为建立安全可控的AIGC生态提供技术支撑。

“通过采用算法融合与知识驱动的人工智能框架,使用深度建模来捕捉困惑度、突现频次等隐式特征,可对AI技术生成的假新闻、内容抄袭、垃圾邮件进行检测,在内容版权、网络钓鱼、虚假信息和学术造假检测等内容安全、内容风控方面有广阔的应用前景。未来还会扩展为对人工智能生成文本、图像乃至视频的通用智能识别模型。”靳国庆说。

关键词:
责任编辑:zN_2453