随着ChatGPT、Bard和其它AI聊天机器人日益普及,我们很难判断一篇文章是由人类所写,还是人工智能创作。市面上有许多AI检测工具可以检查论文、文章、求职信和其它内容是否由AI生成,但是往往存在误报和漏报的风险。本文会给老师、学生和其他好奇的用户介绍最好的AI检测工具,以及如何利用一些可靠、有用的检测技巧来肉眼发现AI编写的内容。
须知事项
- OpenAI's Text Classifier、GPTZero和Copyleaks等工具,可以检测内容是不是用ChatGPT、LLaMA和其它AI语言模型编写。
- ChatGPT生成的内容往往表面上看起来很“完美”,仔细一看却充满错误。
- ChatGPT生成的内容往往缺乏生动的描述性语言,经常使用“首先”、“其次”等连接词,以及看似正确却不合理的句子。
方法 1
方法 1 的 3:
AI检测工具的运作原理
下载PDF文件
1、AI检测工具评估内容的可预测性。
ChatGPT、Bard和类似的聊天机器人,根据训练数据预测下一个单词或句子来生成内容。AI检测工具也能根据类似的训练数据,检测文章中的单词、句子和格式有多容易预测。
- 检测工具将目标文章跟类似的内容做比较,确认文本有多容易预测,再判断是人类或AI生成。
- 这些工具也会寻找AI生成文本的特征,例如词语选择和模式(结构、规则)等。
2、AI检测工具经常会出错。
虽然它们很有用,但并非百分百正确。AI检测工具经常会发生误报,也就是把遵循某种语言模式的人类编写文本标记为AI生成。学生和其他写作者也可以轻易修改ChatGPT编写的内容,以避开AI检测工具的雷达。
- 不要仅仅因为一个AI检测工具说某篇文章主要是AI生成,就马上下定论。最好是自己先肉眼发现#ChatGPT写作痕迹,再使用AI检测工具进行确认。
- 使用多个AI检测工具来检测一篇文章,可以帮助你大致了解不同工具的工作原理,减少误报和漏报的可能。
方法 2
方法 2 的 3:
使用AI检测工具
下载PDF文件
1、OpenAI Text Classifier。
这是ChatGPT开发者创建的免费工具,可以预测一篇文章由AI语言模型生成的可能性有多大。你需要有一个免费的OpenAI帐号才能使用它。目前需要自己一个段落一个段落地粘贴文字上去,不过未来或许能直接上传文档。点击 https://platform.openai.com/ai-text-classifier 查看它。
2、GPTZero。
这是普林斯顿大学的一个学生开发的AI检测工具,用以打击AI抄袭问题。你可以粘贴或上传文档,检查是否有ChatGPT和其它AI生成的内容。免费版最多每个文档分析5000字,付费版则有专门给老师提供的配套。你可以使用网页版工具,也可以安装Chrome扩展程序或Word插件。在 https://gptzero.me 创建免费帐号吧。
3、Content at Scale AI Detector。
这是一家AI内容创作公司开发的免费在线ChatGPT检测工具,主要帮助使用ChatGPT和其它AI内容生成器写作的人在发表作品前修改一番,以免带有明显的AI写作痕迹。你可以粘贴25或更多的单词到这个工具进行检测,在 https://contentatscale.ai/ai-content-detector 试用一下吧。
4、Copyleaks AI Content Detector。
这款高级ChatGPT检测工具十分安全,配备了检测GPT-4 (只有ChatGPT Plus帐号可用的最新版OpenAI语言模型)编写的内容,并提供各种订阅计划来帮助用户检测AI抄袭痕迹。即使不付费,也能免费分析最多250个字符的内容是否有ChatGPT、Bard和其它AI聊天机器人的写作痕迹。在 https://copyleaks.com/ai-content-detector 试一试吧。
方法 3
方法 3 的 3:
ChatGPT写作痕迹
下载PDF文件
1、不可信或不准确的信息。
已知ChatGPT、Google Bard和其它生成式AI工具会产生幻觉,编造跟现实不符合的信息。虽然学生作文和求职信也可能包含不准确的信息,但是AI机器人会让这些虚假信息看起来非常可信。另外,ChatGPT对2021年之后发生的事件了解有限,经常无法提供关于时事的实际信息。如果某个作品乍看之下写得很好,细看却充满了错误信息,很可能是AI生成的。
- 如果你正在分析一篇文章是否有AI使用痕迹,不妨在网上搜索里面描述的一些事实,尤其是清楚说明了日期和具体事件等容易验证的事实。
2、有些句子看起来正确,实际上不合理。
ChatGPT可以生成语法正确的句子,即使表面上看起来很完美,实际上却不合理。这是因为ChatGPT不懂得分辨真假,只知道如何在适当的地方使用正确的词语。如果你读到一些看起来应该很有道理,却没什么明确意义的句子,这很可能是AI生成的作品。
3、使用“首先”、“其次”、“因此”、“总之”等连接词。
许多学生在写论文时也会使用这些连接词,但是ChatGPT生成的论文几乎总会出现这些词语。有些AI检测工具甚至会把使用了这些词语的人类编写内容误报为AI生成。
4、虚假或无法访问的信息来源。
虽然必应搜索引擎内置的ChatGPT版本会自动说明引用的信息来源,但普通版本的ChatGPT经常会编造不存在的来源。不管你是一名正在批改学生论文的老师,还是使用ChatGPT查找资料的学生,一定要再三确认ChatGPT提供的资料是真实的。
5、缺乏描述性和“罕见”的词语。
ChatGPT等AI模型通过预测句子中的下一个单词来生成内容,所以往往会使用大量非特定词,比如“它”、“他们”和“是”。ChatGPT不太会用比较少见的词语来描述事物,所以它们编写的内容总是缺乏生动的描述性语言。
6、没有语法或拼写上的错误。
学生、求职者和作者在提交文章之前,都会尽力改正所有语法和拼写错误,但还是很难达到完美的程度。而计算机生成的内容可能跟事实不符,但在语法上无可挑剔。
7、如果有疑问,可以让ChatGPT生成一篇类似的文章。
如果你怀疑谋篇文章、信件或其它文字作品是ChatGPT所写,可以登录ChatGPT,要求聊天机器人使用文章的要点创作类似的内容。如果ChatGPT返回的内容跟你正在分析的文章结构雷同,对方很可能使用了ChatGPT。
- 举个例子,你正在分析某个求职信是不是AI所写,可以这样跟ChatGPT说:“写一封求职信应聘X公司的初级开发人员职位。简单说明一下我毕业于北京大学,获得了计算机科学学位,热爱JavaScript和Ruby,过去一年当过咖啡师。”
- 由于ChatGPT是以对话形式交流,所以你可以继续提供更多背景信息,比如:“在求职信中解释因为受疫情影响,所以我没有在大学毕业后直接进入这个行业。”
小提示
- 如果你使用ChatGPT检测工具识别出某个作品是AI所写,在跟作者接触之前,最好先把这当成误报。
- 如果你怀疑某个作品是ChatGPT生成,但不是很确定,最好和作者谈一谈。不要一上来就指责他们使用ChatGPT,而是提出写作或内容上的问题,确认他们的知识储备与所写的内容一致。你也可以询问写作过程,看看他们会不会承认使用ChatGPT或其它AI写作工具。
- 大部分ChatGPT检测工具也能检测其它语言模型生成的内容,包括GPT-4、GPT-2和LLaMA。
- 康奈尔大学的研究人员断定,人类错误地认为AI生成的新闻文章有6成以上是可信的。
- 想知道自己是否擅长分辨AI撰写的短篇故事、食谱、文章或演讲?在 https://roft.io 测试一下自己的能力吧!