当前位置:首页 > 科学新闻 > 正文

用ChatGPT作弊?斯坦福率先打响反击战

 作者:卜金婷 来源:科学网微信公众号 发布时间:2023/2/2 8:29:15 字体大小:

编译 | 卜金婷

在去年的一篇雷帕霉素抗老应用的论文中,ChatGPT被列为改论文的一作,引发了业内的争议。

人工智能实验室OpenAI于去年11月发布ChatGPT,这种聊天机器人能根据简短的提示生成文采斐然的文字。

现在,人们用它来写情书、诗歌、小说,甚至还有他们的课程作业。ChatGPT的爆火,显然已经对高校教育工作者带来了挑战。

这不,北美密歇根大学哲学系教授Antony Aumann就遇到了这样的教学问题。

ChatGPT写了一篇“全班最好的论文”

上个月,Aumann在为他的世界宗教课程批改论文时,惊喜地读到了一篇他所谓的 “全班最好的论文”。

这篇论文以简洁的段落、恰当的例子和严谨的论证,探讨了罩袍禁令的道德问题。但,Aumann对这篇文章存在质疑。

随后,Aumann质问学生这篇论文是否他本人所写。最终,这名学生承认使用了ChatGPT。

这令Aumann大为震惊。最终他决定改变他的课程论文写作方式,他要求学生们使用受访问限制的浏览器,并且在教室里完成初稿。在随后的草稿中,学生们必须解释每一次修改的理由。

Aumann表示,他可能会在以后的学期中放弃论文的考核方式,他还计划将ChatGPT纳入课程,比如要求学生评估ChatGPT的回答。

Aumann遇到的问题绝不是个例。

在全美范围内,很多大学教授、系主任和行政人员正在开始全面改革教案,以应对ChatGPT对教学活动的影响。一些教授正在重新设计他们的课程,更多地采用口试、小组合作和手写文章作为考核方式,而不是在电脑上撰写文章。

超过89%的学生曾使用ChatGPT作弊

随着ChatGPT的发展,学生和教师都开始意识到它在学术界的用途。目前,TikToks推广其在论文写作和其他学校作业中的应用,话题已经转向这种开创性的AI对高等教育造成的影响,导致许多人考虑禁止其使用。

近日,Study.com调查了100多名教育工作者和1000多名学生对使用ChatGPT的看法。调查显示,其中超过89%的学生曾使用ChatGPT帮助他们完成家庭作业。

除此之外,48%的学生承认使用ChatGPT来完成家庭测试,53%的学生使用它写论文,22%的学生使用它写论文提纲。

令人惊讶的是,72%的大学生认为ChatGPT应该在学校中被禁止,表明学生同样担心作弊成为常态。此外,超过三分之一(34%)的教育工作者认为ChatGPT应该在学校中被禁止。

教育工作者担心AI对学生的教育产生重大影响是可以理解的,他们正在求助于AI检测应用程序,试图检测出学生是否使用ChatGPT作弊。

斯坦福团队推出DetectGPT

为应对大型语言模型(LLMs)生成文本工具的“入侵”,斯坦福大学的一个研究团队提出了名为DetectGPT的新方法,旨在成为首批打击高等教育中LLMs生成文本工具之一。

研究团队基于“LLM 生成的文本通常徘徊(hover around)在模型的对数概率函数的负曲率区域的特定区域周围”这一发现,提出了一种用于判别 LLM 生成文本的新指标,这一方法既不需要训练单独的分类器,也不需要收集真实或生成的段落的数据集。

该团队在假新闻文章的数据集上测试了DetectGPT,它在检测机器生成的文本方面的表现优于其他方法。他们发现DetectGPT 可以将20B参数GPT-NeoX生成的假新闻文章的检测从0.81 AUROC提高到0.95 AUROC。

研究团队表示,这一方法在检测机器生成的文本方面优于其他零样本方法,或在未来的机器生成文本检查方面非常有前途。另外,他们也将尝试将这一方法用于 LLM 生成的音频、视频和图像的检测工作中。

随着LLMs的不断使用,检测机器生成文本的相应系统的重要性将变得越来越关键。总之,DetectGPT是一种不需要任何额外数据或训练的零散方法,是识别机器生成文本的有效工具。

参考链接:

https://www.nytimes.com/2023/01/16/technology/chatgpt-artificial-intelligence-universities.html

https://www.neowin.net/news/stanford-introduces-detectgpt-to-help-educators-fight-back-against-chatgpt-generated-papers/

https://arxiv.org/abs/2301.11305

信源地址:/html/shownews.aspx          
分享1
版权声明
?本文转载仅仅是出于传播信息的需要,并不意味着代表本网站观点或证实其内容的真实性;如其他媒体、网站或个人从本网站转载使用,须保留本网站注明的“来源”,并自负版权等法律责任;作者如果不希望被转载或者联系转载稿费等事宜,请与我们接洽。
?