随着AI工具的出现,可疑的论文或引文可能很难与真实的论文或引文区分开来。再加上编辑、同行评审和出版过程高度依赖信任的复杂关系,导致学术造假频发。目睹着AI在学术界使用日益泛滥,法国图卢兹大学计算机科学家Guillaume Cabanac决定要做点什么。于是在2015年,他和同事发起了一项专项“打假行动”,专门针对那些使用了AI技术却未做出声明的问题论文。
一开始,他只是出于好奇而志愿做这件事;如今,他创造的工具帮助学术侦探们持续不断地揭露论文造假行为。
今年4月,全球独立学术出版商Sage忍痛清理门户,从一本名为Journal of Intelligent & Fuzzy Systems(《智能与模糊系统杂志》,简称JIFS)的期刊上,一口气撤回了467篇论文。
Sage发言人表示,自从科睿唯安(Clarivate)“向我们通报了对该期刊部分内容存在质量担忧”之后,“我们展开了彻底的调查”,且自调查日起该刊停止收录文章。至于撤稿的原因,Sage对外声称是“同行评议程序不合理”。
目前在科睿唯安网站上,该期刊仍然能够正常检索。如果科睿唯安将该期刊从科学引文索引数据库(SCI)中剔除,后续将不再对其论文进行索引及统计论文的引文数目,也不再给该期刊赋予影响因子。这个惩罚对涉事期刊或许不冤,但对此前发表在该期刊上的作者来说,多米诺效应将带来一系列严重后果。
在这件事上,Sage也是个输家。因为在2023年11月,Sage才收购了IOS Press,由此获得近100本期刊,涵盖神经科学、医学信息学、癌症研究、人工智能(AI)、数据科学和语义网等相关领域。出事的JIFS正是IOS Press旗下的期刊。
对于Sage收购后的大幅撤稿,JIFS主编Reza Langari颇有微词。他自诩编辑部对投稿进行了严格把控。他表示,该期刊近年来在AI相关领域的投稿量突飞猛进,去年更是飙升至10000篇,期刊内部为此制定预审机制,拒掉了80%以上的投稿,尤其是一眼看上去是论文工厂生产的或者明显使用AI工具的论文。
撤稿并非空穴来风。其实早在Sage收购IOS Press之前,JIFS期刊就被曝出诸多问题。一方面是PubPeer上的匿名志愿者多次在问题论文评论区指出错误,如PubPeer用户“Rhipiduraalbiventris”对几篇现已撤回的论文发表了评论,指出了计算中的缺陷并质疑引用文献的相关性。另一方面是有人利用“问题论文筛选器”(Problematic Paper Screener,PPS)发现该期刊11篇文章中使用“费解的短语”(Tortured Phrases)——即论文中出现的奇怪术语或令人困惑的替代短语,可能是使用自动翻译软件或AI工具躲避查重而导致的结果。例如,将论文从英语翻译成其他语言,然后再翻译回英语时,常常会发生这样的情况。
另外,通过PPS的插件Feet of Clay Detector来检索期刊中引用了撤稿论文的文章时,发现该期刊有674篇文章被标记。
给JIFS杂志“找麻烦”的,是法国图卢兹大学计算机科学家Guillaume Cabanac。他是著名的学术侦探,自从2015年起,他和同事就发起了一项专项“打假行动”,专门针对那些使用了AI工具却未做出声明的问题论文。PPS便是其开发的一款监测软件。
一开始,他只是出于好奇而志愿做这件事,然而,随着AI在学术界使用日益泛滥,污染了学术环境,他便持续不断地揭露论文造假行为。
2021年2月,Cabanac推出了PPS,它可以在论文中标记“AI生成的文本”,梳理文献中荒谬的“费解的短语”。
当读者第一次遇到“费解的短语”时,可以打上标签,将其作为“指纹”添加到检索文献的数据库Dimensions中,该数据库囊括了1.3亿份科学文献,提供极大的分析样本。如果数据库中有其他论文也使用了“费解的短语”,就可以被标记出来。截至目前,数据平台已经梳理了5800个“指纹”。必要时,读者还需要进行把关,以检查是否存在误报。
PPS并不能保证检测出来的问题论文会被撤稿。即使是充斥着数十个“费解的短语”的已发表论文,BOB·体育综合APP下载也很难被调查、纠正或撤回。截至9月13日,PPS已经标记了16654篇论文。这里需要说明,为了避免假阳性,PPS只对使用了5次及以上“费解的短语”的论文打上标记——其中只有18%被撤回。
为了促进对文献的持续检查和持续清理,Cabanac为PPS设计了两个插件。一个是Annulled Detector,它可以跟踪撤稿、撤回或删除的论文——这些是出版商用来标记失效论文的各种标签。该检测器从各个出版商、Crossref数据库(包括撤稿观察数据库)和生物医学数据库Pub Med收集数据,以跟踪全球论文撤稿、撤回和删除的情况。截至目前,大约62000篇问题论文已被引用了超过836000次。
另一个是Feet of Clay Detector,它可用于快速发现那些在参考文献中引用了撤稿论文的文章。Cabanac为1700多篇此类文章添加了PubPeer评论,以提示读者评估参考文献的可靠性。
PPS确实对出版商起到了一定的震慑作用。自从Cabanac和同事报告指出,“费解的短语”污染了学术环境,一些出版商——不仅仅是那些被认为是掠夺性的出版商——已经撤回了数百篇论文。例如,仅施普林格·自然(Springer Nature)就撤回了300多篇充斥着荒谬文字的论文。
Cabanac利用PPS在ESPR上标注了1850篇文章,大多数被标注的文章是因为引用了已撤稿的论文。另有超过100篇论文使用了“费解的短语”,考虑到仅统计使用五次及以上“费解的短语”的论文,这意味着很多有嫌疑的论文可能没有显示。
还有一些论文使用了AI工具但是并未在文章中说明,例如2023年9月的论文《复兴我们的地球:在土壤修复中释放绿色能源的力量,实现可持续的未来》。论文的第3节以短语“Regenerate response”(重新生成回复)结束,这显然是ChatGPT中生成文本的按钮,作者忘记删除了。Cabanac在PubPeer的评论中指出了这个错误。该论文于今年7月被撤回。
2022年11月,Magazinov联系了ESPR杂志的主编Philippe Garrigues,后者是法国国家科学研究中心(CNRS)的研究员。他在另一家杂志上发表了一篇论文,其中“超过四分之一”的文献引用来源于自家期刊ESPR。“我们有理由怀疑ESPR的审稿人或编辑在进行引文操纵,请予以核实。毫无疑问,ESPR需要进行大扫除,”Magazinov在邮件中写道。
Cabanac隔天再次给Garrigues发了邮件。后者表示,正在采取行动。
但是直到2023年4月,Garrigues和ESPR没有任何动静。于是,Cabanac向COPE(出版伦理委员会)通报了该期刊中存在的问题。COPE的一名人员接着向施普林格·自然发了邮件,询问该期刊是否在进行调查。施普林格·自然集团研究诚信顾问Tim Kersjes回复称,该杂志和出版商正在展开调查,如有进展会通知Cabanac。
但据邮件显示,Cabanac后续并没有得到关于该杂志的信息,尽管COPE在2023年6月多次进行跟进。不过据统计显示,ESPR自2024年2月以来确实开展了大规模的撤稿,撤回了136篇论文,最近的一篇撤稿是在8月2日。Cabanac对此很不满,“当你无偿付出了这么多努力,却连出版商的反馈都没有,这有点让人沮丧。”
施普林格·自然集团研究诚信主管Chris Graf表示,“撤稿是我们研究诚信部门调查的结果,也受到了学术侦探指出问题的影响。”他补充说明,撤稿的原因有很多,如“作者对人工智能LLMs(大语言模型)的使用在某些论文中并没有明确说明。”
诸多被撤回的论文在通知上显示:根据出版商的调查发现,包括本文在内的一些文章存在若干问题,包括但不限于同行评审程序受损,引用不相关的文献,使用不标准措辞,引用根本不存在的期刊。
科睿唯安今年没有提供ESPR的影响因子,施普林格·自然集团的一名代表表示,他们对该决定感到“失望”。该期刊目前在科睿唯安网站上被标记为“搁置”,检索结果显示,该期刊正在“重新评估”,并可能被从web of Science的索引中删除。
Graf表示,施普林格·自然正在“更新”ESPR的编辑和编辑委员会,以确保稿件处理的质量。
Cabanac认为接受调查的期刊至少应该发布一份披露声明,警告打算向期刊投稿的研究人员。如果没有这样的声明,“潜在作者将不知道期刊的历史,他们事后会觉得被欺骗。”
出版物和引文是学术界的“硬通货”。然而,随着AI工具的出现,可疑的论文或引文可能很难与真实的论文或引文区分开来。再加上编辑、同行评审和出版过程高度依赖信任的复杂关系,导致学术造假频发。那么,在引文时如何提高文献可靠性?Cabanac提供了一些思路。
学会使用科研工具,只需要一些简单的步骤,便可以显著提高科学文献的可靠性。作者在引用文献时,应检查是否有人提出质疑或撤稿情况。PubPeer两个扩展程序插件是检查文献可靠性的得力助手,当作者浏览期刊网站时,一个插件会自动标记PubPeer上收到评论的任何论文,其中可能包括正在更正的文献和已经撤稿的文献。另一个插件是在文献管理器Zotero中工作,可以识别用户数据库中存在的相似度较高的文章。对于下载的PDF文件,出版行业使用Crossmark:读者可以单击Crossmark按钮,在出版商网站的登录页面上查看文献的状态。有一些工具可以检查参考文献列表,例如RetractoBot,当学者引用的论文被撤回时,它会提醒他们。Feet of Clay Detector,可以免费用于检查已发表文章的参考文献列表是否有任何危险信号。
除了作者要小心谨慎,Cabanac认为出版商最应该对其实践和审稿流程做出改变,他们应该定期检查存在剽窃、篡改图像、费解的短语、引用撤稿文献,以及由AI工具等生成的论文,并及时作出处理。
版权说明:欢迎个人转发,任何形式的媒体或机构未经授权,不得转载和摘编。转载授权请在「返朴」微信公众号内联系后台。
本文为澎湃号作者或机构在澎湃新闻上传并发布,仅代表该作者或机构观点,不代表澎湃新闻的观点或立场,澎湃新闻仅提供信息发布平台。申请澎湃号请用电脑访问。
上一篇: 加强信用经济研究
Copyright © BOB半岛·体育(中国)官方网站 版权所有
地址:广东省广州市BOB半岛·体育(中国)官方网站 电话:400-533-8546 邮箱:derfloor.com
关注我们