arXiv论文AI检测：1/3是机器写的？
推荐指数 63.0 NO. 016 · 2026.07.21
发布2026/07/20Score151Comments108
为什么值得看
研究者分析了12750篇arXiv论文全文，发现约三分之一的新论文被检测为机器撰写。关键贡献是公开了0.4%低误报率的检测方法和诚实的局限性分析，为AI生成内容检测提供了可信基准。
编辑判断
这篇研究的真正价值不在"1/3是AI写的"这个抓眼球数字，而在它把检测器的地板亮出来了——0.4%误报率意味着你看到的"AI论文"里至少有几十篇其实是人写的。这对做内容检测产品的团队是个警示：不公布基线误报率的检测工具都是耍流氓。
更值得深思的是学术写作本身的同质化。如果检测器把大量人类论文也标记为"机器风格"，说明学术八股文已经高度模式化，这才是比AI渗透更深层的问题。做科研写作工具或学术评估系统的读者，应该关注他们开源的校准方法而非 headline 数字。
社区反馈
意见分歧 106 条评论
核心争论：AI论文检测可信度与AI写作是否真正损害学术质量之争
相关内容
I scored the full text of 12,750 arXiv papers from 2021 through 2026 to find out how many of these get flagged as machine written and how much it increased since the release of chatGPT. I purposely tuned the detector to avoid false positives. My detection rate pre chatGPT is around .4% for that reas
Thank you for this work.
This is a pretty stunning result. The time series looks really convincing. Is the way the detector itself is trained orthogonal to this or could there be some "leakage" in that the pre-chatgpt text is in the (positive) training data?