最新研究显示，ChatGPT虽能破解部分千禧年数学难题，但在学术论文复现任务中成功率低至13.98%，暴露出AI在严谨科研场景中的可靠性短板。

详细分析

这一发现揭示了当前大语言模型在科学推理领域的双重面相。一方面，ChatGPT能够对千禧年数学难题这类高度复杂的开放性问题给出看似合理的解答，展示了其在符号推理和知识整合上的惊人潜力，这无疑为数学研究提供了新的探索工具。但另一方面，论文复现率仅13.98%的残酷数据表明，AI在需要精确计算、逻辑一致性和可验证性的学术任务中，仍然存在严重的幻觉和推理断裂问题。从背景看，近年来AI for Science成为投资和科研热点，大量资源涌入用大模型辅助定理证明、材料发现和实验设计。然而，复现率作为科学方法的黄金标准，直接衡量了AI输出能否被独立验证。13.98%意味着超过86%的所谓“复现”结果无法通过严格检验，这不仅浪费科研时间，还可能误导后续研究。从行业影响看，该数据对AI科研工具的商业化前景构成挑战。目前多家初创公司宣称其AI能加速学术发现，但若无法解决可靠性问题，科研机构和制药企业等付费方将持谨慎态度。市场反应上，学术界对AI辅助研究的信任度可能进一步分化：一部分人视其为灵感来源，另一部分人则坚持传统可验证方法。竞争格局方面，OpenAI、谷歌DeepMind和Anthropic都在探索可验证推理与形式化数学，谁先突破可复现性瓶颈，谁就能在科研AI市场占据制高点。此外，该新闻也引发了对AI评估标准的反思：仅凭解答难题的“表演”不足以证明能力，必须引入复现率、错误率等硬指标。长远看，提升AI在科学任务中的可靠性需要结合符号系统、外部计算工具和人类反馈，而非单纯扩大模型规模。

AI能猜对答案，却经不起复现——科研不是考试，不能只靠蒙。

原文：量子位