Kimi、通义千问、豆包长文本横评:谁才是「读论文神器」

同一篇 96 页 PDF 财报,三个模型轮流读:定位准确率、幻觉率、交叉引用能力,差距比想象中大。
一、评测设计
选取三份真实长文档:96 页上市公司财报、58 页行业研究报告、42 页中英混排学术论文。测试四个维度:事实定位(20 个细节问题)、数值计算(财报数据加总/同比)、交叉引用(跨章节关联信息)、幻觉率(故意问文中不存在的内容,看是否编造)。
二、结果一览
| 维度 | Kimi | 通义千问 | 豆包 |
|---|---|---|---|
| 事实定位(20题) | 19 | 17 | 14 |
| 数值计算准确率 | 92% | 88% | 75% |
| 交叉引用 | 优 | 良 | 中 |
| 幻觉率(越低越好) | 5% | 10% | 20% |
| 单文档上限 | 200万字 | 1000万字 | 约20万字 |
三、分场景结论
- 读论文/财报:首选 Kimi。细节定位最准,且引用出处会标注原文页码,方便回查。
- 超长资料归档检索:选通义。1000 万字上限意味着可以把整个项目文档库一次性丢进去问。
- 日常速读:豆包够用,但对「文中没有的信息」最容易一本正经地编造,重要数据务必回查原文。
四、一个通用技巧
三个模型都建议:先让它输出目录结构摘要,再针对章节提问。直接问全文细节,三个模型的准确率平均下降 15% 左右。
