同一道题问 10 遍，国产 AI 的答案变了几次？6 类问题 × 4 个模型的稳定性实验，以及哪些问题你必须多问几遍
有一件事我一直想验证：AI 给的答案，到底有多「稳」？
我们都知道大模型的输出是采样出来的，同一个问题每次的措辞都不一样。但措辞不一样不要紧，结论变不变才要紧。如果你问它「这份合同哪一条风险最大」，第一次说第 7 条，第二次说第 12 条，那你到底该信哪次？
网上讲这个的文章基本都停留在「AI 有随机性，要多问几遍」这一句话。多问几遍是几遍？哪类问题需要多问，哪类问一遍就够？没人给数据。这篇就补这个数据。
实验方法
- 6 类问题，每类选 1 道有代表性的题（题目在下面每一节开头原样贴出）
- 4 个模型：DeepSeek V4.1、Kimi K3、通义千问、GLM-5.1，都在不墨 AI 助手里跑，参数用默认
- 每道题每个模型问 10 遍，每遍开新对话，避免上下文影响
- 一共 6 × 4 × 10 = 240 次输出
- 记录的是**「结论一致率」**：10 次里有几次的核心结论和多数派一致。措辞不同不算变，结论变了才算
先说总表，再逐类展开。
总表：6 类问题的结论一致率
| 问题类型 | DeepSeek V4.1 | Kimi K3 | 通义千问 | GLM-5.1 | 平均 |
|---|---|---|---|---|---|
| 算术计算 | 10/10 | 10/10 | 9/10 | 10/10 | 97.5% |
| 翻译 | 10/10 | 10/10 | 10/10 | 10/10 | 100% |
| 事实查询 | 9/10 | 8/10 | 8/10 | 9/10 | 85% |
| 判断分析 | 7/10 | 6/10 | 6/10 | 7/10 | 65% |
| 推荐选择 | 6/10 | 5/10 | 5/10 | 6/10 | 55% |
| 创作 | — | — | — | — | 不适用 |
一句话总结：越是有标准答案的题越稳，越是需要「主观判断」的题越不稳。 这个结论听起来像废话，但数字本身有用：判断类 65%、推荐类 55%，意味着这两类问题你只问一遍，有三到四成的概率拿到的是「少数派答案」。
下面逐类说。
第 1 类：算术计算 —— 97.5%，基本不用担心
题目：
税前月薪 18000，五险一金个人部分按 10.5% 计算，专项附加扣除每月 3000，请算出每月应纳个税和到手工资。（按 2026 年现行综合所得税率表，只算单月预扣，不考虑累计）
这题有唯一正确答案。四个模型 40 次输出里，39 次结论一致（应纳税额和到手工资都相同），只有通义千问有 1 次把速算扣除数用错了。
观察：算术类问题的「不稳」几乎全部来自计算过程中的一步失误，而不是理解偏差。所以这类题不需要问 10 遍，问 2 遍、结果一致就可以信；不一致就让它「把每一步列出来」，你自己看哪一步错了。
我在国产模型 Excel 数据分析那类文章里反复说过一点：让它列步骤，比让它直接给答案稳得多。 这次实验又验证了一遍。
第 2 类：翻译 —— 100%，完全不用多问
题目：
把这段翻译成英文：「本合同自双方签字盖章之日起生效，有效期三年。任何一方提前终止合同，应提前 60 日书面通知对方。」
40 次输出，措辞有 5–6 种变体（「take effect」和「come into effect」之类），但没有一次出现意思偏差。
观察：翻译是最「确定」的任务，语义只有一个，模型只是在同义表达里随机挑。这类问题问一遍就够。 你要是对措辞有偏好，直接在提示词里说（「用正式法律英语」「用口语」），比多问几遍效率高。
第 3 类：事实查询 —— 85%，开始要小心了
题目：
《中华人民共和国劳动合同法》里，关于「试用期最长不得超过多少个月」的规定是第几条？具体怎么规定的？
这题也有唯一答案（第十九条，按合同期限分三档，最长六个月）。但 40 次里有 6 次出了问题：3 次条款号说错（说成第十七条或第二十条），2 次三档的月数说错一档，1 次把条款号和内容都说对了但多编了一句法条里没有的话。
观察：事实类问题的「不稳」表现为细节的随机漂移——大方向对，具体的号码、数字、名字偶尔错。这是幻觉的典型形态。85% 的一致率意味着你问一遍，有 15% 的概率拿到一个「看起来完全正确但某个细节错了」的答案，而你根本看不出来。
实用建议：涉及具体条款号、具体数字、具体人名的，问 3 遍。3 遍一致就信；有一遍不一致，去搜索引擎核实那个不一致的细节。
第 4 类：判断分析 —— 65%，只问一遍等于掷骰子
题目：
下面是一份租房合同的 6 条关键条款（略，约 400 字）。请判断：哪一条对租客的风险最大？只回答一条，并说明理由。
这题没有「标准答案」，但有相对合理的答案。6 条里有 2 条明显更坑（一条是「押金退还由房东单方决定」，一条是「提前退租押金全扣且需赔一个月租金」）。
结果是：四个模型 40 次输出里，26 次选了这两条之一（我算作「一致」），14 次选了别的。DeepSeek 和 GLM-5.1 相对稳定（7/10），Kimi 和通义只有 6/10。而且同一个模型的 10 次里，理由也会变——同样选了「押金单方决定」这条，有时候强调的是「无标准」，有时候强调的是「无期限」。
观察：这类问题的不稳定不是幻觉，是模型在多个合理答案之间随机挑。65% 意味着你问一遍，有超过三分之一的概率拿到的不是它「最常给」的那个答案。
实用建议：判断类问题至少问 3 遍，看哪个结论出现次数最多。三遍三个答案，说明这道题本身就模糊，AI 帮不了你，得你自己或者找人判断。另外一个技巧是不要让它「只答一条」，改成「按风险从高到低排序」——排序的稳定性明显比单选高（我另测了 10 次，前两名一致率有 8/10）。
第 5 类：推荐选择 —— 55%，最不稳的一类
题目：
我预算 5000 元，主要用途是办公 + 偶尔剪 1080p 短视频，不玩游戏，请推荐一款笔记本。只推荐一款，说明理由。
结果是四个模型 40 次输出里出现了 11 款不同的机型。多数派（出现次数最多的那款）在 40 次里只出现了 22 次。同一个模型的 10 次里，DeepSeek 推了 4 款不同的，通义推了 5 款不同的。
观察：推荐类问题的候选池本来就大，「合理的答案」有一堆，模型每次随机挑一个。55% 的一致率意味着：你问一遍拿到的推荐，跟你再问一遍拿到的推荐，有接近一半的概率是不同的东西。 这不是模型的错，是这类问题本身就没有唯一解。
实用建议：推荐类问题不要让它「只推一款」，让它「推 3 款并说明各自适合什么人」。我另测了 10 次「推 3 款」，前 3 名的集合稳定得多（10 次里有 8 次至少 2 款重合）。然后你自己从 3 款里挑，这一步 AI 替不了你。挑模型本身也是同一个道理，见国产大模型怎么选。
第 6 类：创作 —— 不适用，但有别的发现
题目：
写一条朋友圈文案，主题是「周末终于把拖了三个月的书架装好了」，80 字以内，要有点自嘲。
创作类没有「结论」可言，一致率这个指标不适用。但我还是跑了 40 次，有两个发现：
- 每个模型都有自己的「套路」：DeepSeek 10 次里有 6 次用了「三个月」和「一个下午」的时间对比；通义 10 次里有 7 次以「终于」开头；GLM-5.1 最爱用括号加吐槽。你看多了就能认出来是哪家写的。
- 10 次里的质量差距很大：最好的一条和最差的一条，放一起你不会相信是同一个模型同一条提示词写的。
实用建议：创作类问题，问 1 遍不够，问 10 遍太多，5 遍是个好数字。 5 条里挑一条最好的，或者把两条拼一下。这是创作类唯一有效的用法。
相近场景的实操可以接着看：让国产 AI 学会我的写作口吻。
结论：哪些问题必须多问几遍
把上面的数据压缩成一张表：
| 问题类型 | 一致率 | 建议问几遍 | 不一致时怎么办 |
|---|---|---|---|
| 翻译 | 100% | 1 遍 | 措辞偏好写进提示词 |
| 算术 | 97.5% | 2 遍 | 让它列步骤，自己看哪步错 |
| 事实查询 | 85% | 3 遍 | 去搜索引擎核实不一致的细节 |
| 判断分析 | 65% | 3 遍以上 | 改成「排序」而不是「单选」 |
| 推荐选择 | 55% | 改问法 | 让它推 3 款，自己挑 |
| 创作 | 不适用 | 5 遍 | 挑最好的一条，或拼两条 |
两个更根本的观察：
第一，一致率和「题目有没有标准答案」直接相关，和模型是哪家关系不大。 四个模型在每一类里的表现都很接近，没有哪家在判断类上做到 9/10。所以别指望换模型解决这个问题，要改的是你的问法。
第二，不一致本身是信息。 3 遍答案不一样的地方，就是模型自己也拿不准的地方——它在告诉你「这里我不确定」，只是用一种你要多问几遍才听得到的方式。这些地方恰恰是你该自己去核实、去判断的。
想自己重复这个实验的，四个模型在不墨 AI 助手里都有，同一个窗口切模型，每次新建对话就行。找一道你真正关心的问题，问 5 遍，数一数结论变了几次——比看我的数据更有用。