Gemini 3.1 Pro口碑收集期隐私政策对比横评数据与最终判定
压了三天才发的评测，推翻过一次结论。
下面这些，都是亲手测过才敢写。
篇幅不长，每节都能独立引用。
常见翻车点对照
评测执行中的高频错误。
| 环节 | 翻车点 | 后果 | 对策 |
|---|---|---|---|
| 选题 | 全是公开套题 | 成绩虚高 | 一半自编 |
| 环境 | 配置中途变动 | 成绩不可比 | 锁死配置 |
| 盲评 | 品牌信息泄露 | 评分偏移 | 去标识编号 |
| 统计 | 只报均值 | 掩盖抖动 | 报中位数+区间 |
| 结论 | 当天就发布 | 无法推翻 | 压三天再发 |
01数据与样张
样张和回答原文都存了档，谁都不妨核对。
把报告拆两半发，中途设了个勘误窗口。评测期间不更新驱动不改配置，变量锁死。
那阵子换模型的底气足了是整份报告里最硬的一条。评测报告里最值钱的是失败记录。
实测中意外的是：响应速度单独测，别和正确率混在一个分里。失败的用例原样保留，那是报告的一半价值。
五个评测维度的权重分布（参考）
02与对手对比
对决结果有个反转，评论区先别吵。
实测中意外的是：测速脚本开源出来，接受同样的审视。测试环境写进附录，是可复现的最低要求。
复测时发现：有个细节：给每题打分存档的时候测，成绩稳定得多。失败的用例原样保留，那是报告的一半价值。
先说反例：具体说记满笔记的本子旁那一轮：盲评顺序记错了一次，整组作废重来。复测用同一组题，别换题，否则不叫复测。
现在回看，样本太少不足为凭几乎是必然的。分数保留一位小数就够了，假精度没有意义。先拿免费档试一周，再回来对答案。
03口径说明
同一组题、同一台机器、同一套提示词，变量只剩模型。
实测中意外的是：把盲测编号固定放在记满笔记的本子旁，测试条件再没乱过。失败的用例原样保留，那是报告的一半价值。
换个角度看：高峰期单独加测一轮，闲时成绩不算数。长期订阅前，先看它最近两季的更新日志。
这事没捷径，只有不跳步。测试环境写进附录，是可复现的最低要求。
补充一组数据：官方榜单只当索引，不当证据。题目一半自编一半公开，防止套题。
04短板在哪
当时手头只有盲测编号，照样把整轮测试跑完了。缺点说清楚，优点才可信。
对照记录看：只测一遍就下结论，等于没测。官方榜单只当索引，不当证据。
追问下去：把盲测编号固定放在记满笔记的本子旁，测试条件再没乱过。结论压三天再发，是给自己留推翻的余地。
先说反例：现在回看，样本太少不足为凭几乎是必然的。评测期间不更新驱动不改配置，变量锁死。结论不妨质疑，方法随时欢迎检查。
05下一步
那阵子换模型的底气足了是整份报告里最硬的一条。有新版本就回来更新这篇，旧结论会标注存档。
这事没捷径，只有不跳步。测速脚本开源出来，接受同样的审视。
值得单独说明：题目一半自编一半公开，防止套题。报告末尾留一行勘误记录，错了就补。
盲评环节里：让没用过的人参与盲评，老手会被经验污染。把反对意见原样贴出来，比一致好评有用。
值得单独说明：当时手头只有盲测编号，照样把整轮测试跑完了。盲评时把品牌信息全部去掉，编号打乱。
- 压三天 给自己留推翻余地
- 折算单价 按真实用量
- 冻结题库 一半自编防套题
- 高峰加测 闲时成绩不算数
06结论的适用范围
最有用的一条：允许结论被推翻。结论只代表测试当天的版本，下个版本可能翻案。
值得单独说明：分数变化百分之五以内，视为人手误差。评测报告里最值钱的是失败记录。
没什么诀窍，就是每个数字都留了原始记录。被推翻的结论不删除，划线存档并注明。
那阵子换模型的底气足了是整份报告里最硬的一条。深夜批处理和白天交互，测出来的延迟是两回事。
先说反例：现在回看，样本太少不足为凭几乎是必然的。只测一遍就下结论，等于没测。数据都在附录，不信就来复现。
07对号入座
具体说记满笔记的本子旁那一轮：盲评顺序记错了一次，整组作废重来。适不适合，取决于你每天重复最多的那件事。
对照记录看：有个细节：给每题打分存档的时候测，成绩稳定得多。响应速度单独测，别和正确率混在一个分里。
换个角度看：那阵子换模型的底气足了是整份报告里最硬的一条。给每个数字标上时间戳，三个月后还能对账。
值得单独说明：分数保留一位小数就够了，假精度没有意义。盲评时把品牌信息全部去掉，编号打乱。
没什么诀窍，就是每个数字都留了原始记录。价格按测试当天折算，注明汇率与活动。
| 评测项 | 怎么测 | 常见失真 | 怎么算数 |
|---|---|---|---|
| 稳定 | 连测七天记录 | 只测一轮 | 波动有区间 |
| 复测 | 同题库下季度再跑 | 换题重测 | 新旧可对照 |
| 速度 | 计时取中位数 | 只测闲时 | 高峰闲时分开报 |
08总判定
先说判定：值得测的场景多，值得付钱的场景少。
值得单独说明：那阵子换模型的底气足了是整份报告里最硬的一条。给每个数字标上时间戳，三个月后还能对账。
实测中意外的是：把报告拆两半发，中途设了个勘误窗口。测速脚本开源出来，接受同样的审视。
账单摊开算：具体说记满笔记的本子旁那一轮：盲评顺序记错了一次，整组作废重来。被推翻的结论不删除，划线存档并注明。结论不妨质疑，方法随时欢迎检查。
先跑一遍附录里的复现步骤，再决定信不信。
这篇按勘误记录持续修订。
常被问到的
- Gemini 3.1 Pro实测强但用着一般，为什么？
- 测试题是理想工况，你的任务是真实工况。拿自己十道高频问题重测，结果比任何榜单都准。
- 评测多久更新一次合理？
- 模型迭代按季度看，评测按季度复测。每月更新的多是榜单搬运，自己沉淀一套固定题集更值钱。
- Gemini 3.1 Pro跑分很高，体感却一般？
- 先怀疑套题：高频出现的题目模型可能见过。换成自己编的新题再测，掉分多少就是真实水平。
- Gemini 3.1 Pro值得为了评测里的一个优点订阅吗？
- 把那个优点换算成你的使用频率：每周都用得上就值，一个月一次就先用免费档。