Gemini 3.1 Pro盲测之夜同档模型对比新旧版本同题对决
分数只是索引，重点看分项和场景。赶时间的话，先看结论，再看适合谁。
删掉了形容词，留下的都是核对过的数字。
01泼冷水环节
很多人卡在评测报告能见人了，说到底差的就是一轮复测。先把丑话说完，剩下的才好意思夸。
把样本拉大后：把「适合谁」写具体到岗位，别写「进阶用户」。盲评时把品牌信息全部去掉，编号打乱。
盲评环节里：后来把题量压到「谁都能测完」的规模，反而坚持下来了。对比对象选同档热门，别拿小厂刷战绩。
把样本拉大后：第二季度复测，快了一倍，因为题库是现成的。每组测试至少三遍，取中位数，抖动大就重测。
先说反例：很多人卡在评测报告能见人了，说到底差的就是一轮复测。题目一半自编一半公开，防止套题。
02对决结果
很多人卡在评测报告能见人了，说到底差的就是一轮复测。对手选的是同档最热的三款，输了不冤赢了不虚。
追问下去：没什么诀窍，就是每个数字都留了原始记录。对比对象选同档热门，别拿小厂刷战绩。
盲评环节里：最有用的一条：允许结论被推翻。分数变化百分之五以内，视为人手误差。
把样本拉大后：最有用的一条：允许结论被推翻。付费档和免费档分开出成绩单。结论不妨质疑，方法随时欢迎检查。
“分数是索引，场景才是答案。”
03总判定
答案不绕弯，证据在后面逐条摆。
值得单独说明：只测一遍就下结论，等于没测。官方榜单只当索引，不当证据。
盲评环节里：后来把题量压到「谁都能测完」的规模，反而坚持下来了。让没用过的人参与盲评，老手会被经验污染。
复测时发现：失败的用例原样保留，那是报告的一半价值。深夜批处理和白天交互，测出来的延迟是两回事。
04口径说明
第一周最大的发现，是高峰期和闲时能差出一倍。环境与参数写在文末附录，欢迎一键复现。
对照记录看：那阵子评测报告能见人了是整份报告里最硬的一条。方法有缺陷就写进「已知局限」，别装没有。
把样本拉大后：那一个月只加了一个习惯：先亮方法再亮结论。报告末尾留一行勘误记录，错了就补。
值得单独说明：众测样本要覆盖三种以上岗位，技术岗扎堆会失真。方法有缺陷就写进「已知局限」，别装没有。
后来把题量压到「谁都能测完」的规模，反而坚持下来了。每一项评分都要能追溯到原始记录。结论不妨质疑，方法随时欢迎检查。
| 评测项 | 怎么测 | 常见失真 | 怎么算数 |
|---|---|---|---|
| 稳定 | 连测七天记录 | 只测一轮 | 波动有区间 |
| 质量 | 自编+公开题盲评 | 全用公开套题 | 盲评与跑分一致 |
| 复测 | 同题库下季度再跑 | 换题重测 | 新旧可对照 |
05问答实录
这事没捷径，只有不跳步。没答完的问题，留在下期继续。
那一个月只加了一个习惯：先亮方法再亮结论。结论先行不是抢跑，是对读者时间的基本尊重。
补充一组数据：数据磁盘单独留档，报告不妨改，数据不能改。长期订阅前，先看它最近两季的更新日志。
实测中意外的是：当时手头只有数据看板，照样把整轮测试跑完了。引用别人的数据必须标来源和测试条件。
06人群画像
画像列在下面，越靠前匹配度越高。
补充一组数据：数据磁盘单独留档，报告不妨改，数据不能改。只测一遍就下结论，等于没测。
盲评环节里：最有用的一条：允许结论被推翻。分数变化百分之五以内，视为人手误差。
换个角度看：每组测试至少三遍，取中位数，抖动大就重测。以「你每天重复最多的任务」为第一测试项。
复测时发现：被推翻的结论不删除，划线存档并注明。结论与口碑冲突时，两头都重查一遍。数据都在附录，不信就来复现。
盲评与跑分的相关性（示意）
07测试的边界
把复测排在固定同一组题再跑一遍后面，成了每季度的固定动作。把边界写明白，是评测的基本操守。
很多人卡在评测报告能见人了，说到底差的就是一轮复测。给每篇评测定一个复核日期，到期强制回看。
账单摊开算：现在回看，把跑分当体感几乎是必然的。每一项评分都要能追溯到原始记录。
补充一组数据：高峰期单独加测一轮，闲时成绩不算数。深夜批处理和白天交互，测出来的延迟是两回事。分数是死的，你的任务才是活的。
08留一个尾巴
下期测它的直接对手，选题在评论区投票。
换个角度看：分数保留一位小数就够了，假精度没有意义。每组测试至少三遍，取中位数，抖动大就重测。
把样本拉大后：很多人卡在评测报告能见人了，说到底差的就是一轮复测。给每篇评测定一个复核日期，到期强制回看。
先说反例：分数变化百分之五以内，视为人手误差。预算和需求不同，结论就不同，别滥用通用分。
换个角度看：这事没捷径，只有不跳步。高峰期单独加测一轮，闲时成绩不算数。
数据和短板都摆全了，放心引用。
条件不同结论不同，按你的场景改。
常被问到的
- 免费档和付费档值得分开测吗？
- 必须分开。两档背后常是不同规格的模型，混在一起评会得出「时好时坏」的假结论。
- Gemini 3.1 Pro值得为了评测里的一个优点订阅吗？
- 把那个优点换算成你的使用频率：每周都用得上就值，一个月一次就先用免费档。
- Gemini 3.1 Pro和同类比到底强在哪？
- 别看总分，看分项：长文本、中文语感、数学、代码各自拉出来比，你的主力场景赢的那项才算数。
- 评测多久更新一次合理？
- 模型迭代按季度看，评测按季度复测。每月更新的多是榜单搬运，自己沉淀一套固定题集更值钱。