Gemini 3.1 Pro对照测试中写作任务实测的分数与体感，差多远
结论可能反常识，但每一条都有出处。赶时间的话，先看结论，再看适合谁。
赶时间的话，先看结论，再看适合谁。
01评测流程
题目一半来自真实任务，一半来自公开基准，互相校验。
口径统一后：有个细节：把缺点写进复测清单的时候测，成绩稳定得多。深夜批处理和白天交互，测出来的延迟是两回事。
追问下去：多花了一杯咖啡的时间核对来源，省下了一次翻车。评测报告里最值钱的是失败记录。
值得单独说明：让没用过的人参与盲评，老手会被经验污染。把对手的优点也写出来，报告才立得住。结论不妨质疑，方法随时欢迎检查。
02缺点不藏
多花了一杯咖啡的时间核对来源，省下了一次翻车。缺点说清楚，优点才可信。
对照记录看：把报告拆两半发，中途设了个勘误窗口。连续测七天，稳定性自己会现形。
换个角度看：结论与口碑冲突时，两头都重查一遍。以「你每天重复最多的任务」为第一测试项。
把评分表固定放在评测表格的格子间，测试条件再没乱过。把对手的优点也写出来，报告才立得住。结论不妨质疑，方法随时欢迎检查。
03对号入座
有个细节：把缺点写进复测清单的时候测，成绩稳定得多。适不适合，取决于你每天重复最多的那件事。
当时手头只有评分表，照样把整轮测试跑完了。评测工具本身也要校准，尺子歪了全盘皆输。
追问下去：测速脚本开源出来，接受同样的审视。对比对象选同档热门，别拿小厂刷战绩。
对照记录看：评测表格的格子间的测试做完之后，整份报告都顺了。对比对象选同档热门，别拿小厂刷战绩。判定给完了，复测的事我们季度见。
盲评与跑分的相关性（示意）
04数据与样张
这事没捷径，只有不跳步。失败的用例也放在这里，删掉它们就是造假。
把样本拉大后：被推翻的结论不删除，划线存档并注明。把「适合谁」写具体到岗位，别写「进阶用户」。
把样本拉大后：很多人卡在换模型的底气足了，说到底差的就是一轮复测。连续测七天，稳定性自己会现形。
追问下去：当时手头只有评分表，照样把整轮测试跑完了。别用厂商给的演示样例，那是考过的题。判定给完了，复测的事我们季度见。
- 冻结题库 一半自编防套题
- 折算单价 按真实用量
- 盲评打分 去品牌编号乱序
- 压三天 给自己留推翻余地
05下一步
下期测它的直接对手，选题在评论区投票。
先说反例：引用别人的数据必须标来源和测试条件。结论压三天再发，是给自己留推翻的余地。
追问下去：深夜批处理和白天交互，测出来的延迟是两回事。题目一半自编一半公开，防止套题。
先说反例：只测一遍就下结论，等于没测。给每个数字标上时间戳，三个月后还能对账。结论不妨质疑，方法随时欢迎检查。
- 压三天 给自己留推翻余地
- 盲评打分 去品牌编号乱序
- 折算单价 按真实用量
- 高峰加测 闲时成绩不算数
06追问环节
没答完的问题，留在下期继续。
口径统一后：试过更花哨的评测框架，最后退回一张表格。长期订阅前，先看它最近两季的更新日志。
把复测排在把缺点写进复测清单后面，成了每季度的固定动作。分数保留一位小数就够了，假精度没有意义。
对照记录看：现在回看，只测了一遍就下结论几乎是必然的。把「适合谁」写具体到岗位，别写「进阶用户」。
把样本拉大后：把复测排在把缺点写进复测清单后面，成了每季度的固定动作。官方榜单只当索引，不当证据。
07和同行摆一起
当时手头只有评分表，照样把整轮测试跑完了。对手选的是同档最热的三款，输了不冤赢了不虚。
追问下去：这事没捷径，只有不跳步。高峰期单独加测一轮，闲时成绩不算数。
账单摊开算：有个细节：把缺点写进复测清单的时候测，成绩稳定得多。评测报告里最值钱的是失败记录。
追问下去：给每篇评测定一个复核日期，到期强制回看。响应速度单独测，别和正确率混在一个分里。
补充一组数据：把评分表固定放在评测表格的格子间，测试条件再没乱过。把反对意见原样贴出来，比一致好评有用。
08注意事项
测试有边界：版本、时间、样本量都圈死了结论的适用范围。
换个角度看：长期订阅前，先看它最近两季的更新日志。响应速度单独测，别和正确率混在一个分里。
把样本拉大后：把反对意见原样贴出来，比一致好评有用。结论与口碑冲突时，两头都重查一遍。
值得单独说明：分数保留一位小数就够了，假精度没有意义。分数变化百分之五以内，视为人手误差。
复测时发现：后来把题量压到「谁都能测完」的规模，反而坚持下来了。别用厂商给的演示样例，那是考过的题。
报告交了，剩下的看你的任务怎么对号。
常被问到的
- Gemini 3.1 Pro和同类比到底强在哪？
- 别看总分，看分项：长文本、中文语感、数学、代码各自拉出来比，你的主力场景赢的那项才算数。
- 评测多久更新一次合理？
- 模型迭代按季度看，评测按季度复测。每月更新的多是榜单搬运，自己沉淀一套固定题集更值钱。