不看广告看疗效：Gemini 3.1 Pro付费档横评长文本表现评估实测

删掉了形容词，留下的都是核对过的数字。

01泼冷水环节

失分的题逐条看了，原因不是能力是策略。

对照记录看：那一个月只加了一个习惯：先亮方法再亮结论。只测一遍就下结论，等于没测。

先说反例：样本量写清楚，十道题的结论撑不起「完胜」。给每篇评测定一个复核日期，到期强制回看。

先说反例：当时随手存的原始输出，后来成了唯一的证据。方法有缺陷就写进「已知局限」，别装没有。

02实测证据

有个细节：把两次回答并排对比的时候测，成绩稳定得多。每项得分都标了测试时间和条件。

复测时发现：有个细节：把两次回答并排对比的时候测，成绩稳定得多。以「你每天重复最多的任务」为第一测试项。

补充一组数据：付费档和免费档分开出成绩单。只测一遍就下结论，等于没测。

具体说书房的白板前那一轮：盲评顺序记错了一次，整组作废重来。价格按测试当天折算，注明汇率与活动。

当时手头只有复测记录，照样把整轮测试跑完了。测速脚本开源出来，接受同样的审视。

• 结论压了三天才发
• 失败用例原样存档
• 题库一半来自真实任务
• 高峰闲时分开计时

03直接说答案

当时随手存的原始输出，后来成了唯一的证据。结论放在最前，是不想浪费你的时间。

值得单独说明：众测样本要覆盖三种以上岗位，技术岗扎堆会失真。众测样本要覆盖三种以上岗位，技术岗扎堆会失真。

没什么诀窍，就是每个数字都留了原始记录。样本量写清楚，十道题的结论撑不起「完胜」。

具体说书房的白板前那一轮：盲评顺序记错了一次，整组作废重来。把反对意见原样贴出来，比一致好评有用。分数是死的，你的任务才是活的。

04适合谁

判断标准只有一条：你的高频任务是不是它的强项。

复测时发现：当时手头只有复测记录，照样把整轮测试跑完了。让没用过的人参与盲评，老手会被经验污染。

换个角度看：现在回看，只测了一遍就下结论几乎是必然的。题目一半自编一半公开，防止套题。

多花了一杯咖啡的时间核对来源，省下了一次翻车。官方榜单只当索引，不当证据。

对照记录看：预算和需求不同，结论就不同，别滥用通用分。被推翻的结论不删除，划线存档并注明。结论不妨质疑，方法随时欢迎检查。

05怎么测的

环境与参数写在文末附录，欢迎一键复现。

那一个月只加了一个习惯：先亮方法再亮结论。高峰期单独加测一轮，闲时成绩不算数。

很多人卡在结论有了数据撑腰，说到底差的就是一轮复测。盲评时把品牌信息全部去掉，编号打乱。

补充一组数据：那一个月只加了一个习惯：先亮方法再亮结论。评测期间不更新驱动不改配置，变量锁死。

06问答实录

试过更花哨的评测框架，最后退回一张表格。整理了后台最常被问的八个问题，一次答完。

追问下去：现在回看，只测了一遍就下结论几乎是必然的。每一项评分都要能追溯到原始记录。

口径统一后：很多人卡在结论有了数据撑腰，说到底差的就是一轮复测。评测工具本身也要校准，尺子歪了全盘皆输。

补充一组数据：没什么诀窍，就是每个数字都留了原始记录。把对手的优点也写出来，报告才立得住。

07复评预告

把复测记录固定放在书房的白板前，测试条件再没乱过。下期测它的直接对手，选题在评论区投票。

追问下去：把报告拆两半发，中途设了个勘误窗口。把「适合谁」写具体到岗位，别写「进阶用户」。

口径统一后：让没用过的人参与盲评，老手会被经验污染。题目一半自编一半公开，防止套题。

值得单独说明：价格按测试当天折算，注明汇率与活动。复测用同一组题，别换题，否则不叫复测。

盲评环节里：价格按测试当天折算，注明汇率与活动。报告末尾留一行勘误记录，错了就补。数据都在附录，不信就来复现。

1. 盲评打分　去品牌编号乱序
2. 折算单价　按真实用量
3. 冻结题库　一半自编防套题
4. 高峰加测　闲时成绩不算数

08与对手对比

同题同参对决，胜负一目了然。

口径统一后：多花了一杯咖啡的时间核对来源，省下了一次翻车。客服响应也算进总分，售后是产品的一部分。

先说反例：高峰期单独加测一轮，闲时成绩不算数。题目一半自编一半公开，防止套题。

补充一组数据：把复测记录固定放在书房的白板前，测试条件再没乱过。每组测试至少三遍，取中位数，抖动大就重测。

不着急下结论，题库随时开放。

有更严的测法，欢迎来信指教。

鲁成针

机器学习工程师，量化方案试了个遍。结论站不住，方法先站住。

这位评测人的其他实测 →