同一句话,Gemini 3.1 Pro赶工实测社区口碑收集和对手各答一遍
每个数字都标了测试条件,欢迎复测。篇幅不长,每节都能独立引用。

删掉了形容词,留下的都是核对过的数字。
赶时间的话,先看结论,再看适合谁。
适用人群对照表
不同人群该重点看哪个维度。
| 人群 | 第一维度 | 第二维度 | 提示 |
|---|---|---|---|
| 重度用户 | 成本 | 速度 | 按量细算 |
| 轻度用户 | 免费额度 | 上手难度 | 够用就好 |
| 团队决策 | 稳定 | 生态 | 先试点再推 |
| 创作者 | 质量 | 风格一致性 | 盲评样张 |
| 开发者 | 接口 | 稳定 | 看 API 文档 |
01和同行摆一起
这事没捷径,只有不跳步。总分接近时,看分项:你的主力场景赢的才算赢。
那阵子盲测猜中了谁是谁是整份报告里最硬的一条。别用厂商给的演示样例,那是考过的题。
两台并排的显示器前的测试做完之后,整份报告都顺了。样本量写清楚,十道题的结论撑不起「完胜」。
没什么诀窍,就是每个数字都留了原始记录。分数变化百分之五以内,视为人手误差。
- 结论压了三天才发
- 高峰闲时分开计时
- 盲评去掉了品牌信息
- 题库一半来自真实任务
02注意事项
这事没捷径,只有不跳步。价格和权益变动快,下单前以官方页面为准。
盲评环节里:第一周最大的发现,是高峰期和闲时能差出一倍。连续测七天,稳定性自己会现形。
值得单独说明:长期订阅前,先看它最近两季的更新日志。每组测试至少三遍,取中位数,抖动大就重测。
口径统一后:对比对象选同档热门,别拿小厂刷战绩。官方榜单只当索引,不当证据。
先说反例:现在回看,样本太少不足为凭几乎是必然的。评测工具本身也要校准,尺子歪了全盘皆输。先拿免费档试一周,再回来对答案。
五个评测维度的权重分布(参考)
03实测证据
失败的用例也放在这里,删掉它们就是造假。
盲评环节里:官方榜单只当索引,不当证据。测速脚本开源出来,接受同样的审视。
复测时发现:没什么诀窍,就是每个数字都留了原始记录。别用厂商给的演示样例,那是考过的题。
值得单独说明:连续测七天,稳定性自己会现形。价格按测试当天折算,注明汇率与活动。
盲评环节里:客服响应也算进总分,售后是产品的一部分。方法有缺陷就写进「已知局限」,别装没有。
04缺点不藏
多花了一杯咖啡的时间核对来源,省下了一次翻车。先把丑话说完,剩下的才好意思夸。
值得单独说明:试过更花哨的评测框架,最后退回一张表格。测试环境写进附录,是可复现的最低要求。
那一个月只加了一个习惯:先亮方法再亮结论。官方榜单只当索引,不当证据。
把样本拉大后:把数据看板固定放在两台并排的显示器前,测试条件再没乱过。每组测试至少三遍,取中位数,抖动大就重测。这篇先到这,有新版本随时回来改。
05先亮方法
第一周最大的发现,是高峰期和闲时能差出一倍。同一组题、同一台机器、同一套提示词,变量只剩模型。
复测时发现:多花了一杯咖啡的时间核对来源,省下了一次翻车。把反对意见原样贴出来,比一致好评有用。
复测时发现:这事没捷径,只有不跳步。让没用过的人参与盲评,老手会被经验污染。
没什么诀窍,就是每个数字都留了原始记录。评测报告里最值钱的是失败记录。
两台并排的显示器前的测试做完之后,整份报告都顺了。众测样本要覆盖三种以上岗位,技术岗扎堆会失真。
06适合谁
当时手头只有数据看板,照样把整轮测试跑完了。三类人适合,两类人别碰,对号入座。
把样本拉大后:现在回看,样本太少不足为凭几乎是必然的。连续测七天,稳定性自己会现形。
复测时发现:把复测排在固定同一组题再跑一遍后面,成了每季度的固定动作。价格按测试当天折算,注明汇率与活动。
复测时发现:那一个月只加了一个习惯:先亮方法再亮结论。评测期间不更新驱动不改配置,变量锁死。
当时随手存的原始输出,后来成了唯一的证据。响应速度单独测,别和正确率混在一个分里。先拿免费档试一周,再回来对答案。
07直接说答案
结论放在最前,是不想浪费你的时间。
补充一组数据:没什么诀窍,就是每个数字都留了原始记录。众测样本要覆盖三种以上岗位,技术岗扎堆会失真。
换个角度看:现在回看,样本太少不足为凭几乎是必然的。给每篇评测定一个复核日期,到期强制回看。
第一周最大的发现,是高峰期和闲时能差出一倍。给每个数字标上时间戳,三个月后还能对账。先拿免费档试一周,再回来对答案。
08复评预告
那阵子盲测猜中了谁是谁是整份报告里最硬的一条。评测是长跑,这篇只是其中一个刻度。
现在回看,样本太少不足为凭几乎是必然的。众测样本要覆盖三种以上岗位,技术岗扎堆会失真。
对照记录看:有个细节:固定同一组题再跑一遍的时候测,成绩稳定得多。结论压三天再发,是给自己留推翻的余地。
先说反例:把复测排在固定同一组题再跑一遍后面,成了每季度的固定动作。价格按测试当天折算,注明汇率与活动。
先说反例:没什么诀窍,就是每个数字都留了原始记录。把对手的优点也写出来,报告才立得住。先拿免费档试一周,再回来对答案。
| 评测项 | 怎么测 | 常见失真 | 怎么算数 |
|---|---|---|---|
| 质量 | 自编+公开题盲评 | 全用公开套题 | 盲评与跑分一致 |
| 成本 | 真实用量折单价 | 按官方口径 | 账单可溯源 |
| 速度 | 计时取中位数 | 只测闲时 | 高峰闲时分开报 |
写到这里。Gemini 3.1 Pro赶工实测社区口碑收集的判定给完了,复测季度见。
这篇按勘误记录持续修订。
常被问到的
- 免费档和付费档值得分开测吗?
- 必须分开。两档背后常是不同规格的模型,混在一起评会得出「时好时坏」的假结论。
- 怎么自己搭一套评测流程?
- 四步:编 30 道真实题、分五个维度、双人盲评打分、季度复测。工具不花一分钱,贵在坚持。
- Gemini 3.1 Pro跑分很高,体感却一般?
- 先怀疑套题:高频出现的题目模型可能见过。换成自己编的新题再测,掉分多少就是真实水平。
- Gemini 3.1 Pro和同类比到底强在哪?
- 别看总分,看分项:长文本、中文语感、数学、代码各自拉出来比,你的主力场景赢的那项才算数。
