模型版本号与内部评估—真实使用反馈 gap
Living Thread: what model versioning encodes, and why frontier labs’ internal capability judgments can diverge from external real-world utility and release reception.
Current question
不同实验室的模型版本号/代际命名究竟编码什么？为什么实验室内部对新模型能力的判断，有时会与首发后的真实用户反馈明显脱节？
Working hypothesis
这个问题可以从两个交叉视角研究：
- versioning：major/minor/preview/dated snapshot 等命名在不同实验室内部究竟对应架构、训练阶段、后训练目标、产品行为还是发布管理；
- calibration gap：内部 eval/capability perception 与真实世界 utility、偏好和工作流表现之间如何产生偏差，又如何通过后续小版本快速修正。
真实世界反馈可以被视为实验室层面的稀疏奖励信号：它未必直接训练当前模型，但会影响下一轮目标定义、后训练和产品决策。因此短周期版本修正本身可能暴露内部 eval 的盲区。
Open questions
- major/minor 版本在 OpenAI、Anthropic、Google DeepMind 等实验室分别代表什么？是否存在可比较的规律？
- 哪些能力最容易在内部 benchmark/eval 上被高估，而在真实工作流中暴露问题？
- 首发后快速小版本迭代主要在修 capability、behavior/personality、tool use、latency/cost，还是 routing/harness？
- 外部反馈如何进入实验室的 post-training/eval loop？哪些证据能区分模型权重变化与产品/harness 修正？
- 能否用版本时间线、首发反馈和后续修正构建一种“internal-external calibration”研究方法？
Maintenance rule
当前方法和判断均为 provisional。先积累跨实验室版本案例、官方说明和可复核的外部反馈，再决定是否形成稳定框架。