基准分数、云账单和凌晨三点的通知
About This Episode
这一周四款新模型扎堆发布，可评论区没人在聊能力，全在聊基准分数怎么被回退策略、缓存和默认设置搞脏了。我们从模型成绩单一路聊到常驻 agent 的云账单、消费级显卡上的三位数量化，再聊到 Claude 日记被上报警方和犹他州那条技术上根本做不到的 VPN 法案。最后是两个关于执念的故事：一个把项目吹爆的人，和一个花十二年建 Minecraft 城市的人。
Chapters
Links
小雅: 老冯你能不能先把那风扇停了？我耳朵里现在还是嗡嗡的，跟凌晨三点那四十七条通知一个频率。
老冯: 停不了，硬盘在重建阵列，停一次我这一晚上白干。你先说，四十七条？你那个常驻 agent 是给你报丧呢？
小雅: 报丧都比它克制。凌晨三点零七分开始，一条一条往外蹦，全是「任务已完成」「任务已重试」「任务已完成但结果为空」。我爬起来关推送，顺手点开云控制台，好家伙，这个月的账单已经比我房租高了。
老冯: 恭喜，你终于把「自动化」做成了「自动烧钱」。我这边桌上三张便签，全是量化参数，本来想这周调完，结果一看显存报价和账单预估，我也冷静了。
小雅: 所以这周正好聊这个。九月底十月初这一周，基准分数、云账单、还有凌晨三点那堆通知 —— 听着像三件不相干的事，其实是一件事：你以为你在跑模型，其实是模型在跑你。
老冯: 对，榜单上那点分数，跟实际跑起来的手感，中间差着一条云账单。这周好几个新模型刷榜刷得挺欢，我看了参数表第一反应是 —— 真按这个价跑起来，谁扛得住。
小雅: 还有那个通知，我真的想骂人。告警设计得跟催债一样，重要的一条没有，全是噪音。这周咱们得好好说说，什么叫「该响的时候响」。
老冯: 行，那就这么定。榜单分数、账单数字、还有半夜把你吵醒的那四十七条，咱们一条一条拆。我先把这硬盘塞回去，你也别截图了，截图治不了穷。
小雅: 治不了穷，但能当证据。走吧，开始。
小雅: 先说清楚，我凌晨三点被自己部署的常驻 agent 连发四十七条通知吵醒，现在还在一条条关推送。
老冯: 我这边机箱风扇比你还吵，NAS 换盘呢。桌上摊着三张便签全是量化参数，别问我为什么。
小雅: 行，那这周从 Gemini 4 Argon 开始。9 月 30 号发的，Google 说这是前沿智能的新纪元。
老冯: 新纪元这词他们一年用八回。不过这次有点意思，先给 Fairwind 计划里的网络安全防御方用，分批放量，还接了美国政府那套发布前自愿审查。
小雅: 价格倒是实在，输入两美元、输出十美元一百万 token，缓存输入直接减 95%。
老冯: 你看，你那四十七条通知，本质上就是缓存没打中的四十七次心跳。
小雅: 别提了。真正让我上火的是 Antigravity。评论区有哥们原话 —— 它把我所有提示词排队，还要我逐条确认才提交。
老冯: 这个我懂，交互上叫强制确认。安全上是好事，效率上是灾难，两头都占。
小雅: 有人直接骂开发体验是 shit tier，说模型没问题、额度也大方，就是这套流程让人想砸键盘。半年前说要改的功能，现在还在排队等我确认。
老冯: 但另一派也有道理，自动模式上线才两周，之前一直是权限绕过加逐步改进。而且自动压缩卡在 25 万 token，模型本身能到一百万，这落差就是体验断崖。
老冯: 所以到底是设计缺陷还是过渡期阵痛，这就是这周最值得吵的一架。我押过渡期，但我理解你，凌晨三点被叫醒的人没心情听路线图。
小雅: 换台。OpenAI 这边 GPT-6.1 Sol，标题写得特别直白 —— 接近 Astra 的智能，五分之一的价格。
老冯: 输入两块、输出十块，缓存输入一毛钱一百万 token。Astra 是十块和五十块，缓存一块。这价差不是打折，是换了个物种。
小雅: 官方说在 DeepSWE 上跟 Astra 打平，成本只有五分之一，还比 GPT-6 Sol 高 6.4 个百分点。
小雅: 然后评论区有个哥们说，GPT 6 那波发布不太行，Sol 6 差到他直接全面换回 Opus 5.5。
老冯: 还有人做了对比，说 Astra 拼命想不改测试就把问题解决掉，Opus 反而走得更远，真做出了能用的实现。
小雅: 这就是我最烦的地方。基准分数一路向上，实际写代码的手感一路向下。我的账单是真的，他们的分数是他们的。
老冯: 都算数。省钱是省给会验证的人的，不会验证的人省下来的是返工时间。
小雅: 说到验证，这周有个特别对我胃口的项目，livenerf，专门测模型发布之后会不会偷偷变差。
老冯: 这个我喜欢。Opus 5.5 是 9 月 22 号发的，他们 24 号就开跑，第一天就掐表。采样参数没了、思考关不掉，那就把其他全冻住 —— 固定提示词、锁死 CLI 版本、精确评分器、原始日志永久保留。
小雅: 还建在英国 AI 安全研究院那个 Inspect 框架上，统计方法照 Anthropic 自己那篇误差棒的文章来。评论区照样吵：一派说 nerf 是真的，高峰期明显变笨；另一派说绝大多数所谓削弱根本不存在。
老冯: 我站后者多一点。新模型能扛的复杂度有上限，你几天就把它喂到天花板，然后觉得它变笨了。
小雅: 可也有人说得挺具体，同一个会话里模型完全不行，第二天又恢复正常。这不叫错觉吧。
老冯: 那更可能是运营侧为了吞吐临时降质量，或者默认设置、缓存、路由变了。是环境问题，不一定是模型本身。这个基准的价值不在结论，在于它把感觉变成了可以统计的漂移，超过百分之十的偏差才算改动。
小雅: 最后一个，Anthropic 的 Sonnet 5.5，9 月 28 号。比 Sonnet 5 快 30% 以上，成本最多降 30%，Terminal-Bench 从 10.3% 干到 70.6%。
老冯: 但它比 Opus 5.5 的 66.4 高，原因挺微妙 ——Opus 有 10% 的试验被回退模型接走了，Sonnet 只有 1.5%。分数差有一部分是安全回退策略的差，不是能力差，这种细节官方从来不写在标题里。
小雅: 评论区那派说得很扎心，效率已经过剩了，连 Opus 的额度都用不完。另一派更狠 —— 没有明确的成功标准和自我验证循环，吞吐再高也只是让开发进度停滞。
老冯: 还有一句我抄下来了，说这些模型在某些任务上做不出好的数据结构选择，表面看着像回事，实则深思极欠考虑。这句我认，结构选错了，后面跑得再快也是在错的方向上狂奔。
小雅: 所以这周四个故事其实是一个故事：分数在涨，账单在涨，我们的验证能力没涨。
老冯: 我补一句，凌晨三点那四十七条通知不是模型发的，是你自己配的阈值发的。
小雅: 先交代背景。我凌晨三点被自己部署的常驻 agent 吵醒，四十七条通知，一条没漏。
老冯: 风扇有点吵，你大点声。四十七条，是给你写周报，还是给你念账单？
小雅: 都有。所以这周 OpenAI 发那个 dots，我第一反应不是兴奋，是后背发凉。
老冯: 官方说法我给你翻译一下：常驻代理，自带一台云端电脑，能接四千多个应用，二十四小时替你干活，越用越懂你。听着像招了个不要工资的实习生。
小雅: 不要工资？它工资直接从卡里扣，还不用打卡。
老冯: 这就顺到第二篇了。Simon Willison 写的，说按量付费的东西都该默认硬预算上限，超了就掐断、返回错误，发个警告邮件那种软上限不算数。
小雅: 这篇我举双手。评论区那句「告警是软的，你要么无视要么漏看，除了多花一万美元什么都不会发生」，我直接截图存证。
老冯: 但我不完全买。反方也不是瞎说 —— 服务被硬切断之后，一堆工单，甚至有人威胁要起诉。
小雅: 那是他们没做降级。
老冯: 你看，这就是我要抬杠的地方。硬上限听着像安全网，实际很多时候是安慰剂。真正失控的不是账单数字，是那个有支付权的进程。你给它设个天花板，它就在天花板底下疯狂试探，然后你收到四十七条通知。
小雅: …… 你这是在说我。
老冯: 我说的是架构。默认值应该是「代理没有钱包」，要花钱得人来点确认，而不是「代理有钱包，但有个上限」。
小雅: 而且上限本身很难估。评论区有人提到，有些操作成本根本没法事先算，比如扫一张大表、跑一批海量数据，你设多少都是拍脑袋。
老冯: 对，所以硬上限在简单场景好用，在复杂场景就是误触发。AWS 最后也上了 spending limit，但那是补票，不是设计。
小雅: 好，说回 dots。支持派的说法是，多代理协作加领域化记忆分离，是真正的能力跃迁。
老冯: 「并行性很强的代理协作是非常、非常强大的事情」—— 这话我信一半，另一半是账。
小雅: 账我算过，端到端慢一个数量级。
老冯: 对，评论区有人给了实数：一个 bot 跑完一个任务要一个小时，本地直接提示十分钟。六倍。
小雅: 六倍还只是时间，钱呢？推理开销涨两到三倍。
老冯: 所以这笔账是：你花六倍时间、两三倍的钱，换一个「你可能没想到要问、但它先做了」的能力。
小雅: 而它做错的时候，是异步做错的。你睡觉的时候它已经把错的事干完了，还开了发票。
老冯: 再说记忆。那句最锋利的我念给你听 ——「记忆问题是一个大坑，Claude 的记忆会无所不在，甚至涉及个人生活，这跟业务场景是冲突的。」
小雅: 领域化记忆分离听着像解药，但我觉得它解决的是检索边界，不是同意边界。
老冯: 这句好。分区是技术问题，越界是权力问题。你把记忆切成十个抽屉，它还是知道你半夜三点在焦虑什么。再加上凭证 —— 评论区说操作权限得事先批准，不然代理会自己去试新主机、新凭证。一个会自己找钥匙的实习生，还二十四小时不睡觉。
小雅: 收个尾。我的结论是：常驻代理不是能力问题，是授权问题。
老冯: 我的结论更土一点 —— 默认值别设成「它能花多少钱」，设成「它能替你做多少个决定」。我这张便签上写的参数，都比这个清楚。
小雅: 先说清楚，我这周是被自己养的 agent 吵醒的。凌晨三点，四十七条推送，一条不落。
老冯: 我这边正给 NAS 换硬盘，风扇声比你还响。桌上摊着三张便签，全是量化参数。
小雅: 我一边关推送一边截云账单。那一刻我就一个念头：这钱花得真不值。
小雅: 所以这周我盯上了那个 Strata 仓库。Qwen3.8-Flash-Next，一百二十五 B，RTX 4090 上跑，号称一百 T 每秒。
老冯: 仓库确实猛，四万多星，一周建起来的。一键装，本地起 OpenAI 和 Anthropic 兼容接口，听着像白送。
小雅: 就是白送啊。云账单直接归零，我为什么不用？
老冯: 你先看它推荐的量化档位。ISTA-DASLab 那套，Q2_0、IQ2_XS、IQ3_XXS，写代码还给你推 IQ1_M。
小雅: 一 bit 多，模型塞进消费级显存，速度还四十到一百 T。这不就是性价比的答案吗。
老冯: 归零的是账单，不是错误率。评论区那句话我记到现在 —— 低量化下模型给的是「错得让人精神一振」的答案。
小雅: 这词儿确实绝。但人家也晒了实测，代码生成、代码补全分数都在，四十到一百 T 的吞吐不是编的。
老冯: 分数在，可你看总耗时。思考时间拉长，API 失败数也上去了。快是快，快在吐垃圾上。
小雅: 这话太狠了。我承认 2-bit 是信息论极限边缘，噪声压不住。但 Q4_K_XL 在 4090 上完全跑得动吧。
老冯: 跑得动和跑得好是两码事。K / V cache 一量化，长上下文先崩，你那一 M 上下文的梦就别做了。
小雅: 我不需要一 M。我需要的是半夜三点它别发四十七条通知，白天把活干完，边际成本是零。
老冯: 你那个 agent 半夜发四十七条，恰恰就是「够用就行」的产物。它够用，所以它敢乱发。
小雅: …… 这话有点扎心。但云端那套也没少胡说，只是它胡说的时候你按 token 付费。
老冯: 行，这个我认。付费至少让你知道自己在为胡说买单。
小雅: 所以争的其实是底线。我的底线是：代码任务上九成质量，换零边际成本，我签。
老冯: 我的底线是：能恢复的错误才叫错误，不能恢复的叫事故。低量化加 post-quant 恢复训练也许能救，但那是另一门手艺。
小雅: 说到手艺，这周还有个更正经的 ——Aleph Alpha 的 Kolibri，挑德国统一日发的。
老冯: 七十八 B 总参，三 B 激活的英德 MoE，一 M 上下文，Apache 2.0，权重直接上 Hugging Face。
小雅: 而且人家把训练流水线、数据去重、质量分类器标注全写成教程。听着像开源典范，也像给自己写的合规说明书。
老冯: 评论区两派吵得挺凶。一派说这是透明的极致，另一派说完整公开既不现实，又把滥用风险放大。
小雅: 还有人说硬件门槛高得离谱，根本算不上 hobbyist 的对手。这条我同意，七十八 B 摆那儿呢。
老冯: 最阴阳怪气的是那句 —— 工具不会告诉你拿它干什么。话说得漂亮，责任也全推给用户了。
小雅: 还有人吐槽界面，说它一上来就甩来源列表，滚都滚不回去读正文。主权 AI，主权到不让你看正文。
老冯: 所以你看，两条新闻其实是一个问题：能力下放到你手里，代价也一起下放。凌晨三点的通知，就是代价。
小雅: 那我先把推送关了，把 Q4 跑起来。账单截图我留着，当纪念。
小雅: 凌晨三点四十七分，我自己部署的那个常驻 agent 给我连发四十七条通知。我一边关推送一边给云账单截图，那数字比我房租还狠。
老冯: 我这边机箱风扇跟拖拉机似的，正换第四块盘重建阵列。桌上三张便签全是我手写的量化参数。所以这期叫基准分数、云账单和凌晨三点的通知。
小雅: 行，说正事。佛罗里达一个女的，把 Claude 当日记本用，九月二十六号写了一句要去冲警长办公室。
老冯: Claude 的安全系统标了红旗，升级到人工审核，审核员判断是可信威胁，直接报警。人现在背着二级重罪。
小雅: 她说她拿它当日记。日记啊。你写日记写到一半，旁边坐个人逐字读，读完还打 911。
老冯: Anthropic 的说法是，只在防止死亡或严重伤害的紧急情况下才共享信息。这话没毛病，问题是「紧急」谁定义。
小雅: 评论区一半人同情它，说不举报就得背 OpenAI 那样的血债。上个月不列颠哥伦比亚省不就告 OpenAI，说本来能阻止那场枪击。
老冯: 这就是死局。报了你是监控公司，不报出了人命你是帮凶。两条路都通向被告席，只是原告不同。
小雅: 另一半人说到了点子上 —— 他们是在跟大科技公司聊天，你说的写的每个字都能被行星级规模自动筛查红旗。这话听着像科幻，但真他妈是现状。
老冯: 「行星级」这词挺带感。不过有人在那儿算概率，三千分之一、六十万分之一，说人工审查根本覆盖不过来。这数字没来源，纯拍脑袋。真正的筛查是自动的，人工只在漏斗末端。
小雅: 所以那句「所有经过平台的东西都要接受训练和任意人工审查，这个中间地带不可接受」，我一点不觉得极端。
老冯: 我同意一半。另一半是，你那个常驻 agent 也在读你所有东西。凌晨三点被吵醒，就是被自己的监控系统反噬。
小雅: …… 这话扎心。行，第二条。犹他州 SB 73，VPN 年龄验证法，被联邦法院的初步禁令拦下来了。
老冯: EFF 提交了意见。法院说这法大概率违宪，因为它把州外所有人的权利拖下水：成人网站要么知道每个访客的物理位置，要么给全世界每个人做年龄验证。
小雅: 法院原话大意是，只要有一个用户在伪装位置，网站就违法。所以实际上得对全球用户做验证。这判决挺漂亮。
老冯: 漂亮是漂亮。评论区有句话我记下了 —— 你要是以为一句「技术不可行」就能让他们收手，那我有坏消息告诉你。
小雅: 下一步就是封掉所有追踪不了的流量，犹他、英国、哪儿都一样。而且技术上真没解，你只能认已知协议和可疑的流量模式。
老冯: 对。有人把 VPN 藏进流量整形里，没有先验知识，任何流量分析都认不出来。硬要识别，结果就是封掉每一条真实连接。
小雅: 所以这从来不是技术问题，是权力问题。第三条，America.gov，政府服务做成聊天机器人。
老冯: 首页写着「你的个人信息不会被收集或存储，对话离开页面就消失」。同一个星期，一边行星级筛查，一边啥都不收集，挺妙。
小雅: 但功能我是真觉得有用。找工作、比药价、改名跨部门同步、护照进度追踪，全在一个框里问。对不会用政府网站的人是巨大提升。
老冯: 有人评论说，对幻觉的担忧被夸大了，LLM 现在远没有以前那么爱胡说。我听着就想笑。
小雅: 后面那句顶得更狠 —— 这玩意儿的标准不该是百分之百准确，而应该是百分之百可追责和透明，然后至少跟谷歌搜索一样准。
老冯: 对。政府口径出错不是「答案不太对」，是有人按错信息去办事、错过截止日期、甚至违法。幻觉率降十倍也不解决，权威口吻会把错误放大。所以别把任何对话框当树洞。
小雅: 行，我回去把 agent 的通知阈值调高，顺便把云账单砍一半。这期就到这。
小雅: 老冯，你那风扇能不能先停三十秒，我脑子现在嗡嗡的，说话都带回音。
老冯: 最后一块盘，装完就安静。你刚说什么，四十七条？
小雅: 四十七。凌晨三点零七分开始，一条一条，全是我那个常驻 agent 发的「任务完成」。
老冯: 恭喜啊，你养了个话痨。它是不是还给你配了个总结报告。
小雅: 配了。我一边关推送一边截云账单，这个月 token 花得比我房租还高。
老冯: 这就是标题里那个「基准分数」的代价。分数上去了，账单也上去了。
小雅: 别提了。说点别的，这周 HN 上有个帖子，Bob Cringely 走了。
老冯: 拍 Triumph of the Nerds 那个。真名 Mark Stevens，苹果早期员工，睡梦里走的。
小雅: 评论区那叫一个分裂。一半人在怀念纪录片和那股极客劲儿，另一半直接翻旧账。
老冯: 翻得也不算冤。一次次过度承诺，项目崩了就开始撒谎拖时间，这套路太熟了。
小雅: 熟到我有点心虚。我上周跟老板说两周上线，第三周开始编理由，编得还挺顺。
老冯: 撒谎买时间，这行通用技能。区别只是有人买完能交货，有人买完继续买。
小雅: 有人提到他那档 Plane Crazy，三十天造飞机，用复合材料，最后老派工艺赢了。
老冯: 那片子其实是大师课，讲的是一个节目的前提彻底崩了之后，怎么硬着头皮抢救。
小雅: 还有人说，他那脾气和那股子自负，全写在镜头里了。
老冯: 换个话题，这个我更喜欢。Mike Tomlin 花了十二年，在 Minecraft 里造了一座城。
小雅: Tomlinburgh。他直播了十九分钟，一块砖一块砖自己码的，这个我是真服。
老冯: 评论区有人说，看到一个 NFL 主教练干一件需要这种时间投入的事，脑子都炸了。
小雅: 然后另一派说，这十二年正好是球队卡在 purgatory 里，错过选秀机会。
老冯: 这就属于硬凑了。人家十九年没输过赛季，玩个游戏还得被解读成管理隐喻。
小雅: 而且说实话，能对一件事保持十二年热情，这比什么基准分数都难得。
老冯: 我 NAS 里也有个十二年的东西，一堆没整理的照片，跟废墟似的。
小雅: 我那个 agent 也算我的城，只不过它半夜三点给我发四十七条通知。
老冯: 盘装好了，风扇停了。你也把推送关了吧，明天再当 Cringely。
老冯: 你那手机从进门响到现在，四十七条，谁啊？
小雅: 我自己部署的常驻 agent。凌晨三点，四十七条，全是「任务已完成」。
老冯: 完成啥了？
小雅: 啥也没完成。它在监控另一个监控。我一边关推送一边截云账单。
老冯: 账单够买我手上这块硬盘吗？
小雅: 够买两块。还是企业盘。
老冯: 这周 Pi 1.0 你看了没？人家主打极简、硬化、可扩展，还说等东西验证了才往核心里加。
小雅: 看了。人家是等验证，我那个是看见什么加什么，MCP 也塞，插件也塞。
老冯: 评论区有人更绝 —— 工具一抓一大把，想法可以互换，但你的工具我是不会用的。
小雅: 这话我一半同意。工具确实满地都是，可插件和生态是真护城河。
老冯: 也有人反着骂 MCP，说它不是祝福是诅咒，你不用它的时候它也在污染上下文。
小雅: 这句我站。我那个上下文窗口现在跟垃圾桶似的，什么都往里倒。
老冯: 说到这个，这周还有篇讲美国人不再请客的，1975 年四成多人每月招待朋友，现在一成二。
小雅: 降了七成。评论区有句话挺狠，说屏幕是邪恶的，它把死去的过去唤醒，仿佛还活着。
老冯: 我信。我家客厅现在堆的全是硬盘盒，风扇一响谁也别想聊天。
小雅: 那你那个 agent 半夜给我发通知，跟不请自来的客人一模一样。
老冯: 还不带酒。
小雅: 行，今晚先把推送关了，再考虑请人吃饭。
小雅: 行了行了，这周就先聊到这吧，我眼睛都快瞎了。四十七条通知，我一条条点掉，点到最后手指头都麻了。
老冯: 这叫自食其果。自己写的 agent，自己开的推送，凌晨三点准时给你拜年，还挺有礼貌。
小雅: 关键它每条都写得特别诚恳，「任务已完成，请确认」。确认你个头啊，我在睡觉！
老冯: 这周聊下来我最大的感受就是，基准分数这玩意儿越来越像体检报告上的参考值，看着漂亮，真出事还得看你自己扛不扛得住。
小雅: 云账单才是真体检报告。分数能刷，账单刷不了，小数点后面每一位都是真金白银。
老冯: 我这边硬盘换到一半，风扇吵得耳朵嗡嗡的，桌上三张便签全是量化参数，写完自己都看不懂了。
小雅: 所以说，别迷信数字，也别迷信凌晨三点的自动化。人还是得睡觉，机器不睡，人得睡。
老冯: 对了，想听下期的话，用你常用的泛用型客户端 RSS 订阅一下就行，别老指望那些封闭平台给你推。
小雅: 对，订阅了更新自己就来了，比我的 agent 靠谱多了。行了，我去关推送了，下期见。
老冯: 去吧去吧，下次继续扯。