博客

9 posts

同一天给两个本地 Qwen 模型做选型，我下了四次结论，三次测的是我自己：漏了一个启动参数让思维链灌进正文，只修了一边就去对照，自己出的 8 道题里有 3 道是坏题，想开思考的请求参数被服务端静默覆盖。这篇给三个不读源码就能用的判据：答案占比、坏题率对分差、两组配置逐字节相同。

llm · inference · vLLM17 min 阅读

2026.10.18

评测说 LLM 分拣消息准确率 90.9%，放回真实流量却输给了「什么都不做」：那两天我到底在测什么？

我想让 AI 助手自动判断每条消息该交给哪个正在进行的任务，攒了 3 万多个评测点，LLM 跑出 90.9%。一句话点破之后重切数据：83.7% 的评测点在实际使用里根本没有选择可做。按真实比例重测，不加门控的 LLM 82.3%，「永远继续当前」83.8%。这篇给三条能自己算的式子：白拿分有多少、自动化一次改错要几次改对来补、稀有类检测每天会烦你几次。

AI Agent · 评测 · 方法论21 min 阅读

2026.10.08

攒了 6950 条经验，93.5% 一次都没被读过：AI 助手的记忆库，该补检索还是该砍写入？

我给 AI 助手搭了个经验库，每晚让模型从当天对话里蒸馏「下次该怎么做」，四个月攒到 6950 条。翻了 962 次检索记录，只有 451 条被捞出来过；前 1% 的条目吃掉了 47% 的命中；模型给每条自打的置信度，跟会不会被用上的相关系数是 -0.002。我本来准备照论文补一个「用了就计数」的反馈回路，算完一个除法就撤了。这篇给三条能自己算的式子：读写比、需要的检索次数、丢了数据时的命中率上界。

AI Agent · 记忆系统 · 方法论14 min 阅读

2026.10.03

同一套配置跑两遍，60 局差了 0.26 回合：改一句提示词之后，要跑多少局才知道它真有用？

让一个 35B 本地模型玩小丑牌，每次改提示词都看平均打到第几回合。先把什么都不改的配置跑两遍，量出噪声，再去判断改动。一句「小丑栏空着就先买小丑」让平均回合从 6.58 和 6.32 涨到 9.12，配对 36:7；但同样这 60 局，要是只看前 20 局，结论会是「没用」。这篇给两条能自己算的账：60 局能看出多大的改进，想看出 +1 回合要跑多少局；以及为什么「什么都不改跑两遍」量出来的噪声只是下限。

LLM · 评测 · 游戏16 min 阅读

2026.10.02

直接报坐标对 186 次，先识别再选对 188 次，合起来对 190 次：让本地模型点屏幕，到底该走哪条路？

让一个 35B 本地模型在没有无障碍树的窗口里点按钮。两条路各有长短：直接报坐标快 6 倍但略不准，先识别再选准一点但每步 3 秒。拼成组合路由后 200 次真点击对 190 次，可这多出来的 2 次在统计上什么都证明不了。更值钱的发现是：两条路「意见一致」远没有看起来那么可靠，它们的错误是绑在一起的。三条能自己算的账：两路错误是否独立、混合路由的平均延迟、零错误到底说明多少。

LLM · Agent · 评测16 min 阅读

2026.10.01

改一个字，同一个模型从 59 分到 72 分：我那三局 AI 打游戏的对比，到底在比什么？

让一个 35B 本地模型玩《王权：三国》，三局实战比「思考 / 不思考 / 随机」，结果分不开。改做 360 道离线题之后才发现，四项数值里有一项的名字被我起错了，模型一直在按错的含义推理。改对一个字，同一套题从 59.2% 到 72.1%。这篇给三条能自己算的账：错误能拆到哪一项、题库的天花板在哪、实战要多少局才分得出高下。

LLM · 评测 · 游戏15 min 阅读

2026.09.30

五个 agent 对一个 agent，各跑 8 小时，114 比 104：多出来的四个到底买到了什么？

同一道推理引擎优化题、同一个外部裁判、同一个模型，一组开五个 agent 在黑板上协作，一组只开一个。结果多 agent 赢了 10%，但两组的前两步是各自独立撞上的同一招，差距全来自一个单干没走到的方向；真正的天花板是那个串行排队的裁判。这篇给两条能自己算的账（评估器容量、每涨一点的 token 价），再拆一则「10 个 agent 发现新算法」的新闻。

多 agent · 推理引擎 · 评测19 min 阅读

2026.09.23