Ariaki同一个配置连跑六次，吞吐在 366 到 561 之间乱跳：想看出 5% 的改进，该多跑几次，还是换一把尺子？
三张卡跑一个大模型，我想知道加第四张能快多少，拿别人的四卡数字一比，得出 0.90 倍，当场编了一个「流水线变长抵消算力」的机制。后来发现这台机器被功耗墙锁着，同一个配置连跑六次，吞吐在 366 和 561 之间跳，变异系数 15%。这篇给一个除法，开跑之前就能算出你的尺子能看出多大的差；再讲我怎么换成一个不随时钟变的读数，以及这把新尺子读数最高的那一格，恰好是最差的那个配置。
最新文章
05 篇公开文章8 条请求截断 7 条，我差点判了模型死刑：给本地模型做选型，哪几次其实是在测我自己？
同一天给两个本地 Qwen 模型做选型，我下了四次结论，三次测的是我自己：漏了一个启动参数让思维链灌进正文，只修了一边就去对照，自己出的 8 道题里有 3 道是坏题，想开思考的请求参数被服务端静默覆盖。这篇给三个不读源码就能用的判据：答案占比、坏题率对分差、两组配置逐字节相同。
同一个社区修复版聊天模板，一台机器上修好了，另一台一个都没修到：错误出在哪一层，不读源码能判断吗？
两台机器跑同一个 Qwen 系列模型，都有约 3.3% 的请求在工具调用续轮时报错。我把社区重写的聊天模板换上第一台，19 种参数形状从挂 7 个变成挂 0 个；换到第二台的隔离副本上，坏请求照样 500，而且只用了 3 毫秒。这篇讲怎么用失败耗时判断错误发生在哪一层，怎么把 341 次报错还原成 39 个坏会话，以及 README 里那个「快 80%」为什么不能信。
三张卡的 GPU 利用率都卡在 33%，瓶颈到底在哪？我排了三轮，结论倒了两个半
三张 64GB 卡跑一个 320B 的 MoE，24 tok/s，nvidia-smi 上三张卡都是 33%。我当晚排除了「轮流干活」和「带宽打满」，判定瓶颈在跨卡链路，证据是一条在并发 4 和 8 都停在 49 tok/s 的封顶曲线。两个月后重读原始数据：那条封顶线是服务器默认的 4 个槽位画出来的，我用来排除「轮流干活」的那组数字，恰好是轮流干活最直接的证据。这篇给两个除法和一个乘法，拿来读懂多卡推理的利用率和并发曲线。
两个权重文件一个字节都不差，我拿错的那个跑完了整批实验：修好之后，为什么反而多跑偏了 3 个镜头？
一个能在本地跑的视频模型有两个检查点，文件大小都是 20,970,379,616 字节，张量形状零差异，只有 md5 不一样。我的脚本装错了一整批实验，修好重测，第一次测不出差别，第二次发现「错的」那个反而更好。这篇讲两件事：一个对照实验在开跑前就能算出「注定测不出」的乘法，以及别人贴 A/B 结果时你该先问的三句话。