三张卡跑一个大模型，我想知道加第四张能快多少，拿别人的四卡数字一比，得出 0.90 倍，当场编了一个「流水线变长抵消算力」的机制。后来发现这台机器被功耗墙锁着，同一个配置连跑六次，吞吐在 366 和 561 之间跳，变异系数 15%。这篇给一个除法，开跑之前就能算出你的尺子能看出多大的差；再讲我怎么换成一个不随时钟变的读数，以及这把新尺子读数最高的那一格，恰好是最差的那个配置。
推理 · benchmark · 投机解码18 min 阅读三张 64GB 卡跑一个 320B 的 MoE，24 tok/s，nvidia-smi 上三张卡都是 33%。我当晚排除了「轮流干活」和「带宽打满」，判定瓶颈在跨卡链路，证据是一条在并发 4 和 8 都停在 49 tok/s 的封顶曲线。两个月后重读原始数据：那条封顶线是服务器默认的 4 个槽位画出来的，我用来排除「轮流干活」的那组数字，恰好是轮流干活最直接的证据。这篇给两个除法和一个乘法，拿来读懂多卡推理的利用率和并发曲线。
llm · inference · multi-gpu15 min 阅读同一张并发扫描表，读 64 并发那格得出「不换」，读 8 并发那格得出「快 2.58 倍」。换上之后，我在自己的聊天客户端里看到的散文速度是 38 tok/s，直连同一个服务是 74.1。数据一个都没错，错在我从哪一格读、以及测到哪一层为止。这篇给一个算「整轮到底快了多少」的式子，一个拆模型卡加速数字的除法，和一份读加速比之前要先问的清单。
推理 · 投机解码 · benchmark18 min 阅读三个剪过专家的 DeepSeek-V4-Flash 在我的题库上都只有 7.3 分左右，它们答错的题高度重合，我据此推翻自己，判定是原版底子差。后来直接调官方接口跑同一套题：9.21，全场最高。这篇讲那个重合度统计为什么在这个问题上没有分辨力，怎么在跑统计之前就看出来，以及剪枝仓库自带的那张跑分表该怎么读。
llm · moe · pruning17 min 阅读我给三张矿卡跑的大模型预先立了一条线：并发吞吐放大不到 3 倍就重新评估这套方案。第一次测出 2.84 倍，差点就判了死刑。后来发现那个数量的主要是请求什么时候停下来，跟算力关系不大。同一台机器同样 8 路，换 prompt 长度、换停止方式、换内容，聚合吞吐能从 72 跳到 606。这篇给一个能自己算的墙钟拆分公式，把这四个数逐个对上账，再给几条拆别人并发跑分的判据。
推理 · benchmark · 方法论15 min 阅读让模型只做一次前向、不解码、直接读选项字母的概率，这套玩法能有多快、多准。85 道自造题上它考了 94 分，换成 300 道公开题只剩 76.7 分。顺带拆一条并发曲线里的除法，和一个让我读出 6/20 荒谬数字的探针 bug。
LLM · benchmark · 本地推理19 min 阅读四天前我在这张卡上测完一个 27B 稠密模型，结论是官方 8bit 全面领先。换成 35B 的 MoE 再测，方向整个反了：8bit 单流仍然快，但一上并发就全线输，因为它的权重多占了 11 GiB，换走了 60 万 token 的上下文空间。这篇给出那个换算的除法，和一条判断「这个量化结论能不能外推」的判据。
llm · quantization · moe13 min 阅读我在笔记里写下「四并发聚合约 350 tok/s，continuous batching 真有效」，第二天拆开完成时间一看，四条请求一条接一条排队，聚合吞吐 91.2。这篇讲怎么用一个除法和一张完成时间表，一眼分出「真并行」和「排队排得很整齐」，顺带算清楚单流 98 tok/s 到底离物理天花板还有多远。
llm · benchmark · apple-silicon14 min 阅读一条公开跑分声称单张消费卡上 27B 稠密模型跑到 2103.6 tok/s。我没有那张卡，也没跑过那个配置，但三个除法就能确定它全程没做过前向计算。这三个除法你在自己机器上也能算。
llm · benchmark · inference14 min 阅读
Ariaki