Ariaki四路并发聚合 350 tok/s，为什么隔离复测只剩 91？
我在笔记里写下「四并发聚合约 350 tok/s，continuous batching 真有效」，第二天拆开完成时间一看，四条请求一条接一条排队，聚合吞吐 91.2。这篇讲怎么用一个除法和一张完成时间表，一眼分出「真并行」和「排队排得很整齐」，顺带算清楚单流 98 tok/s 到底离物理天花板还有多远。
llm · benchmark · apple-silicon14 min 阅读我在笔记里写下「四并发聚合约 350 tok/s，continuous batching 真有效」，第二天拆开完成时间一看，四条请求一条接一条排队，聚合吞吐 91.2。这篇讲怎么用一个除法和一张完成时间表，一眼分出「真并行」和「排队排得很整齐」，顺带算清楚单流 98 tok/s 到底离物理天花板还有多远。
llm · benchmark · apple-silicon14 min 阅读一条公开跑分声称单张消费卡上 27B 稠密模型跑到 2103.6 tok/s。我没有那张卡，也没跑过那个配置，但三个除法就能确定它全程没做过前向计算。这三个除法你在自己机器上也能算。
llm · benchmark · inference14 min 阅读