四路并发聚合 350 tok/s,为什么隔离复测只剩 91?
我在笔记里写下「四并发聚合约 350 tok/s,continuous batching 真有效」,第二天拆开完成时间一看,四条请求一条接一条排队,聚合吞吐 91.2。这篇讲怎么用一个除法和一张完成时间表,一眼分出「真并行」和「排队排得很整齐」,顺带算清楚单流 98 tok/s 到底离物理天花板还有多远。
我在笔记里写下「四并发聚合约 350 tok/s,continuous batching 真有效」,第二天拆开完成时间一看,四条请求一条接一条排队,聚合吞吐 91.2。这篇讲怎么用一个除法和一张完成时间表,一眼分出「真并行」和「排队排得很整齐」,顺带算清楚单流 98 tok/s 到底离物理天花板还有多远。
一条公开跑分声称单张消费卡上 27B 稠密模型跑到 2103.6 tok/s。我没有那张卡,也没跑过那个配置,但三个除法就能确定它全程没做过前向计算。这三个除法你在自己机器上也能算。
枢渊系列第二篇。一个 AI 角色宣称自己建立了地下情报网,另一个 AI 相信自己控制了线人——账本两边都不认。这篇讲双层现实:为什么撒谎应该被允许,以及世界如何守住事实。
一个持续运行的 AI 虚拟社会实验:16 个角色在同一座魔门里修炼、算账、结仇、立契、衰老、死亡。这篇讲我看到了什么,以及为什么最难的部分和聪明无关。
4 个 AI agent 协作写代码,但运维全靠人肉。于是造了一个仪表盘:非 LLM 路由、看板、Context 监控,一个屏幕看全局。