三张卡跑一个大模型，我想知道加第四张能快多少，拿别人的四卡数字一比，得出 0.90 倍，当场编了一个「流水线变长抵消算力」的机制。后来发现这台机器被功耗墙锁着，同一个配置连跑六次，吞吐在 366 和 561 之间跳，变异系数 15%。这篇给一个除法，开跑之前就能算出你的尺子能看出多大的差；再讲我怎么换成一个不随时钟变的读数，以及这把新尺子读数最高的那一格，恰好是最差的那个配置。
推理 · benchmark · 投机解码18 min 阅读同一天给两个本地 Qwen 模型做选型，我下了四次结论，三次测的是我自己：漏了一个启动参数让思维链灌进正文，只修了一边就去对照，自己出的 8 道题里有 3 道是坏题，想开思考的请求参数被服务端静默覆盖。这篇给三个不读源码就能用的判据：答案占比、坏题率对分差、两组配置逐字节相同。
llm · inference · vLLM17 min 阅读两台机器跑同一个 Qwen 系列模型，都有约 3.3% 的请求在工具调用续轮时报错。我把社区重写的聊天模板换上第一台，19 种参数形状从挂 7 个变成挂 0 个；换到第二台的隔离副本上，坏请求照样 500，而且只用了 3 毫秒。这篇讲怎么用失败耗时判断错误发生在哪一层，怎么把 341 次报错还原成 39 个坏会话，以及 README 里那个「快 80%」为什么不能信。
llm · inference · llama.cpp14 min 阅读三张 64GB 卡跑一个 320B 的 MoE，24 tok/s，nvidia-smi 上三张卡都是 33%。我当晚排除了「轮流干活」和「带宽打满」，判定瓶颈在跨卡链路，证据是一条在并发 4 和 8 都停在 49 tok/s 的封顶曲线。两个月后重读原始数据：那条封顶线是服务器默认的 4 个槽位画出来的，我用来排除「轮流干活」的那组数字，恰好是轮流干活最直接的证据。这篇给两个除法和一个乘法，拿来读懂多卡推理的利用率和并发曲线。
llm · inference · multi-gpu15 min 阅读一个能在本地跑的视频模型有两个检查点，文件大小都是 20,970,379,616 字节，张量形状零差异，只有 md5 不一样。我的脚本装错了一整批实验，修好重测，第一次测不出差别，第二次发现「错的」那个反而更好。这篇讲两件事：一个对照实验在开跑前就能算出「注定测不出」的乘法，以及别人贴 A/B 结果时你该先问的三句话。
视频生成 · 实验设计 · 对照实验18 min 阅读同一张并发扫描表，读 64 并发那格得出「不换」，读 8 并发那格得出「快 2.58 倍」。换上之后，我在自己的聊天客户端里看到的散文速度是 38 tok/s，直连同一个服务是 74.1。数据一个都没错，错在我从哪一格读、以及测到哪一层为止。这篇给一个算「整轮到底快了多少」的式子，一个拆模型卡加速数字的除法，和一份读加速比之前要先问的清单。
推理 · 投机解码 · benchmark18 min 阅读三个剪过专家的 DeepSeek-V4-Flash 在我的题库上都只有 7.3 分左右，它们答错的题高度重合，我据此推翻自己，判定是原版底子差。后来直接调官方接口跑同一套题：9.21，全场最高。这篇讲那个重合度统计为什么在这个问题上没有分辨力，怎么在跑统计之前就看出来，以及剪枝仓库自带的那张跑分表该怎么读。
llm · moe · pruning17 min 阅读自建 SearXNG 的统计页说 Google 那一路错误率 15%，agent 拿到的结果条数三天里 1171 次都是满的 10 条。翻 raw 计数才发现，58% 的调用里 Google 根本没参战。这篇讲怎么用一个加法读出哪个引擎缺席，以及八月那次我修好了一台不在调用链上的机器。
自建服务 · 搜索 · 方法论13 min 阅读我想让 AI 助手自动判断每条消息该交给哪个正在进行的任务，攒了 3 万多个评测点，LLM 跑出 90.9%。一句话点破之后重切数据：83.7% 的评测点在实际使用里根本没有选择可做。按真实比例重测，不加门控的 LLM 82.3%，「永远继续当前」83.8%。这篇给三条能自己算的式子：白拿分有多少、自动化一次改错要几次改对来补、稀有类检测每天会烦你几次。
AI Agent · 评测 · 方法论21 min 阅读一台 64GB 的 M1 Max 内存爆掉重启，我采三次样、看斜率为零，判定是开太多东西而不是泄漏。五周后再查，一个文本向量服务三天半里几乎直线涨了 20GB，另一个语音转文字服务停在 58GB 不动。这篇算一笔账：读数分辨率除以斜率，就是你至少要盯多久；再讲 MLX 默认把缓存上限设成接近整机内存，两个进程加起来，账面上能把内存开到 1.9 倍。
macOS · Apple Silicon · MLX14 min 阅读一个新出的高速 tokenizer 宣传比 HuggingFace 快约 1000 倍。我在一台 6 核的 Ryzen 上跑了六种负载，倍数从 0.07 到 26.33 不等。这篇拆开 README 自己的表，说明这种倍数主要由分母决定，再给一个除法，算你的文本量要多大，换 tokenizer 省下的时间才够一次模型调用。
LLM · benchmarking · 性能11 min 阅读同一块 1T 的盘，四个工具给了四个互相打架的数。我拿今天的复测把它们挨个对了一遍：普通用户的 du 漏掉 113G，uv 缓存 61.8G 里只有 18G 删了会真的变成空位，一个 17.3G 的 SQLite 实际数据 26MB，docker 报的可回收量比它自己的上限还大。四个除法，外加一个八月那次我解释错了的 34G。
Linux · 磁盘 · 方法论13 min 阅读我给并发控制器顺手写了个 per_backend = 8，在它上面盖了一整天楼，四套优化方案全瞄准只占 13.7% 的那一段。换成实测值后端到端从 20.47 秒降到 17.50 秒，接着我发现任何取值的上限都只有两种状态：卡人，或者永远碰不到。这篇给三个除法，外加一个识破「利用率才 41%」的判据。
LLM · 推理 · 并发15 min 阅读一个社区仓库说 DeepSeek-V4-Flash 在三张 64GB 卡上加载就崩，只有四张能跑。我按显存账推出「提高显存比例就行」，两天后读源码发现那个参数在加载阶段根本不生效。他测的两档比例差 3.2 GiB，崩在同一行，这本来就是资源无关的证据，我读反了。真凶是一个环境变量，它比那条「三卡不行」的结论晚 22 小时才进仓库。
GPU · LLM · 推理17 min 阅读一台 16GB 内存的游戏本跑本地模型，把 llama.cpp 的 prompt cache 从 1GiB 扩到 4GiB 之后，45K token 以上的长请求中位等待从 47 秒降到 3.4 秒。我按复用距离算出再加到 6GiB 还能多命中 8 到 10 个百分点，结果不到 50 分钟它就被容器内存上限杀了一次，61 分钟时又被我自己的护栏回滚。账没算错，漏的是一个加法：容器上限要装下缓存，还要装下缓存之外那 2.1GiB。
llm · llama.cpp · 缓存13 min 阅读一个 118B 的 MoE 模型，KV 缓存压成 4-bit 之后，按公式 1M token 只要 13.3 GB，加上权重 62.6 GB，比我这台 64GB 的 M1 Max 还少 6 GB。实测 128K 通过，256K 被我自己设的内存看门狗掐掉。拆下来，每多读一个 token，峰值内存至少涨 39.4 KB，是压缩公式的 3.1 倍。这篇给三个能自己算的式子：KV 每 token 体积、用两档实测推出可用上限、用三档实测推出长上下文的出字速度，以及一份「这个模型到底能吃多长」的检查顺序。
llm · 长上下文 · 内存16 min 阅读我给三张矿卡跑的大模型预先立了一条线：并发吞吐放大不到 3 倍就重新评估这套方案。第一次测出 2.84 倍，差点就判了死刑。后来发现那个数量的主要是请求什么时候停下来，跟算力关系不大。同一台机器同样 8 路，换 prompt 长度、换停止方式、换内容，聚合吞吐能从 72 跳到 606。这篇给一个能自己算的墙钟拆分公式，把这四个数逐个对上账，再给几条拆别人并发跑分的判据。
推理 · benchmark · 方法论15 min 阅读在 M1 Max 上给自己写的推理引擎接投机解码，输出逐位一致，速度却从 92.0 掉到 65.26 tok/s。同一台机器上另一个引擎猜中率只有 0.38，跑到 133.4。这篇给一个除法，动手之前就能算出投机解码在你的引擎上是赚是亏；再给三条判据，用来拆只报接受率的跑分。
推理引擎 · 投机解码 · 性能12 min 阅读我给 AI 助手搭了个经验库，每晚让模型从当天对话里蒸馏「下次该怎么做」，四个月攒到 6950 条。翻了 962 次检索记录，只有 451 条被捞出来过；前 1% 的条目吃掉了 47% 的命中；模型给每条自打的置信度，跟会不会被用上的相关系数是 -0.002。我本来准备照论文补一个「用了就计数」的反馈回路，算完一个除法就撤了。这篇给三条能自己算的式子：读写比、需要的检索次数、丢了数据时的命中率上界。
AI Agent · 记忆系统 · 方法论14 min 阅读我在 M1 Max 上写的推理引擎，4096 token 预填充冷启动 979 tok/s，对手 984，我当晚说了句「基本打平」。一小时后发现对手那个 984 是连续跑出来的，它歇一下再单发是 1017–1053；而我连续跑会掉到 850 左右。拆下来是整机约 60W 的功耗墙：我的程序在内存那一路多花 5.6W，GPU 就少分 5.5W，频率被压低 9%。这篇讲一条能自己算的换算（热态 ≈ 冷态 × 频率比）、怎么识别一个跑分是冷是热，以及为什么切段省字节没用、删掉重复读才有用。
推理引擎 · 性能 · 方法论15 min 阅读四个 AI worker 一夜启动 1652 次，每次活 60 秒，看板上始终是「运行中」。我当时的诊断是失败计数卡在 10 到 12、够不到 20，断路器没触发。两天后翻事件表才发现：断路器跳了 80 次，每次都被我自己的续命脚本在一分半内复位。这篇讲怎么从一个计数器快照反推出它被复位过几次、为什么这种死循环会和定时任务锁相、以及一个静默退出的续命脚本为什么和一个健康的续命脚本长得一模一样。
AI Agent · 可靠性 · 方法论13 min 阅读我自己写的推理引擎在 M1 Max 上预填充 830.6 tok/s，llama.cpp 是 927.9。四个 AI agent 盯着 MoE 调了 8 小时，涨了 0.66%。停下来花一晚上逐算子对账，发现 MoE 恰好是我比它快的那一块，差距全在 dense 投影和转置上。照着账再跑 8 小时，涨了 9.9%。这篇讲怎么在两个引擎之间做逐算子对账：一个补发差分、一个覆盖率除法、一个按字节判断是不是卡带宽，以及单算子跑分为什么会把 MoE 少算 60%。
推理引擎 · 性能 · 方法论16 min 阅读两个月没复测的一把尺子，重测一晚上，排名全换了：同一台 M1 Max 上最快的预填充变成了 llama.cpp 的 928，而我一直当标尺的那个引擎，新版只剩 281。二分到 0.2.3 → 0.2.4 这一步，decode 几乎没动，prefill 掉到三分之一。这篇给一个两点拟合的除法，用四种 prompt 长度把「固定开销变大」和「每个 token 变贵」分开，再拆几个跑分里常见的坑：TTFT 换算的吞吐只是下限、投机解码的速度看你喂什么文本、关掉组件耗时却不变的消融开关。
推理引擎 · 性能 · 方法论15 min 阅读让一个 35B 本地模型玩小丑牌，每次改提示词都看平均打到第几回合。先把什么都不改的配置跑两遍，量出噪声，再去判断改动。一句「小丑栏空着就先买小丑」让平均回合从 6.58 和 6.32 涨到 9.12，配对 36:7；但同样这 60 局，要是只看前 20 局，结论会是「没用」。这篇给两条能自己算的账：60 局能看出多大的改进，想看出 +1 回合要跑多少局；以及为什么「什么都不改跑两遍」量出来的噪声只是下限。
LLM · 评测 · 游戏16 min 阅读让一个 35B 本地模型在没有无障碍树的窗口里点按钮。两条路各有长短：直接报坐标快 6 倍但略不准，先识别再选准一点但每步 3 秒。拼成组合路由后 200 次真点击对 190 次，可这多出来的 2 次在统计上什么都证明不了。更值钱的发现是：两条路「意见一致」远没有看起来那么可靠，它们的错误是绑在一起的。三条能自己算的账：两路错误是否独立、混合路由的平均延迟、零错误到底说明多少。
LLM · Agent · 评测16 min 阅读让一个 35B 本地模型玩《王权：三国》，三局实战比「思考 / 不思考 / 随机」，结果分不开。改做 360 道离线题之后才发现，四项数值里有一项的名字被我起错了，模型一直在按错的含义推理。改对一个字，同一套题从 59.2% 到 72.1%。这篇给三条能自己算的账：错误能拆到哪一项、题库的天花板在哪、实战要多少局才分得出高下。
LLM · 评测 · 游戏15 min 阅读同一道推理引擎优化题、同一个外部裁判、同一个模型，一组开五个 agent 在黑板上协作，一组只开一个。结果多 agent 赢了 10%，但两组的前两步是各自独立撞上的同一招，差距全来自一个单干没走到的方向；真正的天花板是那个串行排队的裁判。这篇给两条能自己算的账（评估器容量、每涨一点的 token 价），再拆一则「10 个 agent 发现新算法」的新闻。
多 agent · 推理引擎 · 评测19 min 阅读《我的世界：地下城 2》在所有 Linux 设备上启动几秒就退，社区修法全是 x86 版。我在 ARM 掌机 AYN Thor + Armada 系统上一开始判断没戏，结果不换 Proton、只动四个文件就进了游戏。附可直接复制的命令、校验值和回滚方法，顺带拆了登录「卡住」的真相。
掌机 · Linux 游戏 · Proton12 min 阅读同一台骁龙 8 Gen 2 掌机，同一个游戏场景，拔电实测 10 组配置。切到性能档是全场最差的一档：功耗最高，帧数反而掉了。真正起作用的是先判断瓶颈在哪，再拿每帧能耗来比。中途还有两个传感器骗了我，其中一个让我差点报出一个根本不存在的 101 帧。
硬件实测 · 掌机 · 功耗14 min 阅读我给一个本地大模型强制接上联网搜索，同一批 70 道事实题，报告写的是从 5.93 涨到 7.67。后来逐题读答案才发现，7 道答对的题被判分器扣掉了 47 分，原因是它改用英文回答了。改判后真实涨幅是 2.41，我自己写的「延迟贵 3 倍」也是拿两种口径算出来的。这篇给三个能自己算的式子，和一份评估「加检索涨了多少」的检查顺序。
模型评测 · 检索增强 · 方法论16 min 阅读我让自研推理引擎一次同时解 16 条序列，16 条输出和各自单跑逐位一致，聚合吞吐却是一条平线；同一台机器上 MLX 翻了一倍。两个月前我还用一本字节账论证这条路是死路，后来实测把账本三条全推翻：批处理的收益主要来自把 B=1 时闲着的带宽喂饱，省下的字节是次要的。这篇给一个两项相乘的公式，用来在动手前估批处理能拿多少，以及三条拆别人批处理数字的判据。
推理引擎 · 性能 · 方法论15 min 阅读我在自己机器上把 Jeff Dean 那张 2007 年的延迟数字表重测了一遍，又补了一张毫秒级的新表：本地模型最短往返 79 毫秒，Python 循环一圈 23 纳秒。用这张表一算，砍 5000 token 的 prompt 省下的时间还不到一次调用。这篇给两个除法，外加一个识破「每 token 预填充多少微秒」这类数字的办法。
性能 · 方法论 · LLM15 min 阅读我在自己的 M1 Max 上把一个开源的注意力 kernel 跑通了，对着我自研引擎里的旧实现快 67.87 倍。一个除法算下来，整条预填充只能快 5.5%；七个已知 kernel 全变成零耗时，也只有 1.69 倍。剩下 59% 的时间不属于任何 kernel，属于发射次数。这篇给三个除法，用来判断一个「快 X 倍」到底能不能落到你的端到端上。
推理引擎 · 性能 · 方法论15 min 阅读我把延迟算到中转网关头上，没测直连就下了结论。补上直连对照，网关只占三分之一；换成直连接进游戏，延迟反而从 243 涨到 481。真凶是每次请求都重新握一遍 TLS。这篇给两个除法，用来判断你的延迟到底花在哪、网关限流会不会卡住你。
延迟 · 方法论 · 网络13 min 阅读961 条答案，两个评委挑出的失败集只重合 21.8%。更糟的是其中一个评委在 961 次里有一个选项一次都没选过。这篇讲怎么用一个除法算出你的噪声地板，以及为什么「一致率 82.4%」这种数字基本不该信。
评测 · 本地模型 · 方法论13 min 阅读一个只做一次前向、读两个词概率来做二选一的决策模型，裸测下来跟抛硬币一样。但它的 AUC 是 0.949——信号一直在，只是被先验淹了。这篇给出算偏置量的两个加减法、一段识破别人 benchmark 的判据，和一份照着做的清单。
LLM · 评测 · 本地部署12 min 阅读让模型只做一次前向、不解码、直接读选项字母的概率，这套玩法能有多快、多准。85 道自造题上它考了 94 分，换成 300 道公开题只剩 76.7 分。顺带拆一条并发曲线里的除法，和一个让我读出 6/20 荒谬数字的探针 bug。
LLM · benchmark · 本地推理19 min 阅读一次 Antares-1B 本地复现：同一仓库的修复前后对照，把定位能力和判断安全的能力拆开，也划出了小模型适合做候选排序的边界。
AI · benchmarking · security10 min 阅读同一批角色、同一个决策点，把一生的记忆全喂进去，模型的行为只被埋点影响 38 次；压缩到 43% 的体积，反而 49 次。我把这个结论写下来的时候漏了一个对照臂，补上之后发现三分之二的功劳记错了人。这篇给出那个能自己算的除法，以及我四轮判据里前三轮是怎么骗我的。
llm · evaluation · memory15 min 阅读四天前我在这张卡上测完一个 27B 稠密模型，结论是官方 8bit 全面领先。换成 35B 的 MoE 再测，方向整个反了：8bit 单流仍然快，但一上并发就全线输，因为它的权重多占了 11 GiB，换走了 60 万 token 的上下文空间。这篇给出那个换算的除法，和一条判断「这个量化结论能不能外推」的判据。
llm · quantization · moe13 min 阅读我拿 12.7 万个神经元的果蝇全脑跑储备池计算，真连接组的记忆容量是 0.00，把权重整体打乱的假连接组是 0.51。真的没有输给假的，这东西压根就没在算——它在自己烧自己。这篇讲怎么一眼看出一个全脑仿真其实只是在放大噪声。
连接组 · 神经仿真 · 实验方法16 min 阅读答案是 20 那个，8/8 对 7/8。同一天另一个探针里，关系数值又明明白白起了作用——差别不在数值，在数值旁边有没有一件具体的事。附一条可自算的履职公式，和三个被我自己判掉的实验。
llm · simulation · evaluation19 min 阅读一张矿卡软件解锁后多出 56GB 显存，其中 141MB 写进去就崩。真正的教训不在那 141MB，在于我为了验证它连着写了三版探针，前两版全都报绿，因为它们物理上够不到出事的那块地址。
GPU · 调试方法 · 性能测量13 min 阅读都知道要警惕通过得太轻松的检查。但我那天撞到的三次里，有两次是反过来的——检查报失败，被测的东西其实合格。一次让我白跑四十组训练，一次让我差点放弃一个正确方向。这篇给出识别这两种错法的具体判据和自检代码。
实验方法 · 探针设计 · 连接组13 min 阅读被动散热的数据中心卡装进家用机箱，风量堆得再多也没用。这篇讲怎么用一个减法除一个数量出「热阻」，为什么加第三把风扇没让卡更凉只让它更安静，以及我自己在这套方法上翻的六次车——其中一次是量了四章的环境温度根本是块写死的常数。
硬件 · 散热 · GPU24 min 阅读九月初 MaleCNS 数据一放出来，十四个项目把果蝇大脑接进了 Doom、Minecraft、马里奥、赛车。我扒了这十四个仓库的方法文档，发现一件事：所有人都在问「生物连线到底有没有用」，但没有一个人跑完「真连线 vs 保度随机重连」的成绩对照。我跑了，双环境十组，打平。
连接组 · 强化学习 · 实验方法25 min 阅读我本来想证明进化调出来的神经连线比随机接线强。跑完十组，真大脑排第七，差值 -0.0069，p=0.85。这篇讲我怎么确认这个「输了」不能信——因为我尺子上的一格，比要量的东西还粗 2.8 倍。
连接组 · 实验方法 · reservoir computing23 min 阅读一个跑了三十七个模拟年的系统里，六处机制代码完整、单元测试全绿、从来没有真的生效过。判据只是一个除法——数它在生产数据里发生过几次。
engineering · debugging · testing17 min 阅读AI 时代真正的分层不在编程水平上。能安全使用 AI 的上限，等于你验收它产出的能力——这个量可以算，而且能解释为什么 AI 在围棋上早就超人、在法律上却还在制造事故。
ai · engineering · methodology17 min 阅读AI 自己写、自己跑、自己改，和 AI 改完你得去看一眼日志，这两种开发模式的产出差着数量级。差距的来源不是模型，是你有没有给它装一个它自己能读的退出码。
ai · engineering · methodology14 min 阅读一次本地模型缓存实验：新会话复用了全部 3633 个输入 token，负对照却被我判成通过。换会话 ID 为什么隔离不了缓存，以及怎样检查加速数字的分母。
LLM · benchmarking · caching9 min 阅读我在笔记里写下「四并发聚合约 350 tok/s，continuous batching 真有效」，第二天拆开完成时间一看，四条请求一条接一条排队，聚合吞吐 91.2。这篇讲怎么用一个除法和一张完成时间表，一眼分出「真并行」和「排队排得很整齐」，顺带算清楚单流 98 tok/s 到底离物理天花板还有多远。
llm · benchmark · apple-silicon14 min 阅读一条公开跑分声称单张消费卡上 27B 稠密模型跑到 2103.6 tok/s。我没有那张卡，也没跑过那个配置，但三个除法就能确定它全程没做过前向计算。这三个除法你在自己机器上也能算。
llm · benchmark · inference14 min 阅读枢渊系列第二篇。一个 AI 角色宣称自己建立了地下情报网，另一个 AI 相信自己控制了线人——账本两边都不认。这篇讲双层现实：为什么撒谎应该被允许，以及世界如何守住事实。
ai · agent · simulation11 min 阅读一个持续运行的 AI 虚拟社会实验：16 个角色在同一座魔门里修炼、算账、结仇、立契、衰老、死亡。这篇讲我看到了什么，以及为什么最难的部分和聪明无关。
ai · agent · simulation15 min 阅读4 个 AI agent 协作写代码，但运维全靠人肉。于是造了一个仪表盘：非 LLM 路由、看板、Context 监控，一个屏幕看全局。
ai · agent · engineering6 min 阅读当AI成为新的女真铁骑，你是崇祯还是皇太极？
AI · career · history19 min 阅读从 $249 到 $1,399——五条路线的真实对比和最终选择。
ai · homelab · hardware10 min 阅读Prompt 只是组件。当 Agent 从 demo 走向生产，真正的挑战是规约、状态管理、权限控制和失败模式设计——这些都是经典软件工程问题。
ai · agent · software-engineering6 min 阅读从 Lex Fridman 三小时播客中提炼的一切：一小时原型到 18 万 stars，改名大战，与 Zuckerberg 和 Altman 的直接对话，Soul.md 的哲学，以及为什么 vibe coding 是个脏词。
AI · open-source · OpenClaw9 min 阅读用 AI 助手串联智能家居、自动化工作流、语音控制和信息聚合。一个正在进化中的系统的快照。
ai · homelab · automation8 min 阅读用本地 4B 模型跑多 agent 系统的真实经历：从 system prompt 压缩到最终放弃，记录小模型在 agent 场景下的能力边界。
ai · agent · local-model6 min 阅读以 Home Assistant 为中心，接入灯光、空净、投影仪、温控、音箱，再用 iOS Shortcuts + AI 助手实现自然语言语音控制。记录折腾过程中的方案选型、踩坑和收获。
smart-home · homelab · automation7 min 阅读
Ariaki