博客
AI 资讯、算法拆解和上手教程。一共 390 篇,新写的在最上面。
- 2026/11/14AI资讯约 5 分钟读完
llama.cpp 终于 1.0 了:本地 AI 有了稳定的 API
llama.cpp 与 ggml 双双发布 1.0.0:版本号从此是兼容性承诺,公开 C API 再变就升大版本;1.0 本身还是一次清理,删了 35 个废弃函数,顺手带来 FP8 KV 缓存与 MoE 专家内存缓存。
- 2026/11/05AI资讯约 6 分钟读完
NVIDIA 发布 CUDA 13.5:Vera Rubin 进入生产可用,附调度、Tile 与工具链要点
NVIDIA 于东京时间 11 月 5 日凌晨发布 CUDA 13.5:Vera Rubin 支持转 GA,并更新 MPS v3、CUDA Tile 多卡通信、CCCL 批处理 Top-K 与 Nsight 工具链。本文整理对算法工程师有用的升级要点。
- 2026/11/05AI资讯约 5 分钟读完
llama.cpp 发 v0.9.0:原生 FP8、NCCL 多机张量并行,还接上 Mistral Large 4 和语音
llama.cpp 于东京时间 11 月 4 日 22:08 发布 v0.9.0:加入 OCP FP8 E4M3、多序列 KV 优化,以及 ggml 0.29.0 的 NCCL 多机张量并行;新支持 Mistral Large 4 与 Chatterbox TTS 等。本文梳理亮点、作者自测加速比与升级注意点。