博客
AI 资讯、算法拆解和上手教程。一共 390 篇,新写的在最上面。
- 2026/11/14AI资讯约 5 分钟读完
llama.cpp 终于 1.0 了:本地 AI 有了稳定的 API
llama.cpp 与 ggml 双双发布 1.0.0:版本号从此是兼容性承诺,公开 C API 再变就升大版本;1.0 本身还是一次清理,删了 35 个废弃函数,顺手带来 FP8 KV 缓存与 MoE 专家内存缓存。
- 2026/11/07AI资讯约 4 分钟读完
llama.cpp b12180 接入 Kimi-K3.1-Pro 文本推理:DSA 索引层与混合缓存要点
东京时间 11 月 7 日 08:18(UTC 11/6 23:18),llama.cpp 发 b12180:文本路径接入 Kimi-K3.1-Pro(含 DSA indexer 与混合缓存);视觉暂未支持,数字来自官方 Release/PR。
- 2026/11/05AI资讯约 5 分钟读完
llama.cpp 发 v0.9.0:原生 FP8、NCCL 多机张量并行,还接上 Mistral Large 4 和语音
llama.cpp 于东京时间 11 月 4 日 22:08 发布 v0.9.0:加入 OCP FP8 E4M3、多序列 KV 优化,以及 ggml 0.29.0 的 NCCL 多机张量并行;新支持 Mistral Large 4 与 Chatterbox TTS 等。本文梳理亮点、作者自测加速比与升级注意点。