Z6·尊龙凯时「中国区」官方网站 Redis之父下场，给DeepSeek V4单独造了一台推理引擎

DeepSeek V4，已经脱手逼着外洋设备者为它修专属高速公路了。

发布才两周，开源圈里，第一批 V4 原生基础设施已经冒了出来。

何况，不是那种在现存框架上套一层壳的"小修小补"。

不是通用 GGUF 加载器；不是 llama.cpp 的 wrapper；以致根柢不复古别的模子。

它只干一件事：

把 DeepSeek V4 Flash，在 Mac 上跑到极致。

这条"专属高速公路"，叫ds4.c。而把修出来的东说念主，重量有点吓东说念主——

Salvatore Sanfilippo，步骤员圈更熟谙他的另一个名字：antirez。

他一手创造了 Redis（GitHub 7.4 万 Star），并切身主导这个寰宇最流行的内存数据库整整 11 年。

而当今，他的新名目 ds4.c，是一个专门为 DeepSeek V4 Flash 打造的腹地推理引擎。

时刻线上，已经有网友在 128GB Mac 上把它跑了起来。

不错说，这波，Mac 库存又被 DeepSeek 清了一遍。

鲸鱼，确乎值得。

专为 V4 Flash 打造的腹地推理引擎

4 月 24 日，DeepSeek 发布 V4 系列。其中，V4 Flash 是后果型号：284B 总参数、13B 激活参数、100 万 token 高下文。

这么的体量，夙昔险些默许属于云表。

而 antirez 想作念的，是把它塞进一台 Mac。于是，ds4.c 诞生了。

这是一个用C + Metal重新写出来的推理引擎。

系数名目就几个文献，C 占 55.4%，Objective-C 30.2%，Metal 13.8%。Metal-only，莫得运行时，莫得框架依赖，莫得笼统层。

Metal-only。

Metal 是苹果自家的图形和贪图 API，在 Mac、iPhone、iPad 上调用 GPU 都靠它，特殊于苹果生态里的 CUDA。

ds4 只用 Metal 的理由是，这个引擎只在 Apple Silicon 上跑，不论 Nvidia 显卡，也不论 AMD。

系数名目唯有一个目的：

让 V4 Flash 在腹地的苹果机器上，不仅仅"能跑"，而是信得过"能用"。

面前测试摈弃已经特殊夸张：

在 128GB 内存的 MacBook Pro M3 Max 上，2-bit 量化、32K 高下文，短 prompt 预填充 58.52 token/s，生成 26.68 token/s。

换成 512GB 的 Mac Studio M3 Ultra，长 prompt（11709 token）预填充能到 468.03 token/s，生成 27.39 token/s。

对一个 284B 参数的 MoE 模子来说，这个速率在腹地机器上是可用的。

何如作念到的？

关键在三件事。

第一，非对称量化。

ds4 并不会把扫数参数都压到 2-bit，而是只量化路由的 MoE 内行层，up/gate 用 IQ2_XXS，down 用 Q2_K，这些层占了模子空间的绝大部分。

其他组件，分享内行层、投影层、路由层，全部保留 Q8 精度不动。

antirez 在 README 里写了一句很平直的话：

这些 2-bit 量化不是开打趣，它们在 coding agent 下线路考究，能可靠地调用器具。

第二，KV 缓存搬到硬盘上。

当今的 LLM agent 客户端都是无情状的，每次苦求把整段对话从新发一遍。

通用引擎的作念法是每次从新作念 prefill。

ds4 的作念法是把 KV 情状写到磁盘上，下次苦求过来匹配 token 前缀，射中了就平直从磁盘加载，跳过 prefill。

缓存的 key 是 token ID 序列的 SHA1 哈希值。

这对 Claude Code 这种每次启动会发 25K token 运行 prompt 的 agent 场景尤其灵验，第一次 prefill 完成后，后续会话平直从磁盘规复。

第三，内置 OpenAI 和 Anthropic 两套 API 兼容层。

/v1/chat/completions 走 OpenAI 左券，/v1/messages 走 Anthropic 左券。tool calling 也作念了适配。README 里平直给了 opencode、Pi、Claude Code 三种 agent 客户端的设立示例。

对于为什么要作念这件事。

antirez 的复兴是，腹地推理限制有好多优秀名目，但新模子陆续发布，耀眼力坐窝被下一个要收场的模子吸走。

通用引擎为了兼容扫数模子，必须作念笼统。笼统意味着妥洽。他想作念的是一条刻意的窄路，一次只赌一个模子，用官方 logits 作念考据，作念长高下文测试，作念饱和的 agent 集成来阐发它竟然能用。

框架还是发布，就有网友不少网友响应，Z6尊龙凯时中国官方网站已经在 Mac 上跑起来了。

你准备好在腹地跑 V4 了吗？

一个模子一个推理框架

这件事，也在设备者圈炸出了一个更大的规划：

畴昔会不会酿成——一个模子，一个推理框架？

Hacker News 上一条高赞挑剔提了一个特别义的成见，要是脱手针对精准的 GPU 加模子组合构建超优化推理引擎呢？

GPU 越来越贵，要是去掉饱和多的笼统层，平直针对精准的硬件和模子编码，可能能优化好多。

这条路的代价也很彰着。合并条挑剔指出，一朝模子过期，一切重新来过。

antirez 我方也承认了这个问题。他说 ds4 现时赌的是 DeepSeek V4 Flash，但模子可能会换。

不变的治理是，腹地推理要在高端个东说念主机器或 Mac Studio 上跑得靠谱，起步 128GB 内存。

畴昔会怎么，README 里留了个伏笔。

现时是 Metal-only，畴昔可能会作念 CUDA 复古。但他写得很严慎，也许会，但仅此良友。这个名目刻意保捏小、快、专注。

更值得诊治的是他在 README 里抛出的一个不雅点，腹地推理当该是三件事系数作念好，开箱即用。

一个有 HTTP API 的推理引擎，一份针对这个引擎和这套假定卓越打造的 GGUF，一套和 coding agent 对接的测试和考据。

这是一种全栈腹地推理的念念路，不是把组件拼起来，是把链路当成一个居品来瞎想。

要是这条路走通了，它可能蜕变腹地推理的玩法。

模子厂商发布新模子的同期，社区里就会有东说念主跳出来给它作念专属引擎，作念专属量化，作念专属 agent 接入。每一代模子都有一个我方的「antirez」。

ds4 还有一个很坦率的细节。README 里有一段声明，这个软件是在 GPT 5.5 的「强力赞成」下设备的，东说念主类厚爱想法、测试和调试。

antirez 说要是你不经受 AI 赞成设备的代码，这个软件不相宜你。

两周时刻，从 fork llama.cpp 作念适配，到重新写一个专用引擎，离不开 AI 赞成。这件事自己可能比 ds4 还更值得诊治。

One more thing

终末说一下 antirez 这个东说念主。

本名 Salvatore Sanfilippo，1977 年出身于西西里岛。2009 年创建 Redis，主导这个名目十一年，2020 年离开。

离开时他写过一段话，说我方写代码是为了抒发我方，代码是一件成品而不仅仅灵验的器具。他宁可被记取为一个厄运的艺术家，也不肯被记取为一个好步骤员。

2024 年底他回到 Redis，担任 evangelist 脚色。

除了 Redis 以外，他还写过 Kilo（不到 1000 行 C 代码的文本剪辑器）、dump1090（航空 ADS-B 信号解码器）、linenoise（readline 的小型替代品）。

他还在玩 Flipper Zero，写了 RF 左券分析器具，把 Asteroids 移植到上头。2022 年他出了一册科幻演义《WOHPE》，主题是 AI、风物变化、步骤员，以及东说念主类和时期的互动。

他个东说念主主页第一滑写的是，「我把大部分专科时刻花在写代码和写演义上。」

对于 Redis 的诞生，他在个东说念主主页里写了一段：

我老婆说，Redis 的前几年我大部分代码都是坐在马桶上写的，用一台 MacBook Air 11 寸。我真但愿能说她错了，但她只怕说得王人备对。

这种调性贯串了他作念的扫数名目。小、精准、自成一体。

ds4.c 亦然合并个门道。

看一下他在 ds4 README 里对于 macOS bug 的那段备注，能坐窝嗅觉到这个东说念主的滋味。

ds4 有一个 CPU 推理旅途用于正确性考据，但现时版块的 macOS 在捏造内存收场上有一个 bug，跑 CPU 推接待导致内核崩溃。

他写说念，记取了吗？软件都很烂。我没法确立 CPU 推理来幸免崩溃，因为每次都得重启电脑，极少都不好玩。

然后加了一句，要是你有胆量，来帮咱们。

他在个东说念主主页里还留了一句话：

当代编程正变得复杂、无趣，全是要粘合的层。它正失去大部分好意思感。大无数步骤员既不在面临编程的艺术面，也不在面临编程的高等工程面。

从 Redis 到 ds4.c，十五年夙昔，antirez 照旧阿谁 antirez。

只不外这一次，他脱手给 AI 修路了。

参考连结

[ 1 ] http://invece.org/

[ 2 ] https://github.com/antirez/ds4

[ 3 ] https://news.ycombinator.com/item?id=48050751

一键三连「点赞」「转发」「留意心」

迎接在挑剔区留住你的想法！

—  完  —

5 月 20 日，咱们将在北京金茂万丽货仓举办一年一度的中国 AIGC 产业峰会。

首波嘉宾声势已公布！昆仑万维方汉、智谱吴玮杰、EverMind 邓亚峰、风行在线易正朝、百度秒哒朱广翔、Fusion Fund 张璐、香港大学黄超、MarsWave 冯雷都来了，� �了解细则

请你和咱们系数，不再仅仅规划 AI 的畴昔，而是当今就用起来。� �  

一键诊治 � � 点亮星标

科技前沿进展逐日见Z6·尊龙凯时「中国区」官方网站