本地大模型

jundot/omlx — Apple Silicon 专属 LLM 推理服务器，持续批处理 + SSD 缓存，本地大模型提速利器（13.3k ⭐）

专为 Apple Silicon 优化的 LLM 推理服务器，支持持续批处理和 SSD 缓存，让 Mac 用户在本地高效运行大语言模型，今日新增 185 star。