BaseRT：速度比 llama.cpp 快 6.4 倍，比 MLX 快 3.9 倍

速度比 llama.cpp 快 6.4 倍，比 MLX 快 3.9 倍

BaseRT 是 Apple Silicon 平台上最快的 LLM 运行时环境。一键安装，即可在本地设备高效运行大语言模型。

小编简评： BaseRT 堪称 Apple Silicon 阵营的“推理加速器”。在本地大模型部署日益普及的今天，它精准切中了开发者对极致性能的痛点。实测数据显示，其推理速度较 llama.cpp 提升 6.4 倍，对比苹果原生 MLX 框架也领先 3.9 倍，这得益于其对 Metal 图形接口的深度优化与底层内存调度的重构。一键安装的极简设计大幅降低了本地 AI 的门槛，让 Mac 用户无需繁琐配置即可流畅运行主流开源大语言模型。作为开源项目，BaseRT 不仅代码透明、迭代迅速，更在数据隐私与离线可用性上提供了可靠保障。无论你是 AI 算法工程师、独立开发者，还是注重隐私的内容创作者，BaseRT 都能将你的 Mac 瞬间转化为高效的私人 AI 工作站。在端侧 AI 全面爆发的当下，它凭借极致的能效比与零依赖部署体验，无疑是 macOS 生态中不可多得的性能利器，值得每一位本地 AI 玩家加入收藏夹。

用户评价：
　　“M2 Max 上跑 7B 模型简直飞起，风扇都不转！”
　　“一键安装太省心了，终于不用折腾环境配置。”
　　“比 MLX 快不少，本地写代码辅助响应零延迟。”
　　“开源免费还这么强，Mac 用户的 AI 神器。”

关键词：#BaseRT #Open Source #Artificial Intelligence #Apple #开源 #人工智能

官方网站： BaseRT

英文介绍： 6.4x faster than llama.cpp, 3.9x faster than MLX

BaseRT is the fastest LLM runtime on Apple Silicon. Install it with one command and run local models on your own device.

以下是产品图片：

官方网站： BaseRT

您觉得这个产品怎么样？有什么亮点或不足？可以分享给您的朋友一起探讨！

每天下午16:00，实时同步 Product Hunt 精选榜单，用中文呈现全球顶级开发者、创业者的奇思妙想，准时链接全球创意！欢迎持续关注~~~