本地部署
数据不许出内网、云账单越跑越贵，就该考虑把模型搬回本地。llama.cpp、Ollama、GGUF 量化这些本地推理方案怎么搭、硬件怎么选，这里一次讲透。
专题介绍
本地部署不是把云端模型下载下来那么简单：显存、量化格式、推理框架，哪个环节没算对都会翻车。本专题讲清本地跑大模型与调云 API 的取舍，整理 llama.cpp、MLX、GGUF 等方案的实操要点，帮你在隐私、成本与效果之间找到平衡。
NVIDIA RTX Spark生态就绪：本地智能体先行，笔记本10月16日上市
AI资讯 AI导航 17 次阅读
Mellum2.1 开源发布：架构没变，JetBrains 靠强化学习练出仓库级编程能力
AI资讯 AI导航 25 次阅读
模型量化是什么意思？把大模型变小变快为什么不明显变笨
AI百科 AI导航 18 次阅读
MAI-Code-1.1-Flash 上线 Copilot：成本降到四分之一，还能本地跑
AI资讯 AI导航 43 次阅读
RTX Spark 笔记本开启预订：128GB 内存让大模型在 Windows 本地跑
AI资讯 AI导航 33 次阅读
Kolibri 开源权重发布：78B 参数每 token 只激活 3.46B，上下文达 100 万
AI资讯 AI导航 18 次阅读
AstaBrief 8B 开源发布：Ai2 科学报告模型生成提速约 3.5 倍
AI资讯 AI导航 17 次阅读
NVIDIA DGX Spark 推出 64GB 版：4999 美元起，本地跑千亿参数模型
AI资讯 AI导航 24 次阅读