全部文章标签

本地部署

数据不许出内网、云账单越跑越贵,就该考虑把模型搬回本地。llama.cpp、Ollama、GGUF 量化这些本地推理方案怎么搭、硬件怎么选,这里一次讲透。

专题介绍

本地部署不是把云端模型下载下来那么简单:显存、量化格式、推理框架,哪个环节没算对都会翻车。本专题讲清本地跑大模型与调云 API 的取舍,整理 llama.cpp、MLX、GGUF 等方案的实操要点,帮你在隐私、成本与效果之间找到平衡。

Google 开源 Gemma 3n 与 AI Edge 应用:端侧大模型正式登场

Google 开源 Gemma 3n 与 AI Edge 应用:端侧大模型正式登场

AI资讯
AI导航 639 次阅读