本地部署
数据不许出内网、云账单越跑越贵,就该考虑把模型搬回本地。llama.cpp、Ollama、GGUF 量化这些本地推理方案怎么搭、硬件怎么选,这里一次讲透。
专题介绍
本地部署不是把云端模型下载下来那么简单:显存、量化格式、推理框架,哪个环节没算对都会翻车。本专题讲清本地跑大模型与调云 API 的取舍,整理 llama.cpp、MLX、GGUF 等方案的实操要点,帮你在隐私、成本与效果之间找到平衡。
PLaMo 3 Translate开放权重:最小0.8B,手机断网也能高质量翻译53种语言
AI资讯 AI导航 2 次阅读
Ming-3.0-tts 本地部署怎么选?先从 0.5B 起步,Tiny 另建环境
AI问答 AI导航 7 次阅读
Kimi K3.1 Pro 能本地部署吗?权重未出先别折腾
AI问答 AI导航 9 次阅读
FLUX 3 Klein 本地运行要什么显卡?8GB 显存先看量化版本
AI问答 AI导航 8 次阅读
Mistral Large 4开放权重正式发布:1T参数模型可下载自托管,1-bit量化本地运行要256GB内存
AI资讯 AI导航 12 次阅读
DeepSeek 总提示服务器繁忙怎么办?先关深度思考再错峰重试
AI问答 AI导航 18 次阅读
M6版MacBook Pro发布:端侧AI提速25%,10月28日预购
AI资讯 AI导航 10 次阅读
Block Dessa语音模型发布:不转文字、只听人声就学会说话,MacBook本地就能跑
AI资讯 AI导航 11 次阅读