全部文章标签

本地部署

数据不许出内网、云账单越跑越贵,就该考虑把模型搬回本地。llama.cpp、Ollama、GGUF 量化这些本地推理方案怎么搭、硬件怎么选,这里一次讲透。

专题介绍

本地部署不是把云端模型下载下来那么简单:显存、量化格式、推理框架,哪个环节没算对都会翻车。本专题讲清本地跑大模型与调云 API 的取舍,整理 llama.cpp、MLX、GGUF 等方案的实操要点,帮你在隐私、成本与效果之间找到平衡。

PLaMo 3 Translate开放权重:最小0.8B,手机断网也能高质量翻译53种语言

PLaMo 3 Translate开放权重:最小0.8B,手机断网也能高质量翻译53种语言

AI资讯
AI导航 2 次阅读
Ming-3.0-tts 本地部署怎么选?先从 0.5B 起步,Tiny 另建环境

Ming-3.0-tts 本地部署怎么选?先从 0.5B 起步,Tiny 另建环境

AI问答
AI导航 7 次阅读
Kimi K3.1 Pro 能本地部署吗?权重未出先别折腾

Kimi K3.1 Pro 能本地部署吗?权重未出先别折腾

AI问答
AI导航 9 次阅读
FLUX 3 Klein 本地运行要什么显卡?8GB 显存先看量化版本

FLUX 3 Klein 本地运行要什么显卡?8GB 显存先看量化版本

AI问答
AI导航 8 次阅读
Mistral Large 4开放权重正式发布:1T参数模型可下载自托管,1-bit量化本地运行要256GB内存

Mistral Large 4开放权重正式发布:1T参数模型可下载自托管,1-bit量化本地运行要256GB内存

AI资讯
AI导航 12 次阅读
DeepSeek 总提示服务器繁忙怎么办?先关深度思考再错峰重试

DeepSeek 总提示服务器繁忙怎么办?先关深度思考再错峰重试

AI问答
AI导航 18 次阅读
M6版MacBook Pro发布:端侧AI提速25%,10月28日预购

M6版MacBook Pro发布:端侧AI提速25%,10月28日预购

AI资讯
AI导航 10 次阅读
Block Dessa语音模型发布:不转文字、只听人声就学会说话,MacBook本地就能跑

Block Dessa语音模型发布:不转文字、只听人声就学会说话,MacBook本地就能跑

AI资讯
AI导航 11 次阅读