边缘AI
边缘 AI 把模型推理搬到离用户最近的硬件:车机、手机、摄像头本地运算,低延迟、保隐私,断网也能工作。
专题介绍
边缘 AI 指在终端或本地服务器上直接运行 AI 模型,而不是把数据发到云端。好处是延迟低、隐私好、断网可用,代价是对芯片算力要求高。SoundHound 的 OASYS Edge、各类端侧大模型都在押注这条路线。这里汇总边缘推理的芯片、模型与落地产品。
边缘 AI 把模型推理搬到离用户最近的硬件:车机、手机、摄像头本地运算,低延迟、保隐私,断网也能工作。
边缘 AI 指在终端或本地服务器上直接运行 AI 模型,而不是把数据发到云端。好处是延迟低、隐私好、断网可用,代价是对芯片算力要求高。SoundHound 的 OASYS Edge、各类端侧大模型都在押注这条路线。这里汇总边缘推理的芯片、模型与落地产品。