边缘AI
边缘 AI 把模型推理搬到离用户最近的硬件:车机、手机、摄像头本地运算,低延迟、保隐私,断网也能工作。
专题介绍
边缘 AI 指在终端或本地服务器上直接运行 AI 模型,而不是把数据发到云端。好处是延迟低、隐私好、断网可用,代价是对芯片算力要求高。SoundHound 的 OASYS Edge、各类端侧大模型都在押注这条路线。这里汇总边缘推理的芯片、模型与落地产品。
模型量化是什么意思?把大模型变小变快为什么不明显变笨
AI百科 AI导航 20 次阅读
EmbeddingGemma 2 发布:Google 开源多模态嵌入模型可按需裁剪
AI资讯 AI导航 27 次阅读
Meta 开源 Muse Gadgets:用 ESP32 和树莓派给智能体造硬件
AI资讯 AI导航 23 次阅读
Google 联邦学习换上可信执行环境:Gboard 已部署,隐私保证可以被外部查
AI资讯 AI导航 8 次阅读
Cloudflare 开源 Clef 决策模型,27B 与 9B 双版本并推出 RL 微调平台
AI资讯 AI导航 28 次阅读
SoundHound 发布 OASYS Edge:语音智能体装进车机本地,断网也能多步办事
AI资讯 AI导航 31 次阅读