全部文章标签

边缘AI

边缘 AI 把模型推理搬到离用户最近的硬件:车机、手机、摄像头本地运算,低延迟、保隐私,断网也能工作。

专题介绍

边缘 AI 指在终端或本地服务器上直接运行 AI 模型,而不是把数据发到云端。好处是延迟低、隐私好、断网可用,代价是对芯片算力要求高。SoundHound 的 OASYS Edge、各类端侧大模型都在押注这条路线。这里汇总边缘推理的芯片、模型与落地产品。

模型量化是什么意思?把大模型变小变快为什么不明显变笨

模型量化是什么意思?把大模型变小变快为什么不明显变笨

AI百科
AI导航 20 次阅读
EmbeddingGemma 2 发布:Google 开源多模态嵌入模型可按需裁剪

EmbeddingGemma 2 发布:Google 开源多模态嵌入模型可按需裁剪

AI资讯
AI导航 27 次阅读
Meta 开源 Muse Gadgets:用 ESP32 和树莓派给智能体造硬件

Meta 开源 Muse Gadgets:用 ESP32 和树莓派给智能体造硬件

AI资讯
AI导航 23 次阅读
Google 联邦学习换上可信执行环境:Gboard 已部署,隐私保证可以被外部查

Google 联邦学习换上可信执行环境:Gboard 已部署,隐私保证可以被外部查

AI资讯
AI导航 8 次阅读
Cloudflare 开源 Clef 决策模型,27B 与 9B 双版本并推出 RL 微调平台

Cloudflare 开源 Clef 决策模型,27B 与 9B 双版本并推出 RL 微调平台

AI资讯
AI导航 28 次阅读
SoundHound 发布 OASYS Edge:语音智能体装进车机本地,断网也能多步办事

SoundHound 发布 OASYS Edge:语音智能体装进车机本地,断网也能多步办事

AI资讯
AI导航 31 次阅读