Edge AI (エッジ AI) は、 クラウドのデータセンターではなく、 デバイス (ロボット / 監視カメラ / 補聴器 / 工場設備) 側で AI 推論を実行する形態。
なぜ重要か
- 遅延: ネットワーク往復ではなく数ミリ秒で応答できる (制御・運転・補聴器など必須要件)
- 通信量: 連続動画ストリームをクラウドに送らずに済む
- プライバシー: 個人映像・音声がデバイスから出ない
- オフライン耐性: ネットワーク断でも動く
技術スタック
- ハード: NVIDIA Jetson、 Qualcomm RB6、 Apple Neural Engine、 Hailo-8、 Coral Edge TPU
- ソフト: TensorRT / CoreML / ONNX Runtime / Cloudflare Workers AI / llama.cpp 系
- 量子化 (INT8 / INT4)・蒸留・LoRA で巨大モデルを縮小して載せる
限界
- モデルサイズと電力の制約
- アップデートとモデルガバナンスの設計が必要 (端末ごとに学習する場合)