多模态融合，大模型时代下的智能硬件新玩法
💡
原文中文，约1600字，阅读约需4分钟。
📝
内容提要
小米SU7发布会介绍了多模态交互方案，结合车辆位置和摄像头实现感知多模态融合和实时语音交互。使用端侧轻量级AI+云端大模型结合的方式，通过硬件端进行图像采集和语音交互的预处理，再通过网络传到云端进行进一步处理。开发者可使用聆思CSK6大模型开发板配套的SDK进行开发。聆思平台是为大模型开发设计的云平台，提供定制大模型应用和产品管理功能。
🎯
关键要点
- 小米SU7发布会介绍了多模态交互方案，结合车辆位置和摄像头实现感知多模态融合和实时语音交互。
- 使用端侧轻量级AI与云端大模型结合的方式进行图像采集和语音交互的预处理。
- 开发者可使用聆思CSK6大模型开发板配套的SDK进行开发，方便实现多模态交互应用。
- 开发者可以通过简单的四步操作完成一个具备拍照识图和语音交互功能的大模型开发板DEMO。
- SDK业务流程包括语音或视觉信息的预处理、云端分析和后处理，最终生成适合开发板执行的内容。
- 聆思平台为大模型开发提供全链路支持，允许定制应用和产品管理功能。
- 聆思科技专注于智能终端系统级芯片，推出的CSK6系AI芯片已适配Zephyr RTOS。
➡️
