多模态融合，大模型时代下的智能硬件新玩法
内容提要
小米SU7发布会介绍了多模态交互方案，结合车辆位置和摄像头实现感知多模态融合和实时语音交互。使用端侧轻量级AI+云端大模型结合的方式，通过硬件端进行图像采集和语音交互的预处理，再通过网络传到云端进行进一步处理。开发者可使用聆思CSK6大模型开发板配套的SDK进行开发。聆思平台是为大模型开发设计的云平台，提供定制大模型应用和产品管理功能。
关键要点
-
小米SU7发布会介绍了多模态交互方案，结合车辆位置和摄像头实现感知多模态融合和实时语音交互。
-
使用端侧轻量级AI与云端大模型结合的方式进行图像采集和语音交互的预处理。
-
开发者可使用聆思CSK6大模型开发板配套的SDK进行开发，方便实现多模态交互应用。
-
开发者可以通过简单的四步操作完成一个具备拍照识图和语音交互功能的大模型开发板DEMO。
-
SDK业务流程包括语音或视觉信息的预处理、云端分析和后处理，最终生成适合开发板执行的内容。
-
聆思平台为大模型开发提供全链路支持，允许定制应用和产品管理功能。
-
聆思科技专注于智能终端系统级芯片，推出的CSK6系AI芯片已适配Zephyr RTOS。
延伸问答
小米SU7的多模态交互方案是如何实现的？
小米SU7的多模态交互方案结合车辆位置和摄像头，通过端侧轻量级AI与云端大模型的方式进行感知和实时语音交互。
开发者如何使用聆思CSK6大模型开发板进行开发？
开发者可以使用配套的SDK，通过简单的四步操作完成具备拍照识图和语音交互功能的大模型开发板DEMO。
聆思平台提供哪些功能？
聆思平台为大模型开发提供全链路支持，允许定制应用、产品管理功能，如固件OTA和设备白名单管理。
多模态交互的SDK业务流程是怎样的？
SDK业务流程包括语音或视觉信息的预处理、云端分析和后处理，最终生成适合开发板执行的内容。
聆思科技的CSK6系AI芯片有什么特点？
聆思科技的CSK6系AI芯片专注于智能终端系统级芯片，已适配Zephyr RTOS，支持多种端侧AI能力。
如何实现多模态交互的拍照识图和语音功能？
通过将多模态DEMO固件烧录到开发板，并输入WiFi账号密码后，重新上电即可使用拍照识图和语音交互功能。
