【多模态大模型示例】借助星火大模型用语音控制电梯功能
💡
原文中文，约9700字，阅读约需24分钟。
📝
内容提要
LLM_control是开发套件出厂自带的综合示例，用于实现语音控制电梯的功能。用户可以通过语音控制电梯所到的楼层。开发板负责语音的采集、上传、接收云平台的处理结果，并播放语音和显示结果。代码修改主要在AIUI_ZBUS_NLP部分，提取并解析value字段的值。界面显示部分使用LVGL库实现，显示当前楼层。
🎯
关键要点
- LLM_control是开发套件自带的示例，用于实现语音控制电梯功能。
- 用户可以通过语音控制电梯到达指定楼层，开发板负责语音采集和结果显示。
- 整体架构包括下载、播放、存储和界面显示模块。
- 核心代码在consumer_thread线程中，处理云端数据。
- AIUI_ZBUS_NLP部分处理云端大模型识别结果。
- 语音控制电梯功能的在线编排允许用户通过语音指令控制电梯。
- 流程设计分为语音交互和意图识别两个主要部分。
- 分类提示词用于将用户语音命令归类为不同任务。
- 电梯控制提示词提取用户命令中的目标楼层。
- 代码修改包括前置和后置代码，确保功能正常。
- 设备端处理通过修改LLM_control示例实现云平台返回结果的处理。
- 终端处理逻辑主要在consumer_thread中，解析云端返回的数据。
- 增加显示功能通过LVGL库实现，显示当前电梯楼层。
- 界面显示部分在独立线程中运行，使用LVGL控件更新楼层信息。
- 系统字体用于显示电梯层数，需在配置文件中进行设置。
🏷️
标签
➡️
