【多模态大模型示例】借助星火大模型用语音控制电梯功能
💡
原文中文，约9700字，阅读约需24分钟。
📝
内容提要
LLM_control是开发套件出厂自带的综合示例，用于实现语音控制电梯的功能。用户可以通过语音控制电梯所到的楼层。开发板负责语音的采集、上传、接收云平台的处理结果，并播放语音和显示结果。代码修改主要在AIUI_ZBUS_NLP部分，提取并解析value字段的值。界面显示部分使用LVGL库实现，显示当前楼层。
🎯
关键要点
- LLM_control是开发套件自带的示例，用于实现语音控制电梯功能。
- 用户可以通过语音控制电梯到达指定楼层，开发板负责语音采集和结果显示。
- 整体架构包括下载、播放、存储和界面显示模块。
- 核心代码在consumer_thread线程中，处理云端数据。
- AIUI_ZBUS_NLP部分处理云端大模型识别结果。
- 语音控制电梯功能的在线编排允许用户通过语音指令控制电梯。
- 流程设计分为语音交互和意图识别两个主要部分。
- 分类提示词用于将用户语音命令归类为不同任务。
- 电梯控制提示词提取用户命令中的目标楼层。
- 代码修改包括前置和后置代码，确保功能正常。
- 设备端处理通过修改LLM_control示例实现云平台返回结果的处理。
- 终端处理逻辑主要在consumer_thread中，解析云端返回的数据。
- 增加显示功能通过LVGL库实现，显示当前电梯楼层。
- 界面显示部分在独立线程中运行，使用LVGL控件更新楼层信息。
- 系统字体用于显示电梯层数，需在配置文件中进行设置。
❓
延伸问答
如何通过语音控制电梯到达指定楼层？
用户可以通过语音指令，例如“到4层”，来控制电梯到达指定楼层，开发板负责语音采集和结果显示。
LLM_control示例的主要功能是什么？
LLM_control是一个开发套件自带的示例，用于实现语音控制电梯的功能。
电梯控制的提示词设计有什么重要性？
提示词设计能帮助大模型更好地理解用户的语音命令，从而提高分类和识别的准确性。
如何修改代码以实现电梯控制功能？
需要在AIUI_ZBUS_NLP部分修改代码，添加前置和后置处理代码，以确保电梯控制功能正常运行。
设备端如何处理云平台返回的结果？
设备端通过consumer_thread线程解析云端返回的数据，提取并处理value字段的值。
如何在界面上显示当前电梯楼层？
通过LVGL库实现界面显示，使用ui_set_layer函数更新显示的楼层信息。
🏷️
标签
➡️
