聆思CSK6大模型语音视觉开发板接入AIUI技能实操(控制风扇开关)
内容提要
本文以大模型语音控制灯的开关为例,介绍了如何通过LSPlatform的云端编排功能加入AIUI技能,实现更丰富的产品功能。文章详细讲解了硬件准备、连接方式和代码修改步骤。同时,还解释了大模型语音接入AIUI实现风扇控制功能的云端配置和开发板对接LSPlatform云端应用绑定的步骤。
延伸解读
硬件连接的安全要点
文章特别提醒开发板引脚电压电流有限,风扇必须单独外接电源供电,不能直接由开发板驱动。同时使用续流二极管提供低阻抗路径,保护电路免受反向电压和电感储能释放的影响。连接时从二极管引出导线接GND和GPIO(本例为PA2)来模拟开关。这些细节关系到硬件安全,读者在实操时应严格遵循,避免损坏开发板或风扇。
端侧代码修改的关键步骤
端侧配置主要涉及两个文件:在设备树文件csk6_duomotai_devkit.overlay中新增风扇控制的GPIO引脚定义,以及在app_music_ctrl.c中增加头文件、宏定义、GPIO初始化函数和AIUI意图控制逻辑。代码通过判断aiui_ctrl_strings的值("1"打开,"0"关闭)来控制GPIO输出。此外,可选地在session_core.c中添加日志打印,便于调试云端下发的cjson数据。这些修改基于Zephyr-RTOS和现有SDK,开发者需熟悉设备树和GPIO操作。
云端编排的意图落域机制
云端流程通过语义改写、分类提示词和落域结果判断来处理用户意图。语义改写将多轮对话整合为完整问题,分类提示词则引导大模型将用户句子归为“风扇控制”、“画画”或“闲聊”等类别。落域结果决定后续分支,风扇控制链路经过前置处理、提示词、星火大模型和后置处理,其中提示词提取打开/关闭关键信息并转换为“1”或“0”,后置处理生成语音提示和控制指令消息。这种设计提升了自然语言处理的准确性。
设备绑定与鉴权流程
要让开发板与云端应用交互,需完成产品创建、应用绑定和设备ID导入。首先在LSPlatform创建产品,然后将云端应用与产品绑定。接着通过cskburn桌面工具读取设备ID,并在设备管理页面导入,平台仅对列表中的设备提供鉴权服务。最后将产品ID和密钥写入开发板固件,可通过串口终端发送set product_id和set secret_id指令,或扫描产品二维码。完成这些步骤后,设备才能正常进行大模型语音交互。
Q&A
如何准备硬件以实现风扇控制功能?
需要准备聆思CSK6大模型开发板和风扇,风扇需单独供电,开发板引脚电压电流有限。
如何连接开发板与风扇?
使用续流二极管引出导线,一根接GND,另一根接GPIO接口以模拟风扇开关。
在代码中如何修改以控制风扇?
需要在设备树中新增GPIO引脚,并在控制逻辑中增加风扇控制的指令意图。
如何编译和烧录固件?
在Windows PowerShell中输入编译命令,然后使用烧录命令将固件烧录到开发板。
如何在云端配置风扇控制功能?
登录LSPlatform创建新应用,导入示例工程文件以实现风扇控制功能。
设备ID在云端交互中有什么作用?
设备ID是唯一标识,需在设备管理页面导入以实现端云交互。