【实战多模态大模型】基于CSK6-MIX开发板实现的智能积木平台

💡 原文中文,约13200字,阅读约需32分钟。
📝

内容提要

这篇文章介绍了基于CSK6-MIX开发套件的智能电子积木平台的功能。通过串口连接到积木块探测模块,获取积木功能块编号,并发送到云端进行处理。文章还介绍了前期调研、外设驱动开发、端云交互链路协议开发、在线编排等内容。硬件准备和连接、功能开发、主逻辑处理等也有详细说明。文章最后提到了在线编排的调试输出和功能测试。

🔎

延伸解读

硬件连接与引脚配置要点

积木块探测模块通过UART与CSK6-MIX通信,需将探测模块的TX接GPIOA_09、RX接GPIOA_08,并在设备树中正确配置引脚复用和波特率115200。按键K3连接GPIOB_00,用于触发发送积木编号。硬件连接错误会导致串口通信失败,因此需仔细核对原理图。

端云数据交互的实现方式

设备端通过修改AIUI组件,新增aiui_send_custom_data函数,将积木编号以自定义JSON字段发送至云端。云端在线编排利用node-red解析该字段,并匹配预设的功能块逻辑。这种设计允许开发者灵活扩展自定义数据,但需确保设备端与云端的数据格式一致,否则解析会失败。

在线编排的低代码优势与调试

聆思平台提供基于node-red的在线编排,通过拖拽节点即可完成多模态逻辑,如落域判断、编号处理和语音合成。调试时可用debug节点实时查看数据流,快速定位问题。这种低代码方式降低了开发门槛,但复杂逻辑仍需编写JavaScript代码,适合快速原型验证。

当前原型的功能与后续计划

该智能积木平台已实现积木编号检测、云端处理和语音反馈,但积木功能块目前仅通过Type-C供电,尚未接入实际传感器数据。作者计划后续完善功能模块,提供真实数据,以达到实用阶段。因此,当前版本更适合作为技术验证,而非最终产品。

❓

Q&A

CSK6-MIX开发套件的智能电子积木平台有哪些主要功能?

该平台通过串口连接积木块探测模块,获取功能块编号并发送到云端处理,支持语音播放和功能执行。

如何实现积木块的功能块编号检测?

通过串口输出信息,积木块探测模块检测到连接的积木块后,会输出编号信息。

在线编排功能是如何提升开发效率的?

在线编排功能通过node-red实现,允许低代码方式拖拽功能块,大大提高了开发效率。

在开发过程中需要哪些硬件设备?

需要CSK6-MIX开发套件、ESP32-C3和原始积木,ESP32-C3用于积木块探测和功能块。

如何进行功能开发和逻辑处理?

功能开发涉及AIUI组件的修改和设备树的定义,主逻辑处理通过按键触发发送功能块编号到云端。

项目的后续计划是什么?

后续将进一步完善功能,接入实际使用的功能模块,达到可实际使用的阶段。

🏷️

标签

➡️

继续阅读