在Snap!中使用MediaPipe
内容提要
本文介绍了如何在Snap!中使用MediaPipe库，利用其AI和机器学习功能实现手势识别和手部标记绘制。Snap!的交互特性使数据探索更直观，并支持与MicroBlocks设备的互操作性，增强边缘设备的计算能力。
延伸解读
动态导入：无需平台更新的扩展方式
文章强调，通过JavaScript的import()动态导入MediaPipe模块，所有工作都在Snap!项目中完成，无需更新Snap!平台或开发者介入。这意味着普通用户也能自行扩展AI能力，体现了终端用户编程的理念。这种做法的好处是灵活且即时，但依赖外部CDN资源，若网络不稳定或资源被移除，可能影响功能可用性。
坐标转换与交互式数据探索
示例中，MediaPipe返回的手部关键点坐标以左上角为原点、y轴向下，而Snap!舞台坐标系不同，因此需要转换。作者选择用Snap!的画笔功能直接绘制原始数据，而非调用DrawingUtils，这样能利用Snap!的实时性，在程序运行时暂停并检查某一帧的数据，便于交互式观察和调试。
边缘计算与MicroBlocks的互操作性
文章指出，MediaPipe能充分利用手机或平板等边缘设备的算力，实现AI功能。Snap!又可通过BLE连接MicroBlocks设备，因此理论上可以用手机为微控制器提供计算能力，构建类似无线AI摄像头的应用。随着WebGPU标准化，Snap!有望进一步释放这些设备的潜力，但具体实现仍依赖硬件和网络条件。
Q&A
如何在Snap!中使用MediaPipe进行手势识别？
可以通过动态导入MediaPipe的JavaScript API，在Snap!中实现手势识别功能。
MediaPipe在Snap!中的主要优势是什么？
MediaPipe在Snap!中的主要优势是用户无需更新平台，所有操作都在用户环境中完成，便于普通用户扩展功能。
如何将MediaPipe的坐标系统转换为Snap!的坐标系统？
在绘制手部标记时，需要将MediaPipe的坐标系统（原点在左上角，y轴向下）转换为Snap!的坐标系统。
Snap!如何与MicroBlocks设备互操作？
Snap!可以通过BLE连接MicroBlocks设备，利用移动设备的计算能力为微控制器提供支持。
MediaPipe如何利用边缘设备的计算能力？
MediaPipe能够充分利用边缘设备的计算能力，支持在移动设备上实现AI功能。
在Snap!中如何使用绘图功能绘制手部标记？
可以使用Snap!的绘图功能，结合MediaPipe提供的手部坐标数据，绘制手部标记。
