使用 Amazon Glue 完成 SMT 贴片机日志数据 ETL 处理
内容提要
SMT（表面贴装技术）是离散制造业中的一项关键技术，通过将电子元件直接贴装在印刷电路板上，提高了产品的可靠性和生产效率。SMT广泛应用于各类电子设备和产品中。文章介绍了一个SMT产线的数据处理流程，包括数据采集、ETL、机器学习模型训练等步骤。使用Python Shell处理数据效率低，而使用PySpark可以在30分钟内完成每日数据处理任务。通过多个Glue作业并行执行，可以在2天内处理一年的历史数据。
延伸解读
从 Shell 到 PySpark：效率提升的关键
文章对比了 Python Shell 和 PySpark 两种引擎处理 SMT 贴片机日志的效率。使用 Python Shell 处理一天的数据需要 6-7 小时，而 PySpark 仅需 20-30 分钟。这种差异主要源于 PySpark 的分布式计算能力，尤其适合处理每天 1-2 万个文件的大规模数据。对于需要 2-3 年历史数据训练模型的场景，Shell 方式效率极低，PySpark 则能显著缩短处理时间。
云边协同架构的设计思路
文章介绍了云边结合的架构：边缘端负责数据采集和模型推理，云端负责 ETL 和模型训练。生产线控制器每 5 分钟将日志传输到网关服务器，网关服务器每 10 分钟上传到 S3。这种设计既保证了数据实时性，又利用了云端的弹性计算资源。模型训练完成后，工件存储回 S3，再由网关服务器下载用于边缘推理，形成闭环。
实施中的技术细节与注意事项
在实施过程中，文章提到几个关键点：使用 Python Shell 时，需手动上传自定义 Pandas 库以支持 json_normalize 方法；使用 PySpark 时，需配置 Hadoop 参数避免生成 _$folder$ 文件，并正确设置 S3 端点。此外，建议将 CSV 转换为 Parquet 格式以提升查询效率，在 Athena 中查询时需注意 INSTR 函数不支持，应改用 STRPOS。这些细节对实际部署有重要参考价值。
Q&A
SMT技术在制造业中的作用是什么？
SMT技术通过将电子元件直接贴装在印刷电路板上，提高了产品的可靠性和生产效率。
如何使用Amazon Glue进行数据ETL处理？
使用Amazon Glue可以通过Glue Workflow对日志进行ETL，转换文件格式、清理数据并保存结果到S3。
为什么使用PySpark处理数据比Python Shell更有效？
使用PySpark处理数据效率高，处理一天的数据仅需20-30分钟，而Python Shell需要6-7小时。
SMT贴片机每天产生多少日志数据？
每台SMT贴片机每天产生1-2GB的操作和状态日志，三台机器合计约3-6GB。
将CSV文件转换为Parquet格式有什么好处？
Parquet格式是一种列式存储格式，相比CSV可以显著提升查询效率。
如何实现设备的预测性维护？
通过将SMT贴片机的日志数据ETL后用于机器学习模型训练，可以实现设备的预测性维护。
