Eclipse Aerospace与Databricks合作开发PySpark自定义数据源连接器，将专有飞行数据格式直接接入Spark。该方案以Python为控制层、Rust负责高性能解码，并通过Apache Arrow实现零拷贝数据传输。相比原先经AWS Lambda转Avro的多阶段流程，新连接器可在Serverless上直接读取原始文件，显著降低延迟、存储与运维成本，提升可观测性，使近20年、超3TB飞行数据更易分析。