Xuanwo的愿景:数据自由

💡 原文英文,约700词,阅读约需3分钟。
📝

内容提要

作者对数据自由的愿景,希望创建一个生态系统,让用户能够以任何方式、任何语言访问任何数据。作者专注于使用Rust重写大数据项目,并计划将所有项目开源。作者希望与有相同愿景的公司和个人合作。作者对多个开源项目的贡献,并欢迎与他合作。作者正在学习英语,希望能与他人进行英语交流。

🔎

延伸解读

数据自由愿景的四个维度

作者将数据自由定义为四个“任何”:任何格式、任何服务、任何方法、任何语言。这并非单一技术目标,而是覆盖数据访问全链路的生态系统愿景。从JSON到Parquet,从S3到MySQL,从SQL到FUSE,从Rust到WASM,每个维度都意味着巨大的集成与抽象工作。理解这一框架,有助于判断具体项目在整体愿景中的位置。

为何选择Rust重写大数据项目

作者提出RBIR(Rewriting Bigdata in Rust),认为Rust是实现愿景的正确选择。尽管承认Rust有不足,但他看重其作为核心、再通过绑定扩展至Python、Node.js、Java等语言的能力。同时,他直言不喜欢Java和Go,认为仅提供Java或Go客户端的服务难以使用,甚至需要先用Rust重写客户端。这反映了其对技术栈的明确取舍。

开源是唯一路径

作者强调所有项目都将开源,并认为开源是实现愿景的唯一方式。他判断私有商业产品无法影响超过一百万用户,而持续构建开源项目才能改变世界。因此,他选择与愿景一致的公司合作,如Databend Labs,并参与opendal、iceberg-rust、paimon-rust、arrow-rs、fury-rs等项目。这体现了其以开源协作推动长期目标的策略。

长期主义与协作邀请

作者坦言愿景可能无法在自己这一代或一生中实现,但愿意为此投入一生。他欢迎志同道合者联系合作,并列出具体场景:若项目与愿景一致且有意进入Apache孵化器,可联系他;若想学习Rust并加入RBIR,也可联系。此外,他正在练习英语,希望进行英语交流。这显示其开放协作的态度,也提示合作需匹配具体方向。

❓

Q&A

作者的愿景是什么?

作者的愿景是数据自由,创建一个生态系统,让用户能够以任何方式、任何语言访问任何数据。

用户如何访问数据?

用户可以通过任何格式、任何服务、任何方法和任何编程语言访问数据。

作者为什么选择Rust作为开发语言?

作者认为Rust是实现其愿景的正确选择,尽管Rust有一些缺点,但他仍然热爱Rust。

作者参与了哪些开源项目?

作者参与了opendal、iceberg-rust、paimon-rust等多个开源项目。

作者希望与哪些公司合作?

作者希望与有相同愿景的公司合作,例如Databend Labs。

作者目前在学习什么?

作者正在学习英语,希望能与他人进行英语交流。

🏷️

标签

➡️

继续阅读