Xuanwo的愿景:数据自由
内容提要
作者对数据自由的愿景,希望创建一个生态系统,让用户能够以任何方式、任何语言访问任何数据。作者专注于使用Rust重写大数据项目,并计划将所有项目开源。作者希望与有相同愿景的公司和个人合作。作者对多个开源项目的贡献,并欢迎与他合作。作者正在学习英语,希望能与他人进行英语交流。
延伸解读
数据自由愿景的四个维度
作者将数据自由定义为四个“任何”:任何格式、任何服务、任何方法、任何语言。这并非单一技术目标,而是覆盖数据访问全链路的生态系统愿景。从JSON到Parquet,从S3到MySQL,从SQL到FUSE,从Rust到WASM,每个维度都意味着巨大的集成与抽象工作。理解这一框架,有助于判断具体项目在整体愿景中的位置。
为何选择Rust重写大数据项目
作者提出RBIR(Rewriting Bigdata in Rust),认为Rust是实现愿景的正确选择。尽管承认Rust有不足,但他看重其作为核心、再通过绑定扩展至Python、Node.js、Java等语言的能力。同时,他直言不喜欢Java和Go,认为仅提供Java或Go客户端的服务难以使用,甚至需要先用Rust重写客户端。这反映了其对技术栈的明确取舍。
开源是唯一路径
作者强调所有项目都将开源,并认为开源是实现愿景的唯一方式。他判断私有商业产品无法影响超过一百万用户,而持续构建开源项目才能改变世界。因此,他选择与愿景一致的公司合作,如Databend Labs,并参与opendal、iceberg-rust、paimon-rust、arrow-rs、fury-rs等项目。这体现了其以开源协作推动长期目标的策略。
长期主义与协作邀请
作者坦言愿景可能无法在自己这一代或一生中实现,但愿意为此投入一生。他欢迎志同道合者联系合作,并列出具体场景:若项目与愿景一致且有意进入Apache孵化器,可联系他;若想学习Rust并加入RBIR,也可联系。此外,他正在练习英语,希望进行英语交流。这显示其开放协作的态度,也提示合作需匹配具体方向。
Q&A
作者的愿景是什么?
作者的愿景是数据自由,创建一个生态系统,让用户能够以任何方式、任何语言访问任何数据。
用户如何访问数据?
用户可以通过任何格式、任何服务、任何方法和任何编程语言访问数据。
作者为什么选择Rust作为开发语言?
作者认为Rust是实现其愿景的正确选择,尽管Rust有一些缺点,但他仍然热爱Rust。
作者参与了哪些开源项目?
作者参与了opendal、iceberg-rust、paimon-rust等多个开源项目。
作者希望与哪些公司合作?
作者希望与有相同愿景的公司合作,例如Databend Labs。
作者目前在学习什么?
作者正在学习英语,希望能与他人进行英语交流。