【Rust日报】2024-04-13
内容提要
Shiva是一个用Rust编写的开源项目，用于解析和生成任何类型的文档。它旨在为文档搜索引擎项目提取不同类型文档的文本。该项目使用Java库Apache Tika来解析文档。然而，这种解决方案存在一些缺点，如需要在每台计算机上安装Java和高内存要求。另一个提到的项目是FurDB，一个用Rust编写的玩具关系型数据库管理系统。它允许指定每列的位大小，优化数据存储。最后，介绍了一个针对SQLite的新jsonb格式的serde解析器，旨在提高效率和性能。
延伸解读
Shiva 的动机与权衡
Shiva 项目源于作者在开发文档搜索引擎时，发现 Rust 生态缺乏能解析所有类型文档的库。因此，他不得不调用 Java 的 Apache Tika，但这带来了两个主要缺点：需要在每台机器上安装 Java，以及 Tika 的高内存占用（部分因为 JVM 的垃圾回收效率不高）。Shiva 试图用 Rust 原生解决文档解析问题，但文章未说明其是否已完全替代 Tika 或仍依赖 Java。
FurDB 的定位与学习价值
FurDB 是一个用 Rust 编写的玩具关系型数据库管理系统，其特点是允许指定每列的位大小，从而精确控制每行占用的存储空间。例如，两列分别占 5 位和 3 位时，每行恰好消耗 1 字节。作者明确表示这是为了学习 Actix、Clap、BitVec 和 Rust 而做的项目，并非生产级数据库。它展示了在 Rust 中进行底层数据布局优化的可能性，但文章未涉及性能基准或实际应用场景。
serde-sqlite-jsonb 的效率改进
serde-sqlite-jsonb 是一个新的 Rust 库，针对 SQLite 最近引入的 JSONB 列格式，提供直接的序列化和反序列化到 Rust 数据结构的能力。它消除了从 JSONB 到 JSON 再到目标数据结构的双重转换，从而提升效率和性能。文章没有给出具体的性能数据或与其他方案的对比，但指出了减少转换步骤这一核心优化点。对于使用 SQLite 并需要处理 JSONB 的 Rust 开发者，这个库可能减少中间开销。
Q&A
Shiva项目的主要功能是什么？
Shiva是一个用Rust编写的开源项目，旨在解析和生成各种类型的文档，特别是为文档搜索引擎提取文本。
Shiva项目使用了哪些技术？
Shiva项目使用了Java库Apache Tika进行文档解析，但由于高内存要求和需要安装Java，存在一些缺点。
FurDB是什么，它的目的是什么？
FurDB是一个用Rust编写的玩具关系型数据库管理系统，旨在学习Rust及相关技术，并允许指定每列的位大小以优化数据存储。
新开发的serde-sqlite-jsonb库有什么优势？
serde-sqlite-jsonb库旨在提高SQLite JSONB列的序列化和反序列化效率，消除双重转换，从而提升性能。
Shiva项目面临哪些主要问题？
Shiva项目面临的主要问题是需要在每台计算机上安装Java和高内存要求，这影响了其使用效率。
FurDB如何优化数据存储？
FurDB允许用户指定每列的位大小，从而优化数据存储，确保每行数据的内存使用最小化。
