MCP Server OpenDAL是为Apache OpenDAL™设计的模型上下文协议服务器,简化了不同AI模型的上下文管理,便于开发者集成。OpenDAL支持多种存储服务,实现无缝数据访问,促进AI工具与存储服务的互动。该项目仍在早期阶段,未来发展值得期待。
欢迎新成员xxchan加入OpenDAL社区。他曾在BeyondStorage项目中与我共事,近期开始为OpenDAL贡献代码并修复问题。祝他在OpenDAL的贡献愉快!
OpenDAL正在迁移到GitHub Actions缓存服务(GHAC),该服务允许用户访问GitHub缓存。虽然GHAC不是公共API,但OpenDAL通过研究相关代码实现了集成。GitHub团队提供了支持和proto定义,用户需尽快进行代码更改,以避免在2025年2月13日后出现存取失败。
Apache OpenDAL v0.51.0 发布,这是我负责的第三个版本,副标题为“向真实的我们致谢”。该版本灵感来源于《Angel Beats!》中的歌曲《My Song》,传达了角色们在逆境中坚持与希望的故事,表达了对生活的感激之情。
在GreptimeDB中,使用OpenDAL作为统一的数据访问层。最近,一位同事告诉我,执行Copy From语句从S3导入一个800 KiB的Parquet文件需要10秒。经过一些调查和对OpenDAL文档和实现的审查,我在这里记录并简要总结了我们的发现。OpenDAL的IO操作都围绕着Operator展开,Operator是在main.rs中构建的。OperatorBuilder::new函数中添加了ErrorContextLayer和CompleteLayer两个层,最后调用finish函数。在Copy From场景中,没有添加LruCacheLayer层。在ParquetRecordBatchStream的构造中,使用了BufReader,但实际上是多余的。在RangeReader中,每次调用seek都会重置内部状态,并在下一次read调用时发起新的远程请求。这导致了性能问题。
OpenDAL是一个数据访问层,用于从各种存储服务中检索非结构化数据。它支持PostgreSQL、MySQL和SQLite,并计划添加对SurrealDB和MongoDB的支持。
OpenDAL是一个Apache Incubator项目,旨在帮助用户以统一的方式访问各种存储服务。OpenDAL的数据读取调用栈包括Operator、Layers和Services。通过这三层设计,用户可以轻松地访问任意存储服务中的数据。
本文介绍了如何通过去除额外的复制开销将 OpenDAL KV 性能提升 1000%。作者提出了新的 Typed Kv Adapter,引入自行设计的 Value 结构体,存储支持零开销复制的 Bytes 而不是 Vec<u8>,使得 Adapter 不需要额外的复制就能够读写数据。作者将一个 service 从 kv::Adapter 迁移到了 typed_kv::Adapter,性能提升显著。最低的 read 提升了 10%,最高的提升达到了 1519.8%;write 部分在 service_moka_write_once/16.0 MiB 上取得了 166323% 的性能提升。
OpenDAL 将用户文档和 API 文档合并到代码中,解决了维护麻烦、互相引用困难、无法版本化等问题,并介绍了实践文档即代码的一些实用小技巧。如果项目的用户文档和 API 文档的读者群完全重叠,可以尝试这种方案,解决文档分裂的体验问题。
最近特别开心! 在周报 2022-45: 使用 sccache 加快 Rust 编译速度 的末尾,我提到希望能把 sscache 的存储后端...
最近在为 Apache OpenDAL 实现新功能的时候越来越感觉现有的错误处理逻辑能力捉襟见肘,于是花了不少时间重新设计了一套全新的错误处...
OpenDAL的错误处理实践旨在提供统一的错误结构,帮助用户识别和处理不同类型的错误。通过重新设计错误类型,引入错误状态和上下文信息,用户能够更有效地调试和处理错误。设计强调区分预期和意外错误,避免重复包装错误,提升用户体验。
Apache OpenDAL 在最近的版本中增加了 Adapter 的概念,将 OpenDAL 支持的服务范围从传统的文件系统和对象存储扩展...
最近在社区同学 @xprazak2 的帮助下为 Apache OpenDAL 增加了 IPFS 支持。 具体的来说是两个 Service: ...
本文介绍了新开发的 reqsign 工具,旨在简化用户请求的签名过程,避免依赖复杂的 SDK。reqsign 支持 AWS SigV4,提升了操作效率。opendal 已成功切换至 reqsign,减少了多个依赖,未来计划支持 Azure 存储和 OAuth2。
2022年2月,opendal正式开源,成为databend项目的存储底座。尽管初期性能不佳,吞吐量降至1%,经过调试后最终达到了预期性能。作者强调RFC流程的重要性,认为记录想法有助于项目的长期发展和社区交流。
完成下面两步后,将自动完成登录并继续当前操作。