本文讨论了量化特征仓库的构建,强调时间正确性(PIT)和版本管理的重要性。特征存储需解决复用、版本化和训练-服务一致性的问题,避免数据修订导致的回测失效。采用双时间维度模型,确保在任意历史时刻能准确还原特征值。文章还介绍了特征存储的技术选型及工程实现,强调监控和回填机制的重要性,以确保数据的可靠性和一致性。
公司在游戏中接入微软小冰AI聊天功能,初期使用MySQL存储聊天记录。随着数据量激增,决定限制每位玩家最多保存900条记录,并定期清理。为应对数据增长,计划按注册时间分表存储,并将不活跃玩家的数据迁移至便宜存储。同时,需定期释放MySQL表空间,并独立存储标记聊天记录以便分析。
为了安全存储图片,避免因平台监管导致内容丢失,作者使用Cloudflare的R2作为图床,解决了GitHub的存储限制和访问问题。通过创建bucket和配置,结合pic-go上传,实现了安全的图片存储。
DeepSeek V4论文指出,算力、带宽、互联和存储需同步增长。英伟达通过FP4、HBM4等技术提前布局,以满足模型需求。算力与带宽的平衡至关重要,以避免资源浪费。未来,随着模型规模扩大,通信和存储层级将继续演化,推动芯片升级,确保数据流动效率。
苹果发布了iOS 26.4.2和18.7.8版本,修复了FBI通过通知存储数据库提取Signal应用加密消息的漏洞。用户应禁用通知预览以保护隐私。
ShockHosting是一家成立于2013年的美国主机商,提供低价KVM VPS服务。其核心产品为1核2G内存、30G存储、2TB流量的VPS,月付约4.99美元,支持多达10个机房选择,适合预算有限的用户。
存储工程在介质约束、成本和一致性之间存在取舍。文章分析了HDD、SSD、NVMe等多种存储技术的性能、可靠性和成本,并提供了选型决策框架和存储架构设计方法。
Redis推出了全新的Feature Form,这是一个完整的特征存储管理平台,旨在提升机器学习团队的生产效率。它涵盖特征生命周期的各个阶段,减少训练与服务之间的差异和操作开销,确保生产环境中的安全性和可靠性,适用于欺诈检测和个性化推荐等应用场景。
B+树和LSM树是两种主要的数据结构,分别代表原地更新和追加写入的存储方式。B+树优化读取和空间,但写放大较高;LSM树优化写入,但读取和空间放大较高。RUM猜想表明,无法在读、写和空间放大上同时达到最优。B+树适合OLTP场景,而LSM树在写入密集型应用中表现更好。选择存储引擎时需考虑具体应用需求。
文章介绍了“Artifacts”,一种为代理设计的分布式版本文件系统,旨在满足代码生成需求。它支持通过REST API和原生Workers API管理Git仓库,允许代理在无缝环境中操作,并提供快速克隆大型Git仓库的功能,优化存储和操作效率。目前该系统处于私有测试阶段,预计2026年5月开放公测。
德明利在香港环球资源电子展上展示了全栈AI存储方案,重点在消费电子应用,产品包括支持PCIe 5.0的M.2 SSD和DDR5内存,读取速度高达14GB/s。此外,CUSU酷硕推出多种面向电竞和内容创作的存储产品。
在云原生和微服务架构中,Microsoft Orleans框架通过虚拟Actor模型简化了分布式应用的构建。本文探讨了用户管理、消息管理和对象存储三个模块,展示了高内聚、低耦合的微服务设计。Orleans的Grain模型支持模块化设计,提供弹性和扩展性,适合构建现代化应用。
本文介绍了如何将Google Drive转化为S3兼容存储,利用Cloudflare的Workers服务实现国内流畅访问。通过配置Google API和rclone,用户可以创建存储容器,方便存储和共享文件。教程详细说明了获取API Token、配置Cloudflare Worker及设置优选IP等步骤,适合需要图床存储的用户。
frp 是一款跨平台的内网穿透工具,支持 Windows、macOS 和 Linux。它需要一台固定公网 IP 的电脑或 VPS,支持 HTTPS 和小程序开发。v0.64.0 更新了 tokenSource 支持,提升了安全性和稳定性。用户需配置服务器和客户端以远程访问内网资源,详细配置可参考官网。
时序数据库(TSDB)专为处理大量时序数据而设计,传统关系型数据库难以应对。时序数据按时间顺序记录,写入频繁、读取稀少。本文分析了时序数据的特征、编码压缩原理、存储引擎设计及降采样策略,并对主流TSDB(如InfluxDB、Prometheus、TimescaleDB)进行了架构对比,为监控与物联网场景提供参考。
Redis协议已成为key-value存储的标准。为实现强一致性,作者创建了coredb项目,采用Raft算法和RocksDB。Rockraft框架解耦核心逻辑,支持开发者构建强一致性存储系统,使用Rust开发,具备高性能和安全性,支持条件事务,持续进化中。
FBI 从 iOS 通知数据库提取 Signal 加密消息,解密后生成的通知预览会被缓存,删除消息后仍保留 30 天。用户应禁用锁屏通知预览以提高安全性。
在现代微服务架构中,配置管理面临快速变化的租户元数据和扩展性挑战。传统缓存策略存在过时数据和性能损失的问题。本文提出了一种可扩展的多租户配置服务架构,利用标记存储模式,通过动态路由请求到合适的AWS存储服务,确保租户隔离并支持实时更新,从而解决了缓存过时的问题。
磁带曾是备份首选,但容量过大。如今,硬盘价格上涨,蓝光光盘成为新选择。紫晶存储的BD-R光盘在淘宝上价格适中,且可正常使用,蓝光刻录机也已采购,适合长期存储数据。
PAX是一种旨在提升缓存性能的数据存储格式,通过将页面分割为小页面(minipages)来优化存储,支持固定和可变长度属性。尽管在Postgres中面临NULL值处理和MVCC兼容性等复杂性挑战,PAX的核心理念仍值得深入研究。
完成下面两步后,将自动完成登录并继续当前操作。