【外评】大数据已死
内容提要
大数据时代已经结束，数据规模并不是真正的问题所在。大多数人并没有真正的大数据。数据存储和计算分离，存储规模大于计算规模。分析工作负载处理的数据量比想象的要小。大数据前沿不断后退，大数据是一种负担。大多数人不需要担心大数据。
延伸解读
数据规模并非核心问题
文章指出，大多数人并没有真正的大数据，数据存储量普遍较小。作者在BigQuery工作时发现，绝大多数客户的总数据存储量低于1TB，中位数远低于100GB。行业分析师也反馈，绝大多数企业的数据仓库小于1TB。因此，数据规模并不是难以获得可行见解的根本原因，盲目追求处理海量数据的技术可能偏离实际需求。
存储与计算分离带来的影响
现代云数据平台将存储和计算分离，存储规模的增长速度远快于计算规模。例如，某大型零售商迁移到云后，数据量从100TB增长到30PB，但计算需求并未显著增加。这意味着，处理大规模数据并不一定需要大规模计算，甚至可能不需要分布式处理。这一架构变化对系统设计有实际影响，值得关注。
工作负载实际处理的数据量较小
分析工作负载处理的数据量通常小于预期。作者对BigQuery查询的分析显示，90%的查询处理的数据少于100MB。仪表盘通常基于汇总数据，查询往往集中在最近的数据上。此外，经济压力促使人们减少数据处理量，因为处理大量数据成本高昂。因此，优化查询以减少IO是降低成本和延迟的关键。
数据保留的成本与风险
保留数据可能成为负担，因为保存数据的成本高于存储物理字节的成本。法规如GDPR和CCPA要求跟踪数据使用并定期删除，否则可能违规。旧数据还可能增加法律风险，例如在诉讼中被利用。此外，数据可能因“比特腐烂”而难以理解。因此，定期评估保留数据的必要性，考虑聚合存储或删除，是降低成本和风险的有效方式。
Q&A
大数据时代为什么被认为已经结束？
大数据时代被认为结束是因为数据规模并不是主要问题，大多数人并没有真正的大数据，且分析工作负载处理的数据量通常小于预期。
现代云数据平台的一个重要变化是什么？
现代云数据平台将数据存储和计算分离，这是过去20年中数据架构发生的最重要变化。
大多数企业的数据存储量通常是多少？
绝大多数企业的数据存储量都低于1TB，很多企业的数据量甚至不到100GB。
大数据的定义是如何变化的？
大数据的定义逐渐退化，符合条件的工作负载数量减少，很多工作负载现在可以在单台机器上运行。
为什么数据可能成为负担？
数据可能成为负担是因为保存数据的成本高于丢弃数据的成本，且企业往往懒得删除不必要的数据。
大数据的使用是否普遍？
大数据的使用并不普遍，只有少数企业属于大数据的百分之一，大多数人不需要担心大数据。
