内容提要
数据管理涵盖数据仓库、商业智能、分析型存储、维度建模、指标与KPI、语义层、报表仪表盘、自助分析及大数据架构等技术。通过事实与维度组织数据,语义层统一指标定义,自助分析赋能用户。大数据应对海量数据的规模、速度与多样性,需分布式存储与处理。分析流程包括探索性分析、特征工程、实验与模型就绪数据,最终以数据产品形式交付,并依赖成熟度评估与组织治理。
延伸解读
数据管理不只是存储
文章强调,数据管理远不止存储和分析,还包括安全、质量、元数据、治理等多个方面。数据本身没有价值,只有经过妥善管理,才能转化为信息和知识,最终产生价值。例如,大学案例中,学生的“到校距离”只有结合其他数据并用于决策时,才成为资产。
数据生命周期以业务需求为起点
数据生命周期始于业务需求,而非技术选择。从规划、设计、获取、存储、使用、丰富到处置,每个阶段都应服务于业务目标。例如,大学为了提供出租车服务,需要规划收集学生住址,并设计相应的数据流和访问权限。生命周期并非线性,可能重复循环。
治理与伦理:数据使用的双保险
数据治理明确决策权和责任,而数据伦理则关注公平、透明和非歧视。例如,大学在决定奖学金时,若仅依据邮政编码,可能无意中造成歧视。因此,需要审查决策标准,确保公平,并对重大决策提供人工监督。
Q&A
什么是数据管理?
数据管理是负责在数据生命周期内捕获、存储、保护、集成、理解、维护和正确使用数据的学科。它不仅仅是存储和分析,还包括安全、数据完整性、组织等要求。
数据、信息、知识和价值之间有什么区别?
数据是最基本的单位,如数字或文本;信息是数据经过关联和情境化后的结果;知识是通过分析信息识别出的模式或趋势;价值则是利用知识做出决策并产生实际收益。
数据生命周期包括哪些阶段?
数据生命周期包括规划、设计与启用、创建或获取、存储与维护、使用、丰富和处置等阶段。这些阶段可能重复,并非严格线性。
数据治理的主要作用是什么?
数据治理定义了组织如何就数据做出决策、谁可以访问或更改数据,以及每个角色的责任。它有助于满足法律和监管要求,确保数据使用有序、安全和合法。
数据所有者(Data Owner)和数据管家(Data Steward)有什么区别?
数据所有者通常是业务负责人,对数据域拥有决策权和责任;数据管家则支持日常管理,维护数据定义、监控质量,确保数据准确、完整并符合标准。
什么是数据伦理?为什么重要?
数据伦理是在数据生命周期中应用透明度、责任、隐私和非歧视等原则。它很重要,因为不当的数据处理可能导致歧视性偏见,限制机会或拒绝服务,尤其是在涉及个人或敏感数据时。
如何确保数据质量?
确保数据质量需要定义质量维度(如准确性、完整性、一致性、及时性),进行数据剖析,制定质量规则,实施验证和清洗,并持续监控。
什么是语义层?它有什么作用?
语义层是统一指标定义和业务概念的一层,它允许用户以业务术语查询数据,而无需理解底层技术细节。它有助于确保一致性和自助分析。
大数据架构通常如何处理海量数据?
大数据架构使用分布式存储和处理技术来应对数据的规模、速度和多样性。例如,使用Hadoop或Spark等框架,将数据分布在多个节点上并行处理。
数据产品是什么?
数据产品是将数据和分析能力打包成可交付的成果,供用户或系统使用。它通常具有明确的所有权和生命周期,并满足特定的业务需求。