M Science将另类数据转化为可操作的洞察
内容提要
M Science与Databricks合作，利用云管理和Spark实施提供数据派生产品。他们采用了湖仓架构和Unity目录来降低复杂性和改善数据组织。M Science计划利用Databricks技术优化大型语言模型，并利用治理和隐私工具。这次合作展示了数据创新的潜力。
延伸解读
从数据到洞察：M Science的使命
M Science的核心使命是为投资者创造可操作的洞察，而非仅仅提供数据。他们从数千个数据集中筛选出最具预测性的替代数据，并通过书面研究、仪表盘和数据流交付。这强调了在数据爆炸时代，精选和解读数据比数据本身更重要。
云迁移与可扩展性提升
M Science迁移到云端并采用Databricks，解决了本地基础设施的噪声邻居问题，提高了产品的及时交付和可扩展性。通过云原生架构，他们能够更快地为客户提供洞察，帮助客户更早地制定投资论点并执行交易。
湖仓架构与Unity Catalog简化复杂性
随着数据集的增加，复杂性也随之上升。M Science采用湖仓架构和Unity Catalog，实现了单一数据视图，减少了不必要的副本，并确保了细粒度的访问控制。这使团队能够专注于洞察生成，同时保持敏捷性并扩展数据广度。
未来方向：LLM与合规数据变现
M Science计划利用Databricks基础设施优化大型语言模型，部署检索增强生成（RAG）设计模式，并使用微调工具。他们还对治理和隐私工具（如干净房间）感兴趣，以帮助公司合规地变现数据。这展示了数据创新的前沿应用。
Q&A
M Science 是做什么的？
M Science 的使命是基于另类数据为投资者创造可操作的洞察。他们审查可用数据，测试其有效性，并选择最能预测公司 KPI 的数据，通过书面研究、仪表板和数据馈送提供数据和数据衍生产品。
M Science 为什么选择 Databricks？
M Science 在云迁移时希望专注于从数据中创造洞察，而不是管理云基础设施。因此他们早期就与 Databricks 合作，当时 Databricks 主要提供云管理和 Apache Spark 实施。他们仍然喜欢 Databricks 的这些功能，并且对其功能集的扩展感到满意。
M Science 如何降低数据复杂性？
M Science 采用了湖仓架构，并加入 Unity Catalog，为所有数据提供单一管理界面，减少不必要的副本并确保细粒度的访问控制。这种组织方式使他们保持敏捷性，同时扩展数据广度。
M Science 如何利用 Databricks 优化大型语言模型？
M Science 使用 Databricks 基础设施部署检索增强生成（RAG）设计模式，并使用 Databricks 的微调工具。借助 Databricks，他们看到基于 LLM 的工具的实用性快速提升。
M Science 如何帮助公司合规地变现数据？
M Science 使用 Databricks 的治理和隐私工具，包括干净房间（clean rooms），帮助 Databricks 生态系统中的公司合规地变现其数据。
云迁移给 M Science 带来了什么好处？
云迁移使 M Science 能够更及时地交付产品并提高可扩展性。以前在本地基础设施上遇到噪声邻居问题，现在团队可以讨论如何通过 Photonizing 作业来缩减 AWS 资源。研究产品比以往任何时候都更及时。
