Skip to main content

元数分析云与 Doris 的集成

· 10 min read
Tiven Wang

摘要​

本文将详细介绍元数分析云与 Doris 集群的集成，探讨如何利用元数分析云的多维建模和指标管理功能，充分发挥 Doris 集群 MPP 架构的数据并行计算能力，为用户提供强大的数据分析和查询解决方案。

info

关于如何本地化部署元数分析云和 Doris 集群请参考文档 部署 Docker 集群 中的 with-doris 两个 docker compose 配置文件。

背景​

Apache Doris 是一个开源的大数据存储与计算引擎，专注于海量数据的高性能查询和实时分析。它采用分布式、列式存储的方式，支持并行计算和水平扩展，具备出色的查询性能和数据处理能力。Doris集群通过MPP（Massively Parallel Processing）引擎，可以同时处理大规模数据集上的复杂查询，并提供实时的查询结果。

将元数分析云与 Doris 集群进行集成, 首先，可以充分发挥 Doris 集群的数据计算能力，利用其并行计算和高性能查询的优势，加速数据分析和决策过程。其次，可以将元数分析云的多维建模和指标管理能力与Doris 集群的数据存储和计算能力相结合，实现数据的全面管理和分析，提高数据的可用性和质量。此外，集成还可以简化数据流程和操作，提升数据处理的效率和准确性。最重要的是，集成后的元数分析云和 Doris 集群组合将为企业提供更强大、高效和可靠的数据分析平台，支持更深入的业务洞察和智能决策。

多维建模​

多维建模是一种高效地组织和管理数仓数据的方法，通过以维度为中心构建模型，将数据按照事实表和维度表的结构进行组织。

多维建模使用业务系统原始表进行建模的方法可以显著降低业务复杂度并提高模型灵活度。

  1. 简化数据模型：多维建模将复杂的业务数据模型转化为简单的维度模型。它通过识别业务事实和维度，并将它们映射到事实表和维度表的结构中。这种模型更贴近业务用户的认知，使他们能够更轻松地理解和查询数据，减少了对复杂SQL查询的依赖。

  2. 聚焦业务指标：多维建模侧重于业务指标的定义和分析。它将业务指标作为事实表中的度量，并将维度属性作为维度表中的描述性属性。这种方式使得用户可以更加专注于关注的指标，而不需要深入理解原始表之间的复杂关系和连接操作。

  3. 提供灵活的数据分析：多维建模通过将数据切分为维度和度量，为用户提供了灵活的数据分析能力。用户可以根据需要选择和组合不同的维度，进行切片和钻取分析，从不同角度观察业务指标的变化。这种灵活性使用户能够根据具体业务需求快速进行数据探索和分析，提高决策的准确性和效率。

  4. 数据冗余和预计算：多维建模中常用的一种优化技术是通过数据冗余和预计算来提高查询性能。通过在维度表和事实表中存储冗余的汇总数据和预计算的指标，可以加速查询过程，减少对原始表的访问次数。这种方式降低了查询的复杂度，并提高了数据查询的响应速度。

相较于传统的数仓 SQL 建模方式，多维建模能够更好地发挥 Doris 集群的并行计算能力：

  1. 维度模型：多维建模使用维度模型来组织数据，并用来关联事实表。事实表存储了业务指标数据，而维度表存储了与事实表相关的维度属性。这种模型使得查询变得更加简单和高效，可以通过连接维度表和事实表来实现复杂的查询和聚合操作。Doris 集群通过并行处理维度表和事实表之间的连接操作，能够快速计算出准确的结果。

  2. 聚合和汇总：多维建模中常用的一种优化技术是聚合和汇总。通过预先计算和存储一些常用的聚合指标，可以加速查询过程。Doris 集群在执行聚合查询时，能够利用其并行计算能力，同时处理多个聚合操作，从而提高查询的响应速度。

  3. 查询优化：多维建模中，通过定义合适的维度和度量，以及使用合适的聚合和汇总策略，可以优化查询性能。Doris 集群具有智能的查询优化器，能够根据查询语句和数据分布等信息，选择最优的执行计划，充分发挥并行计算的能力，提高查询效率。

多维建模能够更好地发挥 Doris 集群的并行计算能力，通过合适的数据存储格式、维度模型、聚合和汇总策略，以及查询优化，实现高效的数据分析和查询。与传统的数仓 SQL 建模方式相比，多维建模更适合与 Doris 集群集成，充分发挥其并行计算能力，提升数据处理和分析的性能。

安装部署​

至此客户想要本地化部署安装元数分析云与 Doris 集群的集成有两种方式：

  • 安装元数分析云与 Doris 集成版。适合还没有自己的大数据平台的用户们，可以直接安装元数分析云与 Doris 集成版，一键安装，快速上手。
  • 安装元数分析云标准版。适合已经有自己的 Doris 大数据平台的用户们，可以单独安装元数分析云标准版，然后通过元数分析云的数据源管理功能，连接到自己的 Doris 集群。

元数分析云标准版的安装请参考文档 🚀安装部署, 元数分析云与 Doris 集成版的安装请参考文档 部署 Docker 集群 #集成 Doris 集群.

综述​

多维建模使用业务系统原始表进行建模可以降低业务复杂度和提高灵活度。它通过简化数据模型、聚焦业务指标、提供灵活的数据分析和利用数据冗余和预计算等方式，使用户能够更轻松地理解和查询数据，快速进行数据分析，从而提高业务决策的准确性和效率。

元数分析云提供了免费的安装包，可以与 Doris 集群进行集成使用。用户可以充分利用Doris集群的数据计算能力和元数分析云的多维建模和指标管理功能，实现高效的数据分析和查询。用户可以放心地部署和使用元数分析云，满足他们的数据分析需求。