# Power Query：数据转换与准备引擎的全面解析

## 概述

Power Query是微软开发的一款强大的数据转换与数据准备引擎，它为用户提供了一套完整的工具集，用于从各种数据源中提取数据、执行必要的数据转换操作，并将处理后的数据加载到目标系统中。作为数据处理领域的关键技术，Power Query并非提供单一的数据存储解决方案，其数据的最终去向由承载该引擎的具体产品或服务决定。

Power Query的核心价值在于其完整实现了ETL（提取、转换、加载）处理流程。通过直观的图形化界面和强大的转换功能，用户可以轻松连接多样化的数据源，按照业务需求对数据进行重塑和清洗。Power Query不仅简化了数据准备过程，更将手动、重复性的数据处理工作转化为可重复执行的自动化流程，极大提升了数据分析工作的效率和可靠性。

## 解决数据处理的关键挑战

Power Query的设计初衷是应对现代数据分析场景中普遍存在的数据准备难题。传统数据工作流程中，分析师经常面临数据分散、格式不一致、更新频繁等问题，而Power Query针对这些痛点提供了系统性解决方案。

### 连接多样化的数据源

在当今数据驱动的商业环境中，组织需要处理来自多种渠道的数据——从结构化数据库到非结构化文件，从本地存储到云端服务。Power Query支持连接数百种不同的数据源，覆盖各种规模和格式的数据类型。无论是Excel表格、SQL Server数据库、Azure云服务，还是Web API接口，Power Query都能提供稳定的连接能力，消除了数据获取的障碍。

### 统一的数据连接体验

许多组织面临的一个关键问题是数据连接方式过于碎片化。不同的数据源往往需要不同的连接工具和技能，这增加了学习成本和操作复杂性。Power Query通过提供**统一的数据连接体验**，确保用户在所有支持的平台上获得相同的查询功能和用户界面。这种一致性设计意味着用户只需掌握一种工具，就能处理来自各种来源的数据，大幅降低了技能门槛和培训成本。

### 交互式数据转换能力

原始数据通常无法直接用于分析和报告，必须经过一系列调整——移除无关列、过滤异常行、合并多个表格、调整数据类型等。Power Query提供了一种**交互式和直观的体验**，使用户能够快速且反复地构建查询。用户可以通过图形界面实时预览每一步转换的效果，这种即时反馈机制使得数据处理过程更加高效和准确。无论数据集的大小如何，Power Query都能支持用户灵活地执行所需的转换操作。

### 可重复的数据准备流程

在传统的数据工作流程中，数据准备工作往往是一次性的，无法在后续更新中自动复用。Power Query从根本上改变了这一局限：当用户运用Power Query访问和转换数据时，实际上是在定义一种**可重复执行的进程**（即查询）。这个查询可以在未来轻松刷新，以获取最新数据。如果底层数据或表结构发生变化，用户可以使用与最初定义查询时相同的交互式体验来调整查询逻辑，确保数据处理的持续有效。

### 应对大数据的挑战

现代数据环境中的三大挑战通常被归纳为：**数据量**（数据规模庞大）、**数据速度**（数据更新频率高）、**数据多样性**（数据源和格式广泛）。Power Query通过支持用户对全部数据集的子集进行操作来应对这些挑战。用户可以先获取数据样本，在小范围内定义必要的数据转换步骤，再通过过滤和转换功能将数据缩减至可管理的规模。此外，Power Query支持数百种数据源连接和每源超过350种数据转换类型，确保用户能够应对各种复杂的数据处理需求。

## Power Query的两种运行体验

Power Query根据部署环境的不同，提供了两种满足不同用户需求的运行模式，它们共享核心编辑器和转换体验，但在可用功能上有所差异。

### Power Query Online（在线版）

Power Query Online是通过网页浏览器运行的版本，主要集成在云端产品中。它适用于需要在线协作或基于云服务的数据处理场景。典型的集成产品包括Power BI数据流和Microsoft Power Platform数据流。这种云端体验的优势在于允许多用户协作，并与云服务的身份验证和数据管理功能无缝集成。

### Power Query Desktop（桌面版）

Power Query Desktop是预装在桌面应用程序中的版本，适用于本地数据处理的场景。主要集成于Excel和Power BI Desktop中，为用户提供离线数据处理能力。桌面版特别适合需要直接与本地文件交互或进行单机分析的场景，性能表现和系统集成度较高。

需要特别注意的是，尽管Power Query Online和Desktop共享核心编辑器和转换体验，但可用的数据连接器、身份验证方法、数据加载目标和特定功能可能因宿主产品而异。用户应结合具体使用场景选择最合适的版本。

## 核心数据转换机制

Power Query具备强大的内置转换功能，用户可通过Power Query编辑器中的图形界面轻松调用这些功能。这种设计使得数据转换不仅精确而且高效。

### 转换操作的基本原理

当用户在Power Query编辑器中执行转换操作时，实际上是在构建一组**查询步骤**。Power Query会记录每一步操作，形成一条可执行的数据处理流水线。在查询运行时，所有这些步骤会按顺序应用于源数据。值得强调的是，这一过程**不会修改源数据**，所有转换仅作用于内存中的数据副本，确保了原始数据的安全性和可追溯性。

### 从基础到高级的转换类型

Power Query支持的转换操作十分丰富。基础用例包括移除不需要的列、过滤特定行、或将首行设置为表格标题。这些操作是数据清洗的基石，能够快速解决常见的数据质量问题。

对于更复杂的需求，Power Query提供了高级转换选项，包括：
- **合并查询**：类似于SQL中的JOIN操作，将两个或多个表按匹配条件组合
- **追加查询**：将行数不同的表按行合并，形成更长的数据集
- **分组依据**：按指定列分组并对其他列执行聚合操作（如求和、平均值、计数）
- **透视和逆透视**：行转列或列转行，实现表格结构的灵活重构

所有上述转换操作均可在Power Query编辑器中通过直观的菜单选项完成，极大降低了数据处理的技术门槛。

## 数据流：云端的数据准备服务

数据流（Dataflows）为Power Query提供了一种云端服务形式，代表了数据准备功能的重大扩展。数据流将Power Query的能力带到了云环境中，使组织能够在云上创建、管理和共享可重用的数据准备流程。

在支持数据流的产品中，用户可以连接各种数据源，应用Power Query转换操作，然后保存处理后的输出结果，供其他进程、产品或服务使用。与传统的Power Query体验不同，数据流的输出目的地和刷新功能取决于承载该数据流的宿主产品。例如，**数据流可以将处理结果保存至Microsoft Dataverse或Azure Data Lake Storage**，而不是直接加载到Excel或Power BI中，这种设计增加了数据流向的灵活性，使得数据准备与最终分析之间的解耦成为可能。

## 深入理解Power Query M公式语言

### M语言的定义与角色

虽然Power Query的图形界面能够满足大多数数据处理需求，但某些数据转换任务需要更精细的控制和自定义设置。为了满足这种需求，Power Query引擎使用了一种强大的脚本语言——**Power Query M公式语言**（简称M语言）。M语言对所有Power Query转换操作提供底层支撑，是查询背后的核心驱动力量。

### 从界面操作到代码编程

在Power Query编辑器中执行的每一个操作，最终都会转化为M语言代码。这种设计使得用户即使不主动编写代码，也能获得代码级的可追溯性和可重复性。当用户需要执行图形界面不直接支持的复杂转换时，可以通过**高级编辑器**访问查询的底层脚本，并根据需求自由修改代码。这种从界面操作到代码编程的无缝过渡，使得Power Query既能服务于技术小白，也能满足高级数据专家的需求。

### 实际M语言示例分析

以下示例展示了一段用于处理Exchange邮箱附件的M代码，这段代码体现了Power Query在复杂数据处理场景中的应用能力：

```powerquery
let
    Source = Exchange.Contents("xyz@contoso.com"),
    Mail1 = Source{[Name="Mail"]}[Data],
    #"Expanded Sender" = Table.ExpandRecordColumn(Mail1, "Sender", {"Name"}, {"Name"}),
    #"Filtered Rows" = Table.SelectRows(#"Expanded Sender", each ([HasAttachments] = true)),
    #"Filtered Rows1" = Table.SelectRows(#"Filtered Rows", each ([Subject] = "sample files for email PQ test") and ([Folder Path] = "\Inbox\")),
    #"Removed Other Columns" = Table.SelectColumns(#"Filtered Rows1",{"Attachments"}),
    #"Expanded Attachments" = Table.ExpandTableColumn(#"Removed Other Columns", "Attachments", {"Name", "AttachmentContent"}, {"Name", "AttachmentContent"}),
    #"Filtered Hidden Files1" = Table.SelectRows(#"Expanded Attachments", each [Attributes]?[Hidden]? <> true),
    #"Invoke Custom Function1" = Table.AddColumn(#"Filtered Hidden Files1", "Transform File from Mail", each #"Transform File from Mail"([AttachmentContent])),
    #"Removed Other Columns1" = Table.SelectColumns(#"Invoke Custom Function1", {"Transform File from Mail"}),
    #"Expanded Table Column1" = Table.ExpandTableColumn(#"Removed Other Columns1", "Transform File from Mail", Table.ColumnNames(#"Transform File from Mail"(#"Sample File"))),
    #"Changed Type" = Table.TransformColumnTypes(#"Expanded Table Column1",{{"Column1", type text}, {"Column2", type text}, {"Column3", type text}, {"Column4", type text}, {"Column5", type text}, {"Column6", type text}, {"Column7", type text}, {"Column8", type text}, {"Column9", type text}, {"Column10", type text}})
in
    #"Changed Type"
```

该M查询展示了一个完整的数据处理流程：从Exchange服务器提取邮件数据，过滤含附件的邮件，按主题和文件夹路径进一步筛选，展开附件内容，排除隐藏文件，对每个附件应用自定义转换函数，最后为输出列分配合适的数据类型。这个案例充分证明了在需要精细控制的场景中，M语言提供了超越图形界面的灵活性和表达能力。

## Power Query的广泛生态应用

Power Query的强大功能在微软的多个产品和服务中得到了广泛应用。不同产品集成了Power Query的不同功能模块，形成了一张完整的生态网络。

以下表格展示了主要微软产品中Power Query功能的部署情况：

| 产品 | M引擎 | 桌面版 | 在线版 | 数据流 |
|------|-------|--------|--------|--------|
| Excel（Windows版） | ✔ | ✔ | ✘ | ✘ |
| Excel（Mac版） | ✔ | ✔ | ✘ | ✘ |
| Power BI | ✔ | ✔ | ✔ | ✔ |
| Power Apps | ✔ | ✘ | ✔ | ✔ |
| Power Automate | ✔ | ✘ | ✔ | ✘ |
| Power BI报告服务器 | ✔ | ✔ | ✘ | ✘ |
| Azure Data Factory | ✔ | ✘ | ✔ | ✔ |
| Microsoft Fabric中的Data Factory | ✔ | ✘ | ✔ | ✔ |
| SQL Server集成服务 | ✔ | ✘ | ✘ | ✘ |
| SQL Server分析服务 | ✔ | ✔ | ✘ | ✘ |
| Dynamics 365客户洞察 | ✔ | ✘ | ✔ | ✔ |

表中的关键列含义如下：
- **M引擎**：是执行以Power Query M公式语言编写的查询的底层引擎，所有Power Query功能的基础
- **Power Query桌面版**：指存在于桌面应用程序中的Power Query版本，适合本地数据处理场景
- **Power Query在线版**：指在浏览器应用程序中运行的Power Query版本，适合云端协作和数据处理
- **数据流**：作为服务在云中运行的Power Query，是跨产品的数据处理解决方案，其他应用程序可以消费其存储结果

这种广泛的产品覆盖使得Power Query成为微软数据处理生态中的统一标准，用户在不同产品间切换时，可以复用已有的数据处理知识和技能。

## 总结

Power Query作为一款专业的数据转换和准备引擎，通过提供统一的数据连接体验、丰富的转换功能和可重复执行的查询机制，为用户解决了现代数据处理中的核心挑战。其在线版与桌面版的灵活部署方式适应了不同的应用场景，而强大的M语言则为高级用户提供了无限制的扩展可能性。在微软的产品生态系统中，Power Query已经确立了其作为标准数据准备工具的地位，帮助数据分析师、业务用户和IT专业人员高效、可靠地完成从原始数据到可用信息的转化过程，为企业数据驱动决策提供了坚实的技术基础。