# Azure Databricks Model Serving：统一部署与推理解决方案

作者：吉祥法师

## 引言

在人工智能和机器学习快速发展的今天，如何将训练好的模型高效、可靠地部署到生产环境，并提供低延迟、高可用的推理服务，已成为企业面临的核心挑战之一。Azure Databricks 推出的 Model Serving 功能，正是为解决这一挑战而设计的统一解决方案。本文将全面解析 Model Serving 的核心概念、功能特性、适用场景及安全机制，帮助数据科学家、机器学习工程师和企业架构师深入理解并有效运用这一强大工具。

## 什么是 Model Serving？

Model Serving 是 Azure Databricks 提供的统一模型部署与推理解决方案，它使数据团队能够以标准化方式部署、管理和查询各类 AI/ML 模型，同时支持实时推理和批量推理两种模式。每个被部署的模型都会以 REST API 的形式对外提供服务，开发者可以轻松地将这些 API 集成到 Web 应用、移动客户端或企业级业务系统中。

从技术架构角度而言，Model Serving 构建在无服务器计算之上，这意味着用户无需管理底层基础设施。该服务能够根据实际的推理请求负载自动进行弹性伸缩——当请求量增加时自动扩展计算资源，请求量下降时则自动缩减资源。这种动态伸缩机制不仅能够有效控制基础设施成本，还能在流量高峰期保证稳定的低延迟响应。除此之外，Model Serving 还提供了统一的管理界面和 API 接口，支持模型的全生命周期管理，包括注册、版本控制、部署配置、监控告警等，极大地简化了运维复杂度。

## 支持部署的模型类型

Azure Databricks Model Serving 具备出色的多模型支持能力，共覆盖三大类模型，每类都有其特定的适用场景和部署方式。

### 自定义模型

自定义模型是指以 Python 编写的、按照 MLflow 格式进行打包的机器学习模型。这类模型可以存储在 Unity Catalog 或工作区模型注册表中，支持广泛的机器学习框架，包括 scikit-learn、XGBoost、PyTorch 以及 Hugging Face Transformer 等主流框架。此外，AI Agent 也可以作为自定义模型在 Model Serving 上进行部署，这为构建智能应用提供了极大便利。

### 基础模型

基础模型是指由 Databricks 托管的预训练模型，如 Meta 公司的 Llama 系列模型。这些模型通过 Foundation Model API 提供最佳化的推理性能。Databricks 精选了一系列经过优化的基础模型架构，用户可以选择如 Meta-Llama-3.3-70B-Instruct、GTE-Large、Mistral-7B 等模型进行即时的按 Token 计费使用。对于需要性能保障或对模型进行微调的场景，用户可以配置预置吞吐量来获得更稳定的服务。

### 外部模型

外部模型是指在 Databricks 之外托管的模型服务，例如 OpenAI 的 GPT-4。通过外部模型接口，用户可以从 Azure Databricks 统一管理和访问各类大语言模型提供商，如 OpenAI、Anthropic 等。这种方式的一个重要优势在于，所有外部模型的调用端点可以集中接受治理和安全管理，从而简化组织内部对各类 LLM 提供商的合规管理。

值得注意的是，Azure Databricks 还集成了 AI Playground 功能，这是一个类似聊天的交互环境，数据科学家可以在其中测试、调试和对比不同的大语言模型，这一功能有助于在正式部署前快速评估模型效果和确定合适的提示词策略。

## 为什么选择 Model Serving？

Model Serving 之所以成为企业部署模型的优选方案，主要源于以下五个关键优势。

**第一，统一部署与查询接口。** Model Serving 提供了统一的管理界面和查询 API，使得用户可以在同一位置管理所有模型，无论这些模型是在 Databricks 内部托管还是存储在外部服务上。这种统一性显著简化了模型从实验到生产的整个流程，避免了因不同模型来源而产生的接口碎片化问题。

**第二，私有数据安全定制。** Model Serving 构建在数据智能平台之上，与 Databricks Feature Store 和 AI Search 进行了深度融合。用户可以通过原生集成方式，将特征向量和语义嵌入直接整合到模型中，从而提升模型的准确性和上下文理解能力。对于更深层的定制需求，用户可以使用专有数据对基础模型进行微调，并无缝部署到 Model Serving 上，在不暴露原始数据的前提下获得专属模型服务。

**第三，集中治理与监控能力。** 通过 Serving 管理界面，企业可以集中管理包括外部托管模型在内的所有模型端点。依托 AI Gateway 的能力，管理员能够细粒度地分配权限、设置调用上限、跟踪用量并监控模型输出质量。这一功能使得组织内部可以安全地开放 SaaS 模型和开源大语言模型的使用权限，同时确保有适当的安全防护措施。

**第四，优化推理与快速弹性伸缩。** Databricks 对大模型推理进行了系统级优化，确保用户能够获得最佳的吞吐量和延迟表现。端点在自动伸缩机制的驱动下，能够根据请求负载的变化实时调整计算资源，从而在优化性能的同时降低基础设施成本。对于延迟敏感或每秒查询次数很高的业务场景，Databricks 提出了详细的端点优化策略供用户参考。

**第五，高可靠性与安全性保障。** Model Serving 专为生产环境设计，提供高可用性和低延迟服务。其架构能够支持每秒超过 25，000 次查询，额外延迟控制在 50 毫秒以内。在安全层面，服务启用了多层防护机制，并支持通过配置网络策略来控制流量的进出方向，确保敏感数据的服务安全。不过需要注意，Model Serving 不会对已部署的模型镜像进行安全补丁更新，因为这种操作可能影响生产环境的稳定性，最新的补丁将通过创建新的模型版本获得。

## 部署前提条件

在开始使用 Model Serving 之前，用户需要确保满足以下关键前提条件。

首先，模型必须在 Unity Catalog 或工作区模型注册表中完成注册，并且用户需要拥有针对该模型的服务端点访问控制列中定义的适当权限。其次，开发环境需要安装 MLflow 1.29 或更高版本。第三，如果使用 Azure Private Link 来遵守网络相关访问控制策略，则需要注意该功能仅适用于使用预置吞吐量或服务自定义模型的端点。此外，工作区需要完成相应的权限配置。

特别值得说明的是，启用 Model Serving 不需要额外操作，它在工作区中默认可用，这体现了 Databricks 平台的高集成度。

## 数据保护与安全

Databricks 将数据安全视为最高优先级的任务，在模型推理服务中实施了一系列严格的安全控制措施。

在身份与访问管理层面，每个客户对 Model Serving 的请求都经过逻辑隔离、身份验证和授权。在静态与传输数据加密层面，所有数据均采用 AES-256 标准进行静态加密，并通过 TLS 1.2 或更高版本协议进行传输加密。在数据使用政策层面，对于所有付费账户，Databricks 承诺不会使用服务中输入的数据或输出的结果来训练任何模型或改进任何 Databricks 服务。基础模型 API 作为 Databricks 指定服务，遵循数据驻留边界要求，确保符合各地区的数据主权法律法规。

在数据保留方面，对于所有 Model Serving 工作负载，Databricks 将保留容器构建日志最多三十天，指标数据最多十四天。对于 Databricks 基础模型 API，为提供必要服务，Databricks 可能会临时处理和存储部分输入与输出数据，用于预防、检测和减少滥用或有害使用。这些数据与其他客户的请求相互隔离，存储在与工作区相同的区域，保留时间不超过三十天，且仅供安全团队用于应对安全或滥用事件。

对于合作伙伴模型提供商，其数据保留政策可能有所不同。这些提供商可能会出于安全目的保留部分数据，并在有限的必要人工审查前进行自动扫描。例如，Anthropic 对于其特定类别的模型有明确的数据保留安全政策，这些细节应在模型选型时被审慎评估。

## 限制与可用区域

为了保证服务的可靠性和性能一致性，Model Serving 实施了一些默认的限制，包括并发请求数上限、吞吐量限制、最大配置数等。此外，并非所有 Azure 区域都支持该服务。Databricks 官方文档中提供了模型服务限制和区域支持的具体信息。如果用户有特殊需求或所在区域暂不支持，建议直接联系 Databricks 客户团队，以获得定制化支持。

## 应用入门指南

为了让不同需求的用户能够快速上手，Azure Databricks 提供了丰富的入门教程和文档。

对于需要执行批量推理的用户，可以参考“使用 AI Functions 丰富数据”的指南，了解如何利用 AI 函数或 ai-query 在批量推理管道中调用模型。对于希望部署自定义模型进行实时推理的用户，存在“部署和查询自定义模型”的教程，提供了从模型注册、端点创建到实时调用的完整操作指导。对于希望直接查询 Databricks 上基础模型的用户，入门教程将引导其完成对大语言模型进行实时推理的过程。此外，还有专门的教程讲解如何创建外部模型端点来查询 OpenAI 的模型服务，以及如何借助 Azure Databricks 构建 AI 智能体。

## 总结与展望

Azure Databricks Model Serving 作为一个成熟且完整的模型部署与推理解决方案，有效解决了企业在 AI/ML 模型上线过程中面临的多重挑战。通过高度统一的管理界面、灵活多样的模型支持、完善的安全治理机制和弹性自动伸缩能力，它真正实现了模型服务的高可用性、低延迟和低成本。

随着生成式人工智能的持续发展，企业部署模型的需求将变得更为复杂和多样化。Azure Databricks Model Serving 为应对这一趋势，已将基础模型和外部模型统一纳入治理框架，为用户搭建了一个面向未来的推理服务平台。对于正在寻求标准化模型部署方案或计划将 AI 服务推广到生产环境的组织而言，深入掌握 Model Serving 的能力和最佳实践，将能够助力其在日益激烈的智能化竞争中赢得持续的技术优势。