许多企业都希望将 VMware 集群迁移到云端，以利用云端的可伸缩性、恢复能力、弹性以及 Vertex AI Studio 和 BigQuery 等更高级别的服务。企业还希望将支出从资本密集型硬件模式转变为更灵活的运营支出模式。为了帮助企业快速构建遵循 Google Cloud 最佳实践的操作环境，我们创建了 Google Cloud VMware Engine 企业蓝图。此蓝图为您提供了有关部署企业级 VMware 环境的全面指南，以便您将虚拟机工作负载迁移到云端。
VMware Engine 是一项全代管式服务，可让您在 Google Cloud上运行 VMware 平台。您的 VMware 工作负载在专用 Google Cloud 硬件上运行，并与 Google Cloud服务完全集成。Google 负责管理基础架构、网络和管理。 此蓝图可让您部署一个 Google Cloud 项目，其中包含 VMware Engine 私有云、由 Google 管理的 VMware Engine 网络，以及可让流量端到端流动的 VPC 网络对等互连连接。
VMware Engine 企业蓝图包括以下内容：
- 包含部署 VMware Engine 平台所需的 Terraform 代码和辅助脚本的 GitHub 代码库
- 使用 GitHub 代码库实现的架构、网络和安全控制的指南（本文档）
该蓝图旨在基于基本级层服务（例如 VPC 网络）运行。您可以使用企业基础蓝图或 Fabric FAST 来为此蓝图创建基础。
本文档适用于云架构师、云平台管理员、VMware Engine 管理员和 VMware Engine 工程师，他们可以使用此蓝图在Google Cloud上构建和部署 VMware 集群。此蓝图侧重于设计和部署新的 VMware Engine 私有云，并假定您熟悉 VMware 和 VMware Engine 代管式服务。
VMware Engine 企业蓝图概览
VMware Engine 企业蓝图采用分层方法来启用 VMware Engine 平台。下图显示了此蓝图的各个组件与其他蓝图和服务之间的交互。
该图包含以下部分：
- Google Cloud 基础设施为您提供静态加密和传输加密等安全功能，以及计算和存储等基本基础组件。
- 企业基础为您提供网络、身份、政策、监控和日志记录等资源基准。借助这些资源，您可以快速采用 Google Cloud ，同时满足组织的架构要求。
VMware Engine 企业蓝图可为您提供以下内容：
- VMware Engine 网络
- 与 Google 虚拟私有云网络、API 和服务的专用连接
- VMware Engine 私有云
- 备份功能
- Cloud Load Balancing
- Google Cloud Armor
- 使用场景包括数据中心迁移、数据中心弹性容量扩展、虚拟桌面基础架构 (VDI) 和数据中心灾难恢复场景。
使用 CI/CD 流水线实现部署自动化，可让您使用各种工具来自动预配、配置和管理基础设施。Automation 可帮助您确保一致、可靠且可审核的部署；最大限度地减少手动错误；加快整个开发周期。
架构
下图展示了 VMware Engine 企业蓝图部署的架构。
此蓝图会部署以下内容：
- 一个名为独立 VMware Engine 项目的项目，其中包含 VMware Engine 私有云 Google Cloud
- VMware Engine 网络的 Google 管理型项目
- VPC 网络对等互连连接，以便流量可以从 VMware Engine 应用流向客户端
VMware Engine 私有云包含以下组件：
- 管理工具：适用于 ESXi 主机管理网络、DNS 服务器、vCenter 服务器的 VLAN 和子网
- 备份：工作负载虚拟机的备份基础架构
- 虚拟机：工作负载虚拟机
- vCenter Server：用于集中管理私有云 vSphere 环境的设备。
- NSX Manager：提供一个界面，用于配置、监控和管理 NSX-T 网络和安全服务
- ESXi 主机：专用节点上的 Hypervisor
- vSAN 存储：超融合软件定义存储平台
- NSX-T 叠加网络：网络虚拟化和安全软件
- VMware HCX：跨数据中心和云端的应用迁移和工作负载再均衡
VMware Engine 网络概览
VMware Engine 网络是一种专用网络，用于连接 VMware Engine 私有云、VPC 网络和本地环境。VMware Engine 网络具有以下功能：
- 私有云连接：每个 VMware Engine 私有云都连接到 VMware Engine 网络，从而允许私有云内的工作负载之间进行通信。
- VMware Engine 网络连接：您可以使用 VPC 网络对等互连在 VMware Engine 网络与 Google VPC 之间建立连接。通过这种连接，在 VMware Engine 上运行的工作负载与在 Google Cloud中的其他服务上运行的工作负载之间可以进行通信。
- 本地连接：如需创建混合云解决方案，您可以使用 Cloud VPN 或 Cloud Interconnect 将 VMware Engine 网络扩展到本地数据中心。
- 网络服务：VMware Engine 网络使用各种网络服务，包括以下服务：
使用 VMware Engine 时，您需要负责使用 VMware 应用管理界面创建和管理工作负载虚拟机。Google Cloud 负责修补和升级基础架构组件，以及修复出现故障的组件。
关键架构决策
| 决策区域 | 决定 | 判定理由 |
|---|---|---|
| 基础 | 您可以在企业基础蓝图、Fabric FAST 或满足定义的前提条件的基础之上实现 VMware Engine 企业蓝图。 | 企业基础蓝图和 Fabric FAST 均提供有助于企业采用 Google Cloud的基本功能。 |
| 计算 | 您可以在特定区域中部署单个专用集群，也可以在两个区域中部署两个专用集群。 | 单一专用集群配置可简化管理并优化成本。 |
| 蓝图会部署一个备用节点。 | 只需一个备用节点，您就可以在最大限度降低成本的同时，有足够的容量来应对故障、维护事件和工作负载波动。 | |
| 备份和灾难恢复通过 Backup and DR Service 进行管理。 | 借助 Backup and DR，您可以使用代管式服务，并减少 VMware Engine 部署所需的管理工作量。 | |
| 网络 | 此蓝图可实现混合连接。 | 借助混合连接，您可以将本地环境与 Google Cloud 环境连接起来。 |
| 私有云使用专用、可路由且连续的 IP 空间。 | 连续的 IP 空间可简化 IP 地址管理。当 IP 空间可路由时，私有云可以与本地资源通信。 | |
| 互联网访问权限通过 Cloud Load Balancing 提供，并受 Google Cloud Armor 保护。 | Google Cloud Armor 可提升工作负载安全状况，而 Cloud Load Balancing 有助于实现工作负载的可伸缩性和高可用性。 | |
| 此蓝图可启用 Cloud DNS。 | Cloud DNS 可解析内部名称和外部名称。 |
平台角色
此蓝图使用两个用户组：云平台工程组和 VMware 平台工程组。这些群组承担以下责任：
- 云平台工程组负责部署 VMware Engine 蓝图的基础设施和部署蓝图。
- VMware 平台工程组负责配置和运行属于私有云的 VMware 组件。
如果您要在企业基础蓝图或 Fabric FAST 上部署蓝图，则云平台工程组会在初始部署过程中创建。VMware 平台工程组部署为此蓝图的一部分。
组织结构
VMware Engine 企业蓝图基于企业基础蓝图和 Fabric FAST 的现有组织结构构建。它会在生产、非生产和开发环境中添加独立的 VMware Engine 项目。下图展示了蓝图的结构。
网络
VMware Engine 企业蓝图为您提供以下网络选项：
- 适用于 VMware Engine 私有云的单个共享 VPC 网络
- 私有云的两个共享 VPC 实例
这两种方案都部署在单个区域中，可让您管理来自本地环境的流量。
下图展示了单个区域的单个共享 VPC 网络。
通过分离共享 VPC 实例，您可以将费用和网络流量分组到不同的业务部门，同时在 VMware Engine 私有云中保持逻辑分离。下图显示了单个区域中的多个共享 VPC 网络。
私有云网络
在私有云中，网络由 NSX-T 提供支持，后者提供了一个软件定义网络层，其中包含微分段、路由和负载均衡等高级功能。VMware Engine 蓝图会为您的 VMware Engine 服务创建一个网络。该网络是单个第 3 层地址空间。路由默认处于启用状态，允许区域内的所有私有云和子网在无需额外配置的情况下进行通信。如下图所示，创建私有云时，系统会创建多个子网，包括管理子网、服务子网、工作负载子网和边缘服务子网。
配置私有云时，您必须选择不与私有云中的其他网络、本地网络、私有云管理网络或 VPC 网络中的子网 IP 地址范围重叠的 CIDR 范围。选择 CIDR 范围后，VMware Engine 会自动为各个子网分配 IP 地址。以下表格以 10.0.0.0/24 CIDR 范围为例，展示了蓝图的管理子网的 IP 地址范围。
| 子网 | 说明 | IP 地址范围 |
|---|---|---|
| 系统管理 | 适用于 ESXi 主机管理网络、DNS 服务器和 vCenter 服务器的 VLAN 和子网 | 10.0.0.0/26 |
| VMotion | 适用于 ESXi 主机的 vMotion 网络的 VLAN 和子网 | 10.0.0.64/28 |
| HCX 上行链路 | HCX IX（迁移）和 NE（扩展）设备用于访问其对等设备并支持创建 HCX 服务网格的上行链路 | 10.0.0.216/29 |
工作负载虚拟机包含在 NSX-T 子网中。NST-T 边缘上行链路提供外部连接。私有云 CIDR 范围大小决定了 NST-T 子网中可支持的 ESXi 节点数量。ESXi 节点使用 VSAN 子网进行存储传输。
下表显示了基于 10.0.0.0/24 CIDR 范围的 NSX-T 主机传输子网、NSX-T 边缘上行链路子网和 VSAN 子网的 IP 地址范围。
| 子网 | 说明 | IP 地址范围 |
|---|---|---|
| VSAN | VSAN 子网负责 ESXI 主机与 VSAN 存储集群之间的存储流量。 | 10.0.0.80/28 |
| NSX-T 主机传输 | 负责网络连接的 ESXi 主机区域的 VLAN 和子网，允许防火墙、路由、负载均衡和其他网络服务。 | 10.0.0.128/27 |
| NSX-T 边缘上行链路-N [N=1-4] | 借助 NSX-T 边缘上行链路，外部系统可以访问在 NSX-T 网络上运行的服务和应用。 |
|
对于服务子网和边缘服务子网，VMware Engine 不会分配 CIDR 范围或前缀。因此，您必须自行指定不重叠的 CIDR 范围和前缀。下表显示了蓝图的服务子网和边缘服务子网的 CIDR 块。
| 子网 | 说明 | IP 地址范围 |
|---|---|---|
| Service-N [N=1-5] | 服务子网可让虚拟机绕过 NSX 传输，直接与 Google Cloud 网络通信，从而实现高速通信。 |
|
| Edge 服务 | 如果启用了可选的边缘服务（例如点到站点 VPN、互联网访问和外部 IP 地址），则该范围是必需的。范围是为每个区域确定的。 | 10.0.1.0/26 |
路由
除了从本地网络或其他 VMware Engine 私有云延伸的网络之外，VMware Engine 内的所有通信以及与外部 IP 地址的所有通信默认情况下都通过第 3 层进行路由。该蓝图配置了一个与本地混合连接（使用 Cloud VPN 或 Cloud Interconnect）相关联的 Cloud Router，其中包含 VMware Engine IP 地址范围的汇总自定义通告路由。NSX 网段路由在 Tier-0 级别进行汇总。该蓝图通过 NSX-T DHCP 中继将 DHCP 服务启用为在 VMware Engine 私有云中设置的 DHCP 服务。
DNS 配置
VMware Engine 允许您将项目中的 Cloud DNS 地区用作对等互连 VPC 网络中连接的所有管理设备的单个 DNS 解析端点。即使您的专用云部署在不同区域，也可以执行此操作。
在为多个或单个私有云配置地址解析时，您可以使用 Cloud DNS 设置全球地址解析。
默认情况下，您可以解析任何启用了 Cloud DNS 的 VPC 网络的管理区域。
当蓝图创建与标准 VMware Engine 网络相关联的私有云时，系统会创建关联的管理 DNS 区域，并自动填充管理设备条目。
如果标准 VMware Engine 网络是与 VPC 或另一个 VMware Engine 网络对等互连的 VPC 网络，则蓝图会自动创建管理 DNS 区域绑定。此可用区绑定可确保从该网络上的 Google Cloud 虚拟机解析管理设备。下图显示了 Cloud DNS 拓扑。
从 VMware Engine 到互联网的出站流量
该蓝图为您提供了以下三种从 VMware Engine 到互联网的出站流量选项：
- 通过客户的本地环境出站
- 通过 VMware Engine 互联网网关的出站流量
- 通过客户的附加 VPC 使用外部 IP 地址出站
下图展示了这些选项。
从互联网到 VMware Engine 的入站流量
该蓝图为从互联网流向 VMware Engine 的流量提供了以下三种选项：
- 通过客户的本地环境入站
- 通过客户 VPC 入站，使用 Cloud Load Balancing 和（可能）Google Cloud Armor
- 通过 VMware Engine 使用外部 IP 地址的入站流量
下图展示了这些选项。
日志记录
借助此蓝图，您可以使用日志接收器将 VMware Engine 管理操作发送到 Cloud Audit Logs。通过分析 VMware Engine 审核日志，管理员可以识别可疑行为、调查事件，并证明符合监管要求。
日志导出还可以作为安全信息和事件管理 (SIEM) 系统的提取来源。Google 支持以下可为 VMware Engine 提供服务的提取来源：
- 托管 Google Cloud 组织，包括云结构和资产遥测
- VMware 服务组件
- 在 VMware Engine 中运行的工作负载
Google SecOps 包含一个内置的自动化日志提取流水线，用于提取组织数据，并提供转发系统，以将 VMware Engine 和工作负载中的流式遥测数据推送到 Google SecOps 提取流水线中。Google SecOps 会使用相关内容丰富遥测数据，并使其可供搜索。您可以使用 Google SecOps 查找和跟踪安全问题的发展情况。
监控
该蓝图会安装一个适用于 Cloud Monitoring 的独立代理，以将指标从您的私有云转发到 Cloud Monitoring。蓝图会设置预定义的信息中心，其中会提供 VMware Engine 资源和资源利用率的概览。在 VMware vCenter Server 中，VMware 提供了一些工具来帮助您监控环境并找到问题所在。您可以在当前的运维中使用这些工具，并作为对其他监控选项的补充。
如下图所示，蓝图使用部署在客户 VPC 中的托管式实例组自动部署独立代理。该代理从 VMware vCenter 收集指标和 syslog 日志，并将其转发到 Cloud Monitoring 和 Cloud Logging。
备份
该蓝图使用 Backup and DR 为 VMware 工作负载提供数据保护服务。该服务使用部署在客户 VPC 中的受管设备。该设备通过专用 Google 访问通道和 WebSocket 连接到 Google 控制平面。备份存储在 Cloud Storage 中，该服务提供精细的恢复选项，可让您将单个文件或整个虚拟机恢复到特定时间点。
运营最佳实践
本部分介绍了一些最佳实践，您可以在部署蓝图后根据自己的环境和要求实施这些实践。
添加更多备用节点
VMware Engine 集群会自动调整大小，至少有一个备用节点以实现弹性。备用节点是 vSphere HA 中的固有行为，这意味着此节点在集群中可用，并且会相应地产生费用。
您可以向集群添加更多备用节点，以确保在维护窗口期间获得有保障的容量。此决定可能会产生额外的消耗费用，并且这些节点由您的组织直接管理。
您添加的备用节点会显示为 vSphere 集群中的额外节点。（可选）您可以在备用节点上调度工作负载。
考虑私有云的资源限制
VMware Engine 私有云在计算、存储和网络组件方面存在资源限制。在部署私有云时，请考虑这些限制，以便您的环境能够根据工作负载需求进行扩缩。
实现费用管理选项
您可以实施以下一项或多项措施来管理费用：
- 承诺使用折扣 (CUD)
- 自动扩缩
- 核心数限制
- 计算容量超额订阅
使用承诺使用折扣
CUD 提供折扣价格，以换取您承诺在指定期限最少使用的资源水平。VMware Engine CUD 会应用于区域中的 VMware Engine 节点总使用量，从而为您提供较低可预测的费用，而无需您进行任何手动更改或更新。折扣适用于提供相应服务以及您已购买 CUD 的区域中的 VMware Engine 节点用量。
使用自动扩缩
VMware Engine 可让您根据预定义的阈值和水位自动在集群中添加或移除节点。如果指定条件持续至少 30 分钟，系统就会触发这些政策。向 vSphere 集群（标准或扩展）应用或更新自动扩缩政策时，请考虑以下事项：
- 默认情况下，自动扩缩功能处于停用状态。您必须为每个集群明确启用此功能。
- 在延伸集群中，您在政策中指定的节点数量是每个可用区添加或移除的节点数量，这会相应地影响结算。
- 由于计算、内存和存储空间用量通常是独立的，因此监控多个指标的自动扩缩政策会使用“或”逻辑添加节点，使用“与”逻辑移除节点。
- 自动扩缩上限由Google Cloud 项目和 VMware Engine 私有云中的可用配额决定。
- 启用自动扩缩功能与手动添加或移除节点并非互斥。例如，借助“存储空间容量优化”政策，您可以手动移除节点，前提是能够将虚拟机磁盘空间减少到足以容纳集群中的所有虚拟机。虽然可以手动移除节点，但在使用自动扩缩时，这种做法并非最佳实践。
限制核心数
借助 VMware Engine，管理员可以减少向客户操作系统（即在 VMware Engine 上运行的虚拟机）公开的有效 CPU 核心数。某些软件许可协议要求您减少公开的核心数。
超额订阅 VMware Engine 计算容量
过度订阅 VMware Engine 计算容量是一种标准做法，与 Compute Engine 单租户节点不同，不会产生额外费用。较高的超额订阅比率可能有助于减少环境中的有效可结算节点数，但可能会影响应用性能。在确定企业工作负载的大小时，我们建议您先使用 4:1 的比率，然后根据适用于您的使用情形的因素修改该比率。
部署蓝图
您可以在企业基础蓝图或 Fabric FAST 上部署蓝图。
如需在企业基础蓝图上部署蓝图，请完成以下操作：
- 部署企业基础蓝图。
- 部署 VMware Engine 企业蓝图。如需了解相关说明，请参阅 VMware Engine 企业蓝图代码库。
如需在 Fabric FAST 上部署蓝图，请参阅 Fabric FAST 代码库。Google Cloud VMware Engine 阶段 会部署 VMware Engine 企业蓝图。
不使用企业基础蓝图或 Fabric FAST 部署蓝图
如需在不先部署企业基础蓝图或 Fabric FAST 的情况下部署蓝图，请验证您的环境中是否存在以下资源：
- 包含
development、nonproduction和production文件夹的组织层次结构 - 每个文件夹中的共享 VPC 网络
- 可提供 VMware Engine 私有云需要的 IP 地址范围的 IP 地址方案
- 适用于 VMware Engine 私有云的 DNS 机制
- 符合您的安全状况的防火墙政策
- 通过内部 IP 地址访问 Google Cloud API 的机制
- 与您的本地环境连接的机制
- 用于安全和审核用途的中心化日志
- 符合您的安全状况的组织政策
- 可用于部署 VMware Engine 的流水线
后续步骤
- 了解 VMware Engine。
- 了解如何将 VMware 虚拟机实例迁移到私有云。
- 阅读计算最佳实践。
- 阅读网络最佳实践。
- 阅读 VMware Engine 安全性最佳实践。
- 阅读存储最佳实践。
- 请参阅费用估算最佳实践。
- 从 VMware 访问 VMware Engine 页面。