本页面介绍了针对一些常见问题和错误的问题排查步骤。
失败的实例
FAILED
状态表示实例数据已丢失,并且必须删除该实例。
处于 FAILED
状态的 Parallelstore 实例会继续计费,直到被删除为止。
如需检索实例的状态,请按照管理实例:检索实例中的说明操作。
如需删除实例,请参阅管理实例:删除实例。
dfuse 挂载或网络测试期间超时
如果在挂载 Parallelstore 实例时,dfuse -m
命令超时;或者如果 self_test
或 daos health net-test
等网络测试命令超时,则可能是因为网络连接问题。
如需验证与 Parallelstore 服务器的连接,请运行
self_test --use-daos-agent-env -r 1
如果测试报告连接问题,可能有以下两个原因:
DAOS 代理在设置期间可能选择了错误的网络接口
您可能需要排除无法访问 access_points
列表中的 IP 地址的网络接口。
运行
ifconfig
以列出可用的网络接口。示例输出可能会显示多个网络接口,例如eth0
、docker0
、ens8
、lo
等。停止 daos_agent。
修改
/etc/daos/daos_agent.yml
以排除不需要的网络接口。 取消注释exclude_fabric_ifaces
行并更新值。您要添加的条目取决于您的具体情况。例如:exclude_fabric_ifaces: ["docker0", "ens8", "lo"]
重启 daos_agent。
实例或客户端 IP 地址与内部 IP 地址冲突
Parallelstore 实例和客户端不能使用 172.17.0.0/16 子网范围内的 IP 地址。如需了解详情,请参阅已知问题。
ENOSPC
(当实例中有未使用的容量时)
如果您的实例使用最小或平衡分块(默认)策略,即使现有文件未使用实例的全部容量,您也可能会遇到 ENOSPC
错误。在写入通常大于 8 GiB 的大文件时,或者从 Cloud Storage 导入此类文件时,就可能会发生这种情况。
使用最大文件剥离功能可降低出现此类错误的可能性。
Google Kubernetes Engine 问题排查
以下部分列出了一些常见问题以及解决这些问题的步骤。
工作负载 Pod 中的 Transport endpoint is not connected
此错误是由于 dfuse 终止而导致的。在大多数情况下,dfuse 因内存不足而终止。使用 pod 注解 gke-parallelstore/[cpu-limit|memory-limit]
为 Parallelstore 边车容器分配更多资源。如果您不知道要为边车分配多少内存,可以设置 gke-parallelstore/memory-limit: "0"
来移除边车内存限制。请注意,这仅适用于 Standard 集群;对于 Autopilot 集群,您无法使用值 0
取消设置边车容器资源限制和请求。您必须为边车容器显式设置更大的资源限制。
修改注解后,您必须重启工作负载 Pod。向正在运行的工作负载添加注解不会动态修改资源分配。
Pod 事件警告
如果您的工作负载 Pod 无法启动,请检查 Pod 事件:
kubectl describe pod POD_NAME -n NAMESPACE
以下是常见错误的解决方案。
CSI 驱动程序启用问题
常见的 CSI 驱动程序启用错误如下:
MountVolume.MountDevice failed for volume "volume" : kubernetes.io/csi:
attacher.MountDevice failed to create newCsiDriverClient:
driver name parallelstore.csi.storage.gke.io not found in the list of registered CSI drivers
MountVolume.SetUp failed for volume "volume" : kubernetes.io/csi:
mounter.SetUpAt failed to get CSI client:
driver name parallelstore.csi.storage.gke.io not found in the list of registered CSI drivers
这些警告表示 CSI 驱动程序未启用或未运行。
如果您的集群刚刚扩缩、更新或升级,则出现此警告属于正常现象,应该是暂时性的。在执行集群操作后,CSI 驱动程序 Pod 需要几分钟才能正常运行。
否则,请确认集群上是否已启用 CSI 驱动程序。如需了解详情,请参阅启用 CSI 驱动程序。如果启用了 CSI,每个节点都会显示一个名为 parallelstore-csi-node-id
的 Pod 处于启动和运行状态。
AttachVolume.Attach 失败
将 Pod 调度到节点后,卷将附加到节点,并且如果使用节点挂载,系统会创建挂载程序 Pod。
这在控制器上发生,涉及 attachdetach-controller 中的 AttachVolume 步骤。
错误代码 | Pod 事件警告 | 解决方案 |
InvalidArgument |
|
无效的挂载标志会传递给 PersistentVolume 或 StorageClass。 如需了解详情,请参阅支持的 dfuse 挂载选项。 |
NotFound |
|
Parallelstore 实例不存在。验证永久卷的 volumeHandle 是否采用正确的格式。 |
MountVolume.MountDevice 失败
将卷挂接到节点后,系统会将该卷暂存到节点。
此操作在节点上进行,涉及 kubelet 中的 MountVolume.MountDevice 步骤。
错误代码 | Pod 事件警告 | 解决方案 |
FailedPrecondition |
|
此错误通常是由手动删除挂载器 pod 所致。 删除使用 PVC 的所有工作负载,然后重新部署这些工作负载。 这将创建一个新的挂载器 Pod。 |
DeadlineExceeded |
|
无法连接到 Parallelstore 实例。验证您的 VPC 网络和接入点是否已正确配置。 |
MountVolume.SetUp 失败
将卷暂存到节点后,系统会将该卷装载并提供给 Pod 上的容器。此过程在节点上进行,涉及 kubelet 中的 MountVolume.SetUp 步骤。
广告连播挂载
错误代码 | Pod 事件警告 | 解决方案 |
ResourceExhausted |
|
dfuse 进程已结束,这通常是由内存不足 (OOM) 情况导致的。考虑使用 gke-parallelstore/memory-limit 注解提高边车容器内存限制。
如果您不确定要为 parallelstore-sidecar 分配多少内存,我们建议您设置 |
已中止 |
|
由于速率限制或存在的操作,卷挂载操作已中止。此警告属于正常现象,应该是暂时性的。 |
InvalidArgument |
MountVolume.SetUp failed for volume "volume" : rpc
error: code = InvalidArgument desc =
|
如果您在 StorageClass 或 PersistentVolume 中提供了无效的参数,错误日志会指明包含无效参数的字段。对于动态预配,请查看存储类别。对于静态预配,请参阅永久性卷。 |
FailedPrecondition |
MountVolume.SetUp failed for volume "volume" : rpc
error: code = FailedPrecondition desc = can not find the sidecar
container in Pod spec
|
未注入 Parallelstore 边车容器。检查 gke-parallelstore/volumes: "true" Pod 注解是否设置正确。
|
节点挂载
错误代码 | Pod 事件警告 | 解决方案 |
已中止 |
|
由于速率限制或存在的操作,卷挂载操作已中止。此警告属于正常现象,应该是暂时性的。 |
InvalidArgument |
MountVolume.SetUp failed for volume "volume" : rpc
error: code = InvalidArgument desc =
|
如果您在 StorageClass 或永久性卷中提供了无效的参数,错误日志将指明包含无效参数的字段。对于动态预配,请查看存储类别。对于静态预配,请参阅永久性卷。 |
FailedPrecondition |
MountVolume.SetUp failed for volume "volume" : rpc
error: code = FailedPrecondition desc = mounter pod expected to exist but was not found
|
Parallelstore 挂载器 pod 不存在。 如果挂载器 Pod 被意外删除,请重新创建所有工作负载以提示重新创建。 |
DeadlineExceeded |
MountVolume.SetUp failed for volume "volume" : rpc
error: code = DeadlineExceeded desc = timeout waiting for mounter pod gRPC server to become available
|
挂载器 Pod 的 gRPC 服务器未启动。检查挂载器 pod 的日志,确认是否存在任何错误。 |
排查 VPC 网络问题
为服务 servicenetworking.googleapis.com
添加对等连接的权限被拒
ERROR: (gcloud.services.vpc-peerings.connect) User [$(USER)] does not have
permission to access services instance [servicenetworking.googleapis.com]
(or it may not exist): Permission denied to add peering for service
'servicenetworking.googleapis.com'.
此错误表示您没有对用户账号的 servicenetworking.services.addPeering
IAM 权限。
如需了解如何向您的账号添加以下任一角色,请参阅使用 IAM 进行访问权限控制:
roles/compute.networkAdmin
或roles/servicenetworking.networksAdmin
无法在 CreateConnection 中修改分配的范围
ERROR: (gcloud.services.vpc-peerings.connect) The operation
"operations/[operation_id]" resulted in a failure "Cannot modify allocated
ranges in CreateConnection. Please use UpdateConnection.
如果您已在此网络上创建了具有不同 IP 网段的 VPC 对等连接,系统会返回此错误。有两个可能的解决方案:
替换现有 IP 范围:
gcloud services vpc-peerings update \
--network=NETWORK_NAME \
--ranges=IP_RANGE_NAME \
--service=servicenetworking.googleapis.com \
--force
或者,将新的 IP 范围添加到现有连接:
检索对等互连的现有 IP 地址范围列表:
EXISTING_RANGES=$( gcloud services vpc-peerings list \ --network=NETWORK_NAME \ --service=servicenetworking.googleapis.com \ --format="value(reservedPeeringRanges.list())" )
然后,将新范围添加到对等连接中:
gcloud services vpc-peerings update \ --network=NETWORK_NAME \ --ranges=$EXISTING_RANGES,IP_RANGE_NAME \ --service=servicenetworking.googleapis.com
IP 地址范围用尽
问题:实例创建失败,并显示范围已用尽错误:
ERROR: (gcloud.alpha.Parallelstore.instances.create) FAILED_PRECONDITION: Invalid
resource state for "NETWORK_RANGES_NOT_AVAILABLE": IP address range exhausted
解决方法:按照 VPC 指南重新创建 IP 地址范围或扩展现有 IP 地址范围。
如果您要重新创建 Parallelstore 实例,则必须重新创建 IP 范围,而不是扩展 IP 范围。