【Kubernetes】Pod 之 配置 HPA

一起养成写作习惯！这是我参与「掘金日新计划 · 4 月更文挑战」的第14天，点击查看活动详情。

一、前言

在实际的生产环境中，当服务的请求数量急剧增加的时候，我们需要对某个服务进行扩容，当资源紧张或服务的工作负载降低时，我们可以对某个服务进行缩容。

通过 Deployment/ReplicationController/ReplicaSet 的 Scale 机制可以完成 Pod 扩缩容。

Pod 扩缩容分为两种模式，手动扩缩容和自动扩缩容：

• 手动扩缩容：通过执行命令 kubectl scale 或通过 RESTful API 对 Deployment/rc/rs 进行 Pod 副本数量设置来一键完成扩缩容。
• 自动扩缩容：指定某个性能指标或自定义业务指标的范围，以及指定 Pod 副本数量的范围，kubernetes 系统会自动在副本数量的范围内根据性能指标的变化进行调整。

二、 配置 HPA

对于需要定义复杂或是多样的扩缩容规则，则可以使用 HorizontalPodAutoscaler 资源对象来实现自定义。

HorizontalPodAutoscaler 资源对象属于 autoscaling API 组，它包括两个版本：

• v1版本：只支持基于 CPU 使用率的自动扩缩容配置
• v2版本：支持基于任意指标的自动扩缩容配置，比如：资源使用率、Pod 指标、其它指标等，目前广泛使用的版本为 autoscaling/v2beta2

（1）v1版本

上文示例，是通过CPU的平均使用率配置扩缩容。

上文示例，使用命令的方式直接布置，其实也可以手动使用 YAML文件创建自动伸缩，可以直接使用 autoscaling/v1 版本。

创建 php-apche-hpa.yaml

apiVersion: autoscaling/v1kind: HorizontalPodAutoscalermetadata:  name: php-apache  namespace: defaultspec:  # 目标作用对象 scaleTargetRef  scaleTargetRef:    apiVersion: apps/v1    # 类型 kind，可以为 Deployment、rc 或是 rs    kind: Deployment    name: php-apache  # Pod 副本数量的最小值  minReplicas: 1  # Pod 副本数量的最大值  maxReplicas: 10  # 期望每个 Pod 的 CPU 使用率 targetCPUUtilizationPercentage，这里设置为 50%，这个使用率基于 Pod 设置的 CPU Request 值进行计算，在前面设置了 requests cpu 为 200m，所以系统会维持 Pod 的实际 CPU 使用率为 100m  targetCPUUtilizationPercentage: 50

（2）v2beta2 版本

apiVersion: autoscaling/v2beta2kind: HorizontalPodAutoscalermetadata:  name: php-apache  namespace: defaultspec:  scaleTargetRef:    apiVersion: apps/v1    kind: Deployment    name: php-apache  minReplicas: 1  maxReplicas: 10  # 在 v2beta2 版本中，使用 metrics 字段定义目标指标值  metrics:    # type 字段表示指标类型    - type: Resource      resource:        name: cpu        # target 字段定义指标的目标值，系统在指标数据达到目标值时将触发扩缩容操作        target:          type: Utilization          averageUtilization: 50

metrics.type 指标类型可以设置为如下三种中的任一一个或是多个的组合：

• Resource: 基于资源的指标值，这里的资源指的是 CPU 和内存 Memory
• Pods: 基于 Pod 的指标值，会将系统中全部 Pod 的指标值进行平均值计算
• Object: 基于某种资源对象（比如 Ingress）的指标值，或是自定义的指标值

推荐尽量使用 Object 类型的资源对象，因为它和 Kubernetes 系统的集成更加自然紧密

对于 Resource 类型指标而言：

• CPU 使用率：在 target.averageUtilization 字段中设置目标平均 CPU 使用率
• 内存 Memory 资源：在 target.AverageValue 字段中设置目标平均内存使用值
• 指标数据通过 metrics.k8s.io API 进行查询
• 必须先启动 Metrics Server 服务

Pods 和 Object 类型指标都属于自定义指标类型，它们的共同点在于：

• 指标数据通过搭建自定义 Metrics Server 服务和监控工具获取
• 指标数据通过 custom.metrics.k8s.io API 进行查询
• 必须先启动自定义的 Metrics Server 服务

1）pods类型指标

Pods 类型指标的数据是从系统中所有Pod 获取到的，所以 target.type 字段只能使用 AverageValue，比如我们需要设置一个 Pods 类型指标名为 packets-per-second，要求在目标指标平均值为 1000 时触发扩缩容操作，则对应的 YAML 文件定义如下所示：

metrics:  # type 字段表示指标类型  - type: Pods    Pods:      # metrics.name 字段设置指标的名字      metrics:        name: packets-per-second      # target 字段定义指标的目标值，系统在指标数据达到目标值时将触发扩缩容操作      target:        type: AverageValue        averageValue: 1k

2）object类型指标

Object 类型指标数据来源于其它资源对象或是自定义指标，target.type 字段可以为 Value 或是 AverageValue（这时会根据 Pod 数量计算平均值），这里可以看两个示例：

1. 数据来源于其它资源对象：设置一个 Object 类型指标名为 requests-per-second，它的值来源于 Ingress “main-route”，当目标值为 2000 时触发扩缩容操作，对应的 YAML 文件格式内容如下：

metrics:  - type: Object    object:      metrics:        name: requests-per-second      describedObject:        apiVersion: networking.k8s.io/v1beta1        kind: Ingress        name: main-route      target:        type: Value        value: 2k

1. 数据来源于自定义指标：设置一个 Object 类型指标名为 http_requests，且必须具有标签 “verb=GET”，当指标平均值达到 500 时触发扩缩容操作，对应的 YAML 文件格式内容如下：

metrics:  - type: Object    object:      metrics:        name: "http_requests"        selector: "verb=GET"      target:        type: AverageValue        averageValue: 500

当一个 HPA 资源对象定义了多种类型的指标时，系统会针对每一种类型的指标都计算 Pod 目标值，最终会以结果中最大的 Pod 值进行扩缩容操作。

（3）External

从 Kubernetes v1.10 版本开始，metrics.type 指标类型新增了一个名为 External 的值：

• 可以支持外部系统指标，比如公有云服务商提供的消息服务或是外部负载均衡器，
• 指标数据通过 external.metrics.k8s.io API 进行查询
• 必须先启动自定义的 Metrics Server 服务

比如设置一个 External 类型指标名为 queue_messages_ready，且必须具有标签 “queue=worker_tasks”，当指标平均值达到 30 时触发扩缩容操作，对应的 YAML 文件格式内容如下：

metrics:  - type: External    object:      metrics:        name: queue_messages_ready        selector: "queue=worker_tasks"      target:        type: AverageValue        averageValue: 30