AWS LoadBalancer Controller

#1. AWS LoadBalancer Controller 란?

AWS LoadBalancer Controller는 Kubernetes 클러스터의 Elastic Load Balancer(NLB or ALB)를 관리하는 데 Ingress.yaml 템플릿에 명시 된 Rule을 통해 LoadBalancer를 관리하는 컨트롤러 입니다.
(Application Load Balancer & Network Load Balancer를 모두 지원합니다)

Kubernetes Application은 외부 트래픽에 노출 되어야 하며, EKS Client는 ELB를 사용하여 태스크를 수행합니다.

Controller를 통해 External Access Allow

Controller를 통해 만들면 Ingress Annotation 값 확인하여, Controller가 LoadBalancer를 대신 만들어 주는 형태입니다.

이때 사용되는 인그레스(Ingress) 는 L7 영역의 요청을 처리합니다.

주로 클러스터 외부에서 쿠버네티스 내부로 접근할 때, 요청들을 어떻게 처리할지 정의해놓은 규칙이자 리소스 오브젝트입니다. 한마디로 외부의 요청이 내부로 접근하기 위한 관문의 역할을 하는 것이죠.

Ingress를 AWS Loadbalancer Controller를 통해 ALB로 선언

외부 요청에 대한 로드 밸런싱, TLS/SSL 인증서 처리, HTTP 경로에 대한 라우팅 등을 설정할 수 있습니다.

NLB는 LoadBalancer 유형의 Kubernetes 서비스에 대한 응답으로 생성되며, 초당 수백만 건의 요청으로 확장할 수 있는 고성능 트래픽 서비스를 제공합니다.

EC2 Loadbalancer 항목에서 추가 됨

AWS Loadbalancer Controller는 Kubernetes Ingress 객체에 대한 반응으로 Application Load Balancer를 자동으로 프로비저닝 합니다.

• TIP과거 "AWS ALB Ingress Controller"로 알려졌으며 "AWS Load Balancer Controller"로 브랜드를 변경했습니다.

Application LoadBalancer 의 Traffic Mode Option

AWS Load Balancer Controller에서 지원하는 Traffic Mode는 Default Instance를 대상으로 Cluster 내 node를 ALB 대상으로 등록하는 방법은 ALB에 도달하는 트래픽은 NodePort로 Routing 된 다음 Pod로 프록시 하거나 IP기반으로 Pod를 IP대상으로 등록하는 방법이 있습니다.

ALB에 도달하는 트래픽은 Pod로 직접 Routing되며, 해당 트래픽 모드를 사용하기 위해 ‘ingress.yaml’파일에 Annotation을 사용하여 지정해야 합니다.

ALB가 생성되면서 각 Application 별 PATH 기반 트래픽 분기

쿠버네티스에서 서비스 타입 중, NodePort 혹은 LoadBalancer로도 외부로 노출할 수 있지만
인그레스 없이 서비스를 사용할 경우, 모든 서비스에게 라우팅 규칙 및 TLS/SSL 등의 상세한 옵션들을 적용해야합니다. 그래서 인그레스가 필요합니다.

Pod형태로 LoadBalancer Controller의 Running 상태

#2. 설치방법

1. Service Account 에 대한 IAM 역할 설정

1. AWS Load Balancer 컨트롤러를 배포하기 전,
   클러스터에 대한 IAM OIDC(OpenID Connect identity Provider)를 생성합니다.
   쿠버네티스가 직접 관리하는 사용자 계정을 의미하는 service account에 IAM role을 연결하기 위해, 클러스터에 IAM OIDC provider가 존재해야 합니다.

eksctl utils associate-iam-oidc-provider \
    --region ${AWS_REGION} \
    --cluster CLUSTER-NAME \
    --approve

(참고) 생성한 IAM OIDC 자격 증명 공급자는 IAM 콘솔 Identity providers 메뉴 혹은 아래의 명령어를 통해 확인할 수 있습니다. 클러스터의 OIDC provider URL을 아래의 명령어들을 통해 확인합니다.

aws eks describe-cluster --name CLUSTER-NAME --query "cluster.identity.oidc.issuer" --output text

명령어 결과 나오는 값은 아래와 같은 형식을 가지고 있습니다

https://oidc.eks.ap-northeast-2.amazonaws.com/id/8A6E78112D7F1C4DC352B1B511DD13CF

위의 결과 값에서 /id/ 뒤에 있는 값을 복사한 후, 아래와 같이 명령어를 수행합니다.

aws iam list-open-id-connect-providers | grep 8A6E78112D7F1C4DC352B1B511DD13CF

결과 값이 출력되면 IAM OIDC identity provider가 클러스터에 생성이 된 것이고,
아무 값도 나타나지 않으면 생성 작업을 수행해야 합니다.

b. AWS 로드 밸런서 컨트롤러에 대한 IAM 정책 다운로드

curl -o iam-policy.json https://raw.githubusercontent.com/kubernetes-sigs/aws-load-balancer-controller/v2.3.1/docs/install/iam_policy.json

c. AWSLoadBalancerControllerIAMPolicy라는 IAM 정책 생성

aws iam create-policy \
    --policy-name AWSLoadBalancerControllerIAMPolicy \
    --policy-document file://iam-policy.json

반환된 정책 ARN을 기록해 둡니다.

d. AWS Load Balancer 컨트롤러에 대한 IAM 역할 및 ServiceAccount를 eksctl를 통해 생성하고
위 단계의 ARN을 붙여 넣습니다.

eksctl create iamserviceaccount \
--cluster=<cluster-name> \
--namespace=kube-system \
--name=aws-load-balancer-controller \
--attach-policy-arn=arn:aws:iam::<AWS_ACCOUNT_ID>:policy/AWSLoadBalancerControllerIAMPolicy \
--override-existing-serviceaccounts \
--region <region-code> \
--approve

또한, 아래의 명령어를 통해, service account가 생성된 것을 확인할 수 있습니다.

kubectl get sa aws-load-balancer-controller -n kube-system -o yaml

2-1 클러스터에 컨트롤러 추가 (helm 사용)

1. helm에 EKS 차트 리포지토리 추가

helm repo add eks https://aws.github.io/eks-charts

b. helm upgrade 차트를 통해 업그레이드 한다면 TargetGroupBinding CRD를 설치합니다

kubectl apply -k "github.com/aws/eks-charts/stable/aws-load-balancer-controller//crds?ref=master"

c. 서비스 계정에 IAM 역할을 사용하는 helm 차트를 설치합니다.

helm install aws-load-balancer-controller eks/aws-load-balancer-controller -n kube-system --set clusterName=<cluster-name> --set serviceAccount.create=false --set serviceAccount.name=aws-load-balancer-controller

helm을 사용하여 load-balancer-controller를 생성할 경우, 기본값으로 Replicas: 2 desired 이며
두 개의 파드가 작동합니다.

2-2 클러스터에 컨트롤러 추가 (Yaml Manifest 사용)

(Fargate에서 컨트롤러를 실행하려면 cert-manager에 의존하지 않는 Helm 차트를 사용하세요.)

1. 먼저, 인증서 구성을 웹훅에 삽입할 수 있도록 cert-manager를 설치합니다. Cert-manager는 쿠버네티스 클러스터내에서 TLS인증서를 자동으로 프로비저닝 및 관리하는 오픈 소스입니다.

kubectl apply --validate=false -f https://github.com/jetstack/cert-manager/releases/download/v1.5.3/cert-manager.yaml

b. Load balancer controller YAML 다운로드합니다.

wget https://github.com/kubernetes-sigs/aws-load-balancer-controller/releases/download/v2.3.1/v2_3_1_full.yaml

c. 텍스트 편집기를 통해 저장된 YAML 파일을 편집합니다.

Deployment.spec.args의 --cluster-name의 EKS클러스터 이름을 수정합니다.

apiVersion: apps/v1
kind: Deployment
. . .
name: aws-load-balancer-controller
namespace: kube-system
spec:
    . . .
    template:
        spec:
            containers:
                - args:
                    - --cluster-name=<INSERT_CLUSTER_NAME> # 생성한 클러스터 이름을 입력

d. 이전에 ServiceAccount를 생성하였으므로 해당 섹션을 전부 삭제합니다.
이렇게 하면 eksctl에서 생성한 iamserviceaccount가 유지됩니다.

apiVersion: v1
kind: ServiceAccount

e. YAML 파일 적용

kubectl apply -f v2_3_1_full.yaml

3. 검증

전제 조건

ALB에는 가용 영역에 걸쳐 최소 2개의 서브넷이 필요하고 NLB에는 1개의 서브넷이 필요합니다.

Subnet Auto Discovery

자동 검색이 작동하려면 서브넷에 적절하게 태그를 지정해야 합니다.
구성한 서브넷에 다음 태그를 포함해야 합니다.

공통 태그

• kubernetes.io/cluster/$CLUSTER_NAME프라이빗 서브넷
• $CLUSTER_NAME 지정한 클러스터 이름과 동일하게 입력합니다.
  AWS LoadBalancer Controller 버전 v2.1.1 이하에서는 퍼블릭 서브넷과 프라이빗 서브넷 모두 다음과 같이 클러스터 이름으로 태그를 지정해야 합니다.
• kubernetes.io/role/internal-elb1퍼블릭 서브넷
• 내부 로드 밸런서의 경우 1 또는 빈 태그 값 으로 설정해야 합니다 .
• kubernetes.io/role/elb1
• 인터넷 연결 로드 밸런서의 경우 1 또는 빈 태그 값 으로 설정해야 합니다 .

EKS-Project 이름의 클러스터에 대한 올바른 태그가 있는 퍼블릭 서브넷의 예는 다음과 같습니다.

Subnet Discovery에 대한 자세한 내용은 아래 링크에서 확인 하실 수 있습니다.

https://kubernetes-sigs.github.io/aws-load-balancer-controller/v2.3/deploy/subnet_discovery/

1. 모든 echoserver 리소스(네임스페이스, 서비스, 배포) 배포

kubectl apply -f https://raw.githubusercontent.com/kubernetes-sigs/aws-load-balancer-controller/v2.0.0/docs/examples/echoservice/echoserver-namespace.yaml &&\
kubectl apply -f https://raw.githubusercontent.com/kubernetes-sigs/aws-load-balancer-controller/v2.0.0/docs/examples/echoservice/echoserver-service.yaml &&\
kubectl apply -f https://raw.githubusercontent.com/kubernetes-sigs/aws-load-balancer-controller/v2.0.0/docs/examples/echoservice/echoserver-deployment.yaml

각 yaml 파일의 내용은 다음과 같습니다.

echoserver-namespace.yaml
---
apiVersion: v1
kind: Namespace
metadata:
  name: echoserver

---
echoserver-service.yaml
apiVersion: v1
kind: Service
metadata:
  name: echoserver
  namespace: echoserver
spec:
  ports:
    - port: 80
      targetPort: 8080
      protocol: TCP
  type: NodePort
  selector:
    app: echoserver

---
echoserver-deployment.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  name: echoserver
  namespace: echoserver
spec:
  selector:
    matchLabels:
      app: echoserver
  replicas: 1
  template:
    metadata:
      labels:
        app: echoserver
    spec:
      containers:
      - image: gcr.io/google_containers/echoserver:1.4
        imagePullPolicy: Always
        name: echoserver
        ports:
        - containerPort: 8080

b. echoserver Ingress 매니페스트를 로컬로 다운로드합니다.

wget https://raw.githubusercontent.com/kubernetes-sigs/aws-load-balancer-controller/v2.0.0/docs/examples/echoservice/echoserver-ingress.yaml

c. echoserver-ingress.yaml 분석

apiVersion: extensions/v1beta1
kind: Ingress
metadata:
    name: echoserver
    namespace: echoserver
    annotations:
        alb.ingress.kubernetes.io/scheme: internet-facing # internal 시 내부 로드 밸런서
        alb.ingress.kubernetes.io/subnets: subnet-05e1c98ed0f5b109e,subnet-07f5bb81f661df61b 두 개 이상의 서브넷을 포함 하도록 Annotation을 편집합니다 .
        alb.ingress.kubernetes.io/tags: Environment=dev,Team=test # LoadBalancer - Target Group에 태그 추가
spec:
    rules:
    - host: echoserver.chnam.link  # 외부 DNS를 사용하려면 해당 필드를 Route 53에서 소유한 도메인으로 변경
        http:
        paths:

## 아래 부분은 경로 설정에 대한 예시입니다. 현재는 입력하지 않습니다.
          - path: /503
            backend:
              serviceName: response-503
              servicePort: use-annotation
          - path: /eks
            backend:
              serviceName: redirect-to-eks
              servicePort: use-annotation
          - path: /path1
            backend:
              serviceName: forward-single-tg
              servicePort: use-annotation
          - path: /path2
            backend:
              serviceName: forward-multiple-tg
              servicePort: use-annotation

ngress annotations에 대한 관련 정보는 아래에서 확인하실 수 있습니다.

https://kubernetes-sigs.github.io/aws-load-balancer-controller/v2.3/guide/ingress/annotations/

d. kubectl apply -f echoserver-ingress.yaml 명령어를 통해 Ingress 적용

e. Ingress Event 확인 kubectl describe ing -n echoserver echoserver

Name:             echoserver
Labels:           <none>
Namespace:        echoserver
Address:          k8s-echoserv-echoserv-d6f0e2ff88-151887753.ap-northeast-2.elb.amazonaws.com
Default backend:  default-http-backend:80 (<error: endpoints "default-http-backend" not found>)
Rules:
  Host                   Path  Backends
  ----                   ----  --------
  echoserver.chnam.link
                         /   echoserver:80 (10.0.1.218:8080)
Annotations:             alb.ingress.kubernetes.io/scheme: internet-facing
                         alb.ingress.kubernetes.io/subnets: subnet-060ac246c10fc60bb,subnet-088233ffcd75a6151
                         alb.ingress.kubernetes.io/tags: Environment=dev,Team=test
                         kubernetes.io/ingress.class: alb
Events:
  Type    Reason                  Age                From     Message
  ----    ------                  ----               ----     -------
  Normal  SuccessfullyReconciled  26m (x2 over 35m)  ingress  Successfully reconciled

f. 해당 호스트 도메인에 ingress 작동이 잘 수행되었는지 확인합니다.

검증 과정은 아래의 링크를 참조하였습니다.

https://kubernetes-sigs.github.io/aws-load-balancer-controller/v2.3/examples/echo_server/#deploy-ingress-for-echoserver

https://kubernetes-sigs.github.io/aws-load-balancer-controller/v2.3/examples/echo_server/#deploy-ingress-for-echoserver

AWS LoadBalancer Controller-Amazon EKS

NLB Target Group Binding 추가