화니의 세상

VPC CNI업데이트 후 외부네트워크에 문제가 생기고 인그레스가 정상적이지 않은 문제가 생겼습니다.

VPC CNI 을 제거하고 클러스터에서 이 추가 기능의 기존 구성을 재정의합니다. 를 체크하고 문제가 해결되었습니다.

* AWS EKS(Amazon Elastic Kubernetes Service) 에 설치한 기록입니다.

- 기본 설정 적용

kubectl create -f https://download.elastic.co/downloads/eck/2.0.0/crds.yaml
kubectl apply -f https://download.elastic.co/downloads/eck/2.0.0/operator.yaml

- 먼저 PV(PersistentVolume)를 설정해 줍니다. 저렴하게 저장하기위해 st1을 위해 셋팅했습니다.

kind: StorageClass
apiVersion: storage.k8s.io/v1
metadata:
  name: hdd
  annotations:
    storageclass.kubernetes.io/is-default-class: "false"
provisioner: kubernetes.io/aws-ebs
parameters:
  type: st1
  fsType: ext4
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: pv-elastic
  namespace: default

spec:
  accessModes:
    - ReadWriteOnce
  awsElasticBlockStore:
    fsType: ext4
    volumeID: aws://ap-northeast-2c(리젼)/볼륨ID
  capacity:
    storage: 500Gi
  persistentVolumeReclaimPolicy: Delete
  storageClassName: hdd

- ElasticSearch를 생성합니다. 미리 생성한 PV에 자동으로 PVC(PersistentVolumeClaim)가 연결됩니다.

apiVersion: elasticsearch.k8s.elastic.co/v1
kind: Elasticsearch
metadata:
  name: es
spec:
  version: 8.0.1
  nodeSets:
    - name: default
      count: 1      
      podTemplate:
        spec:
          containers:
            - name: elasticsearch
              env:
                - name: ES_JAVA_OPTS
                  value: -Xms1g -Xmx1g
              resources:
                requests:
                  memory: 2Gi
                  cpu: 2
                limits:
                  memory: 4Gi
      volumeClaimTemplates:
        - metadata:
            name: elasticsearch-data 
          spec:
            accessModes:
              - ReadWriteOnce
            resources:
              requests:
                storage: 500Gi
            storageClassName: hdd

- Kibana를 셋팅합니다.

Ingress는 nginx-ingress기준으로 설정했습니다.

apiVersion: kibana.k8s.elastic.co/v1
kind: Kibana
metadata:
  name: es
spec:
  version: 8.0.1
  count: 1
  elasticsearchRef:
    name: es
  # Please upgrade your browser 메세지 방지
  config:
    csp.strict: false    
  http:
    tls:
      selfSignedCertificate:
        disabled: true
  podTemplate:
    spec:
      containers:
        - name: kibana
          env:
            - name: NODE_OPTIONS
              value: "--max-old-space-size=1024"
          resources:
            requests:
              memory: 0.5Gi
              cpu: 0.5
            limits:
              memory: 1Gi
              cpu: 1
---
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: "kibana-ing"
  annotations:    
    cert-manager.io/cluster-issuer: "letsencrypt-production"    
    nginx.ingress.kubernetes.io/ssl-redirect: "true"
    nginx.ingress.kubernetes.io/ssl-passthrough: "true"
    
    

spec:
  ingressClassName: nginx
  tls:
    - hosts:
        - kibana.hwani.net
      secretName: kibana-tls
  rules:
    - host: kibana.hwani.net
      http:
        paths:
          - path: /
            pathType: Prefix
            backend:
              service:
                name: es-kb-http
                port:
                  number: 5601

- 리눅스

kubectl get secret es-es-elastic-user -o=jsonpath='{.data.elastic}' | base64 --decode; echo

- 파워쉘

$s=kubectl get secret es-es-elastic-user -o=jsonpath='{.data.elastic}'
[System.Text.Encoding]::UTF8.GetString([System.Convert]::FromBase64String($s))

https://kibana.hwani.net(설정 도메인) 으로 로 접속하여 

아이디 : elastic

암호 : 쉘내용

으로 접속합니다.

기본 설정이 끝났습니다.

보통 AWS에 도메인을 연결하려면 Route53을 통해 aaa.com, bbb.net 과 같이 전체를 이용해야 합니다.

하지만 원하는 *.abc.helllo.com 만 사용하는 방법을 정리해 보았습니다.

먼저 Certificate Manager 에 접속하여 *.abc.hello.com 이나 원하는 서브 도메인을 입력합니다.

이메일 인증과 cname인증을 지원하며 원하는 방식으로 인증을 할 수 있습니다.

인증에 성공시 인증서 리소스에서 아래와 같은 코드를 복사해둡니다.

arn:aws:elasticloadbalancing:********************

사용하던 Deployment 와 Service를 띄워주고 

아래와 같이 인그레스(Ingress)를 작성하여 적용해줍니다.

---
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: "이름"
  namespace: test
  annotations:
    alb.ingress.kubernetes.io/scheme: internet-facing
    kubernetes.io/ingress.class: alb    
    external-dns.alpha.kubernetes.io/hostname: test.abc.hello.com
    # AWS Certificate Manager certificate's ARN
    alb.ingress.kubernetes.io/certificate-arn: "arn:aws:acm:*************"
    alb.ingress.kubernetes.io/listen-ports: '[{"HTTP": 80}, {"HTTPS":443}]'
    # http접속시 https로 리다이렉트
    alb.ingress.kubernetes.io/ssl-redirect: "443"

spec:
  ingressClassName: alb
  rules:    
    - http:
        paths:
          - path: /
            pathType: Prefix
            backend:
              service:
                name: "서비스명"
                port:
                  number: 80

kubectl apply -f 파일명

현재 인그레스에 보이는 ADDRESS를 사용하는 DNS업체에서 CNAME을 통해 연결하시면 됩니다.

kubectl get ingress --all-namespaces

NAMESPACE   NAME       CLASS   HOSTS   ADDRESS                   PORTS   AGE
test     test-ingress   alb     *       abcdef.elb.amazonaws.com   80      176m

DNS업체별로 등록방식은 다르지만 CNAME명 *.abc.hello.com CNAME값 abcdef.elb.amazonaws.com 식으로 적어주시면 됩니다.

이제 지정한 도메인 test.abc.hello.com 로 접속하면 https로 잘 나오게 됩니다.