3일차

3일차

교육 참고 내용

• https://hub.docker.com/r/mthenw/frontail/

• http://www.authorstream.com/Presentation/k16wire-4116492-devops-docker-v6/

도커 멀티 호스트 구성

• 오케스트레이션 : 쿠바, 도커 스웜

• 도커 모니터링 :

도커 컨테이너 마운트

• 컨테이너 데이터 마운트

• 볼륨 : 도커가 관리하는 호스트 영역과 마운트 -> 주로 볼륨 방식으로 통일됨

• 바인드 마운트 : 호스트 특정 디렉토리와 마운트

• tmps 마운트 : 호스트 메모리와 마운트

볼륨 특징

• 도커가 추천하는 마운트 방식

• 컨테이너로부터 데이터가 분리

• 컨테이너간 데이터 공유가 가능

• 호스트와 컨테이너 간 파일 공유가 가능

• I/O 성능 향상

• 저장위치는 호스트 서버내 도커가 관리하는 영역

  • /var/lib/docker/volume

  • 볼륨 위치 지정이 가능. 그러나 도커가 관리하는 영역은 달라지지 않음.

볼륨 관리 유형

• 케이스 1 : 컨테이너 내부에 저장

• 케이스 2 : 도커 호스트 파일시스템 볼륨 마운트

• 케이스 3 : 클라우드 프로바이더 볼륨 마운트

  • volume-driver를 이용해 네트워크로 연결된 장치에 저장

볼륨 주요 명령어

$ docker volume create
$ docker volume ls
$ docker volume inspect
$ docker volume rm 

# 볼륨 생성
$ docker volume create --name test1

# 컨테이너 생성 및 실행
$ docker run -it -v test1:/www/test1 ubuntu bash  

# 컨테이너 생성
$ docker run -d --name=gpgs -p 10022:22 -p 3000:3000 \
-v gogs-data:/data gogs/gogs

• 지정안하면 임의 할당 driver -> local

네트워킹 모델

• 도커가 시작 될 때 호스트 머신에 docker0라고 부르는 가상 ㄴ인터페이스를 생성

• 사설 IP -> 컨테이너 내부에서 사용하는 IP

Network 주요 명령어

$ docker network create
$ dokcer network ls
$ docker network inspect
$ docker network rm
$ docker network connect
$ docker network disconnect

network 유형

• bridge : 단일 호스트내에서 컨테이너를 연결해주는 네트워크 (ex - docker0)

• overlay : 멀티 호스트 간에 연결 해주는 네트워크

bridge network

• 컨테이너는 동일 호스트내에 위치

• 사용자 정의 bridge 네트워크에 포함된 컨테이너는 컨테이너 이름으로 통신 가능

$ docker network create blue

$ docker run -itd --net=red --name ubuntu1 ubuntu 

$ docker run -itd --net=blue --name ubuntu3 ubuntu

$ apt-update

# 연결 -> 실행중에도 가능
$ docker network connect blue 컨테이너명

overay network

• 멀티호스트 간의 네트워크 구성

• key-value 스토어 : Consul. Etcd, Zookeeper

• key-value 스토어에 연결된 호스트 클러스터

• 커널버전 3.16이상

• 각 호스트 도커엔진 설정

  • 포트오픈

    • tcp 2377 : 클러스터 관리

• consul.io

  • 서비스 디스커버리나 설정관련 기ㅅ능을 구현할 때 사용 할 수 있는 서비스 메시 솔루션

  • 헬스체크, KV 스토어 , 시큐어 서비스 스토어 -> 오픈소스

• 키벨류 머신 1, 도커 호스트 머신 2대 총 3대의 가상 머신이 필요함

$ docker-machine ls
$ docker-machine create -d virtualbox mhl-consul

$ docker $(docker-machine config mhl-consul) run -d -p 8500:8500 -h consul progrium/consul -server -bootstrap

$ docker-machine create -d virtualbox \
--engine-opt="cluster-store=consul://$(docker-machine ip mhl-consul):8500" \
--engine-opt="cluster-advertise=eth1:0" \
mhl-demo1

$ docker-machine create -d virtualbox \
--engine-opt="cluster-store=consul://$(docker-machine ip mhl-consul):8500" \
--engine-opt="cluster-advertise=eth1:0" \
mhl-demo2


# 접속 해당 머신으로
$ eval $(docker-machine env mhl-demo1)

$ docker network create -d overlay frontend

$ docker network ls

$ eval $(docker-machine env mhl-demo2)

$ docker network ls

$ eval $(docker-machine env mhl-demo1) 

# 네트워크  frontend  붙이기
$ docker run -itd --name=web --net=frontend nginx  

$ eval $(docker-machine env mhl-demo2) 
$ docker network ls
# 네트워크 frontend 붙이기
$ docker run -it --rm --net=frontend busybox wget -qO- http://web

도커 스웜

• 도커 호스트 ㅌ클러스터를 구성하고, 클러스터에 컨테이너를 배치해주는 도구

• 표준 Docker API

• 스케쥴링 지원

• 디스커버리 지원 : Consul, Etcd, Zookeeper

스웜 모드

• ehzj dpswlsdp zmffjtmxj rhksflrk xhdgkqehls ahem

• • 조건 : 도커 엔진 1.12.0 이상

• 멀티호스트네트워킹 : 분산환경에서 여러개 노드를 하나의 네트워크로 묶은것

• 서비스 디스커버리 : 멀티호스트

• 헬스체킹

• 노깅

• 스케일아웃

• 모니터링

• HA

롤링 업데이트를 활용한 배포 프랙티스

• BlueGreen Deployment

• Canary Release

스웜 모드 중요개념

스웜 클러스터

• 스웜을 이용해 구축한 클러스터

• aka 스웜

• node : 스웜 클러스터에 참여하는 도커 엔진 인스턴스

  • Manager Node

    • 스웜매니저가 실행

    • 스웜 클러스트 상태를 관리하는 노드. 오케스트레이션

    • Service 정의, Task 할당

  • Worker Node

    • 매니저 노드의 명령을 받아서 컨테이너 작업을 수행

    • Task 처리

• 서비스

  • 배포단위

  • 한개 서비스는 여러개의 테스크를 갖음

  • 보통 1개의 이미지를 이용해 동일한 타입의 ㅓㄴ테이너를 여러개 실행

  • global services

    • 클러스터에 있는 모든 노드에서 실행 되는 서비스

  • replicated services

    • 스케일 아웃을 위해 특정 노드에서 실행하는 서비스

• Task

  • 컨테이너 배포 단위, 컨테이너와 컨테이너에서 처리하는 명령

  • 스웜 스케쥴링 단위

스웜 모드 명령어

$ swarm init # 생성
$ swarm join # 참여
$ service create
$ service inspect
$ service ls
$ servcie rm
$ servcie

• No extermal KV(key-valeu) stroe needed

스웜 실습 참고하여 해보기

• --swarm-master 옵션 : 스웜매니저로 사용?

• 워커노드는 위 옵션 빼도 됨

$ docker-machine create virtualbox nod1
$ docker-machine create virtualbox nod2
$ docker-machine create virtualbox nod3

# 스웜 생성
$ docker swarm init --advertiese-addr 192.168.99.104
# 2,3 번가서 
$ docker swarm join --token 발행된거 스웜ip:port

# 노드 확인
$ eval (~ nod1)
$ docker node ls
# 서비스 생성
$ docker service create --name myweb -p 80:80 nginx:1.10
# 서비스 확인
$ docker service ls
$ docker service ps myweb(컨테이너)
$ curl

ingress 네트워크

• swarm 클러스트 외부에 서비스 포트 공개를 지원

• 모든 노드는 ingress routing mesh 에 들어감

  • 필수포트

    • 7946 : 디스커버리포트

    • 4789 : 인그레스 네트워크 포트

• HAProxy (로드밸런싱) -> 라우팅 -> 내부연결

$ docker service scale myweb=5  #  -> 5개로 늘린다
$ docker service ps myweb       # myweb 확인
$ docker service upate --image nginx:1.11 myweb # nginx 1.11 버전으로 갱신

swarm kit

• 리눅스 킷과 스왐이 합쳐진....

• 도커 노드 클러스터링 이슈

  • 싱글노드 : private ip

  • 멀티노드

• swarmd

• swarmct

쿠버네티스

• 1세대 -> 2세대 -> 3세대(k8s)

• 컨테이너 어플리케이션에 대한 배포, 스케일링, 관리를 자동화 해주는 오픈소스 시스템

• 왜 쿠버네티스가 필요한가

• 서비스 디스커버리 : 컨테이너 노출

• 로드밸런싱 : 컨테이너 네트워크 트래픽 관리

• 스토리지 오케스트레이션 (볼륨 데이터 공유 등)

• 네트워크, 스토리지 잘해야됌

• 상태관리: 자동화된 롤아웃,백으로 노드에 대한 상태를 유지

• 스케쥴링 : 조건에 맞는 노드를 찾아서 컨테이너를 배치

• 클러스터링 : 가상 넽워크를 통해 하나의 클러스터 노드를 제공

• 리소스 모니터링, 시크릿 등...

  • 시크릿 -> 인프라 관리 -> 키값 관리가 많은데... 무분별하게 쓰여지는것이 많고... 안정적인 관리를 위한?

kubectl 명령어

• dashboard : 웹서비스

# mini kube 설치
$ curl -Lo minikube https://storage.googleapis.com/minikube/releases/latest/minikube-darwin-amd64 && chmod +x minikube && sudo mv minikube /usr/local/bin/
# start
$ minikube start --vm-driver=virtualbox
# 시작안되는경우
$ rm -f ~/.minikube

$ eval $(minikube docker-env)

$ minikube docker-env

# kubectl 설치
$ curl -LO https://storage.googleapis.com/kubernetes-release/release/$(curl -s https://storage.googleapis.com/kubernetes-release/release/stable.txt)/bin/darwin/amd64/kubectl
$ chmod +x ./kubectl
$ sudo mv ./kubectl /usr/local/bin/kubectl

# kubectl 확인
$ kubectl cluster-info

# 이미지 빌드
$ docker build -t hello-node:v1 .

# 이미지 확인
$ docker images

# 배포
$ kubectl run hello-node --image=hello-node:v1 --port=8080

$ kubectl get deployments

$ kubectl get pods

$ kubectl config view

$ kubectl expose deployment hello-node --type=LoadBalancer

# 확인
$ minikube service hello-node

$ vi server.js # 수정 v2ㅗ

$ docker build ~

$ kubectl set iamage deployment/hello-node hello-node=hello-node:v2

# nginx-pod.yaml
apiVersion: v1
kind: Pod
metadata:
  name: nginx
spec:
  containers:
  - name: nginx
    image: 
...

# yaml 설정 생성 / 실행
$ kubectl create -f nginx-pod.yaml 

# 수정
$ kubectl aply -f ㅍ파일명

k8s 클러스터

• k8s 클러스터 : 컨테이너 애플리케이션을 실행하는 노드 == 워쿼노드의 집합

  • 마스터 -> 여러개의 워커

  • 마스터 -> 컨트롤플레인으로 명칭 변경

• etcd, kube-controller-manager, cloud-controller-manager, 스케쥴러

• 노드 : 파드들이 생성되는 머신

컨트롤 플레인

• k8s 클러스터를 관리

• 1대이상(운영-최소 3대) 필요하며 실제로 컨테이너를 배치하지 않는다.

• api 서버 : 클라이언트 통신하는 http(s) REST API 서버

• 쿠베 컨트롤러 매니저 : DaemonSet Contorller, Replication Controoler 등의 컨트롤러를 관리하고 API서버와 통신

• 클라우드 컨트롤러 매니저 : 공개 클라우드 사업자를 위해 확장 포인트제공

• 스케쥴러 : 노드에 리소스를 배치한다

• etcd: 분산형 key-value 저장소, 설정 정보 저장

Node

• 실제로 컨테이너가 실행되는 머신... 마스터 API서버와 통신하면서 노드에 컨테이너를 관리

• kubelet : API 서버와 통신하며 컨테이너 상태를 관리

• kube-Proxy (프록시 서버) : 네트워크 프록시, 로드밸런서

• cAdivisior : 리소스 모니터링

• 컨테이너 런타임 : Docker, Container

Pod (가장중요)

• 배포단위

• 하나의 Pod 은 여러 개의 컨테이너를 가짐

• Pod내에 있는 컨테이너 끼리는 로컬 콜 -> 브릿지 네트워크

• 고유 IP 가짐. Pod이 가짐. VM? 서버?

• CPU, Memory, volumes, IP Address 및 기타 자원을 할당. (Pod 내의 모든 컨테이너가 자원을 공유)

• 컨트롤러 관리

• Pod IP Range

Service

• pods은 늘어나거나 줄어들 수 있음.

• pods으로 가는 traffic을 로드밸런싱 해줄 수 있어야하는데, service가 그역할을 수행

• Private IP가 service에 할당

• Service에 할당된 IP+PORTfmfx hdgo wjqrmsgkaus, enldp dlTsms ㅔㅐㅇㄴdp round-robin등의 방식으로 접근

• sticky session 지원

• Service 유형은 Cluster IP, NodePort, Loadbalace, Ingress 가 있음

Cluster IP

• 팟이 유동적이기 떔에 클러스터내 고유한 IP

Ingress GW

kube-controller-manager

• ReplicaSet

  • 팟을 관리

  • 예전에는 Replication Controller였는데 대체중

• Deployment

kubeflow

• 쿠버네티스 기반 머신러닝 툴킷

• https://www.kubeflow.org/

Docker 호스트 모니터링

htop

• 터미널 기반 유닉스 프로세스 모니터닝 도구

# 터미널기반
$ docker run -it  --rm --pid host tehbilly/htop

$ docker run -d -P --name myweb nginx

$ docker run -it --rm --pid=container:myweb tehbilly/htop

# 웹콘솔 
$ docker run -it --pid=host -v /var/run/docker.sock:/var/run/docer.sock:ro --name glances nicolargo/glances

$ docker run -d -p 61208:61208 -p 61209:61209 -e "GLACNES_OPT=-w" --pid=host -v /var/run/docker.sock:/var/run/docker.sock:ro --name glances nicolargo/glances

컨테이너 로깅 기준

• 로그를 이벤트 스트림으로 취급하라

• 로그파일로 관리하지말고 stdout으로 출력

• 로그파일은 앱이 아닌 실행환경으로 관리한다

$ docker logs [컨테이너명 | 컨테이너 아이디]

$ docker-compose logs -f [서비스명]

멀티호스트 모니터링

• frontail

ELK를 이용한 로그 분석 환경 구축

• 엘라스틱 서치 : 아파치 루신 기반읜 검색 엔진 서버

• 로그스태시 : 로그와 같은 데이터를 실시간으로 수집해주는 엔진

• 키바나 :엘라스칙 서치 결과를 분석하고 표현해주는 플랫폼

• 레디스 : 인메모리 데이터 저장소

싱글호스트 구축

• git clone http://github.com/deviantony/docker-elk -> elastic/changeme

• k8s로 ELK 환경을 구축해보기

$ docker-machine create -d virtualbox --virtualbox-memory "2048" elkr

$ docker-machine ssh elkr

$ sudo sysctl -w vm.max_map_count=262144

$ docker $(docker-machine config elkr) run -d -p 9200:9200 --name elasticsearch
docker.elastic.


$ docker-machine ssh elkr

# ES HQ 플러그인 설치
$ docker exec -it elasticsearch /bin/bash 

$ 접속 -> 
$ .usr/share/elasticsearch/bin/plugin install https://github.com/NLPa~~

# ES HQ 플로그인 확인
$ curl http://$(docker-machine ip elkr):9200/_plugin/hq

# kibana 설치 -> link로 바라봐야하므로 앨 서 먼저 설치하고 설치해야함
$ docker $(docker-machine config elkr) run -d  --link elasticsearch:elasticsearch --name kibana -p 5601:5601 kibana 

# 확인
$ curl http://$(docker-machine ip elkr):5601


# 레디스 설치
$ docker $(docker-machine config elkr) run -d -p 6379:6379 --name redis redis

$ docer-machine ssh elkr

$ docker exec -it redis reids-cli info

# 수집 대상 > nginx 
$

# json 포맷로그를 남기는 nginx.conf 파일
# 파일 복사

$ docker run -d -P --nane web1 -v ~/nginx.conf:/etc/nginx/nginx.conf \
-v ~/nginx/log:/var/log/nginx \
-v ~/nginx/content:/usr/share/nginx/html nginx

$ tail -f ~

# nginx log -> redis로 유입시키는 .. log-conllector.conf 정의

$ docker run -it --rm --link reids:redis 
-v /home/docker/nginx/log:/nginx/log \
-v ~/logstash:/config-dir logstash logstash -f /config-dir/log-collector.conf

$ docker run -it --rm \ 
--link reids:redis \
--link elasticsearch:elasticsearch \
-v ~/logstash:/config-dir \

..

# elkr 네트워크를 추가한다
$ docker $(docker-machine config mhl-elkr) network create -d overlay elkr 

# web 네트워크
$ docker $(docker-mahine config mhl-elkr) \
run -d -p 9200:9200 \
--net=elkr --name elasticsearch elasticsearch

멀티호스트 구축