카프카, 데이터 플랫폼의 최강자 - 2장 카프카 설치

책 카프카, 데이터 플랫폼의 최강자 2장에 대한 요약 정리 내용입니다.

2장 카프카 설치

분산 애플리케이션을 사용하게 되면 분산 애플리케이션 관리를 위한 안정적인 코디네이션 애플리케이션이 추가로 필요하게 된다.
이미 안정적인 코디네이션 서비스로 검증된 주키퍼를 많이 사용하고 카프카도 주키퍼를 사용한다.

주키퍼

• 주키퍼는 분산 애플리케이션을 위한 코디네이션 시스템
• 안정적인 서비스를 위해 분산되어 있는 각 애플리케이션 정보를 중앙에 집중
• 구성 관리, 그룹 관리 네이밍, 동기화 등의 서비스 제공
• 주키퍼에 저장되는 데이터는 모두 메모리에 저장되어 처리량이 매우 크고 속도도 빠름

주키퍼 설치 및 실행

자바는 설치되어있어야함

설치

~ cd /usr/local/
~ wget http://apache.mirror.cdnetworks.com/zookeeper/zookeeper-3.4.10/zookeeper-3.4.10.tar.gz
~ tar zxf zookeeper-3.4.10.tar.gz
~ ln -s zookeeper-3.4.10 zookeeper

데이터 디렉토리 생성

지노드 복사본 스냅샷과 트랜잭션 로그 저장

~ mkdir -p /data

주키퍼 노드를 구분하기 위한 ID 정보 파일 생성

~ echo 1 > /data/myid

환경 설정 파일 만들기

~ vi /usr/local/zookeeper/conf/zoo.cfg

tickTime=2000
initLimit=10
syncLimit=5
dataDir=/data
clientPort=2181
server.1=peter-zk001:2888:3888
server.1=peter-zk002:2888:3888
server.1=peter-zk003:2888:3888

주키퍼 실행

# start
~ /usr/local/zookeeper/bin/zkServer.sh start

# stop
~ /usr/local/zookeeper/bin/zkServer.sh stop

카프카 설치

1. 카프카 다운받아서 설치
2. 환경설정 파일 수정
   • {카프카 홈}/config/server.properties
   • 서버별 브로커 아이디, 카프카 저장 디렉토리, 주키퍼 정보 등
3. 카프카 실행

~ {카프카 홈}/bin/kafka-server-start.sh {server.properties 경로}

# 백그라운드로 실행
~ {카프카 홈}/bin/kafka-server-start.sh {server.properties 경로} -daemon

# 종료
~ {카프카 홈}/bin/kafka-server-stop.sh