6장 카프카 운영 가이드는 다음 내용에 대한 내용이다. 카프카 운영 환경에서 빈번하게 사용되는 중요한 명령어 클러스터 확장을 위한 주키퍼와 카프카 스케일 아웃 방법 JXM를 이용한 카프카 모니터링 방법, 카프카 매니저 활용법 6.1 필수 카프카 명령어 카프카 명령어들은 설치 경로의 bin 디렉토리에 위치함 토픽 생성 ~ /usr/local/kafka/bin/kafka-topics.sh \ --zookeeper peter-zk001:2181,peter-zk002:2181,peter-zk003:2181/peter-kafka \ --replication-factor 1 --partitions 1 \ --topic peter-topic --create # topic : 토픽명토픽 리스트 확인 ~ /usr/loc..
카프카, 데이터 플랫폼의 최강자 - 3장 요약 정리 내용임. 3.1 카프카 디자인의 특징 분산시스템 카프카는 분산 시스템으로 구성되어 있어서 분산 시스템의 장점을 갖는다. 단일 시스템 대비 높은 성능 높은 가용성 확장성이 좋음 (아파치 카프카 문서에 따르면 링크드인에서 가장 사용량이 높은 클러스터는 60대의 브로커 운영한다고 함) 페이지 캐시 카프카는 처리량을 높이기 위해 페이지 캐시를 이용한다. OS는 물리적 메모리에 애플리케이션을 위한 부분을 할당하고 남은 잔여 메모리 일부를 페이지 캐시로 사용해 OS의 전체적 성능을 높인다. (페이지 캐시라는 것은 카프카가 구현한 기능이 아니고 OS 레벨에서 제공하는 기능) 페이지 캐시를 사용하면 디스크 I/O 양이 줄기 때문에 처리 속도가 매우 빨라서 전체적인 성..
책 카프카, 데이터 플랫폼의 최강자 2장에 대한 요약 정리 내용입니다. 2장 카프카 설치 분산 애플리케이션을 사용하게 되면 분산 애플리케이션 관리를 위한 안정적인 코디네이션 애플리케이션이 추가로 필요하게 된다. 이미 안정적인 코디네이션 서비스로 검증된 주키퍼를 많이 사용하고 카프카도 주키퍼를 사용한다. 주키퍼 주키퍼는 분산 애플리케이션을 위한 코디네이션 시스템 안정적인 서비스를 위해 분산되어 있는 각 애플리케이션 정보를 중앙에 집중 구성 관리, 그룹 관리 네이밍, 동기화 등의 서비스 제공 주키퍼에 저장되는 데이터는 모두 메모리에 저장되어 처리량이 매우 크고 속도도 빠름 주키퍼 설치 및 실행 자바는 설치되어있어야함 설치 ~ cd /usr/local/ ~ wget http://apache.mirror.cdn..
책 카프카, 데이터 플랫폼의 최강자 1장에 대한 요약 정리 내용입니다. 1장 카프카란 무엇인가 탄생 배경 카프카는 링크드인에서 처음 출발한 기술 링크드인이 급속도로 성장하면서 발생하는 내부 여러 이슈들을 해결하기 위해 탄생함 엔드투엔드(end-to-end) 연결 방식의 아키텍처는 많은 문제점이 있음 실시간 트랜잭션(OLTP) 처리와 비동기 처리가 동시에 이뤄지지만 통합된 전송 영역이 없어서 복잡도 증가함 데이터 파이프라인 관리가 어려움 RDBMS, 하둡, 모니터링 시스템, 키-값 저장소 등이 처음에 각자의 목적에 맞게 만들어지지만 시간이 지나면서 서로 연결되어야하는 일들이 필연적으로 발생함 데이터 포맷과 처리 방법이 제각각이라 확장하기 힘들고 조정 및 운영에 비용이 많이듬 복잡성으로 인해 시스템 간 데이..
