블로그으으

kafka with raft(kafka without zookeeper)? 그동안 카프카를 사용할 때 클러스터의 메타데이터와 상태 정보를 관리하기 위해 zookeeper를 설치해 사용하고 있었다. 하지만 아파치는 KIP-500에서 카프카에서 주키퍼를 없애기로 발표했다. 카프카를 위해 주키퍼까지 설치, 관리하는것이 아니라 카프카만 설치하면 된다는 점이 매력적으로 다가왔고, 이를 적용하기로 했다. 카프카 설치 0. 카프카를 설치를 위한 사전작업 카프카 파일 다운을 위한 wget 설치 yum install wget tar 설치 yum install -y tar java 설치 https://bamdule.tistory.com/57 참고 1. 카프카 설치 # 파일 다운로드 wget https://downloads..

오늘은 카프카 컨슈머의 주요옵션들에 대해서 알아보고, 테스트해보자 먼저 카프카 컨슈머, 컨슈머 그룹, 리밸런싱, 오프셋, 커밋에 대해 알아야한다. 관련 내용은 아래 블로그에서 설명을 잘 하고 있으니 참고하자 리밸런싱 https://soft.plusblog.co.kr/29 오프셋, 커밋 https://freedeveloper.tistory.com/398 준비 1. aws에 주키퍼 1대, 카프카 1대를 설치한다. 2. ec2를 t2-micro사용했더니 메모리가 1Gb로 부족해서 카프카 메모리 줄여줬다 export KAFKA_HEAP_OPTS="-Xmx256M -Xms128M" 3. 외부 사용 포트 열어주기 ## 외부 사용 포트 지정 vi kafka/config/server.properties advertis..