[kafka] topic 생성 및 확인

[구성] https://abbf.tistory.com/26

[kafka] 구성 및 설정

 

 

 

[topic 생성]

클러스터링이 정상적으로 구성이 되어있는지 확인 해보는 방법이 뭐가 있을까 싶어서,

아래와 같이 각각의 서버에서 두번씩 교차로 총 4개의 토픽을 생성 해 보았다.

server1 (master.com)	# ./kafka-topics.sh --create --bootstrap-server master.com:9092 --replication-factor 2 --partitions 3 --topic SetTopic1 # ./kafka-topics.sh --create --bootstrap-server slave1.com:9092 --replication-factor 2 --partitions 3 --topic SetTopic3
server2 (slave1.com)	# ./kafka-topics.sh --create --bootstrap-server master.com:9092 --replication-factor 2 --partitions 3 --topic SetTopic2 # ./kafka-topics.sh --create --bootstrap-server slave1.com:9092 --replication-factor 2 --partitions 3 --topic SetTopic4

 

 

각각 bootstrap 서버를 달리하여 리스트 조회 시, 위에서 만든 4개의 topic에 대한 리스트가 정상적으로 출력 되어진다.

클러스터링 구현에 이슈는 없는 것으로 보여진다.

server1 (master.com)
server2 (slave1.com)

 

describe 명령어를 주면 상세를 볼수 있다고 하여 SetTopic1에 대해 조회해보았다.

ISR (In-Sync-Replicas) : 현재 정상적으로 구동되고 있는 replica의 목록

 

토픽을 생성하게 되면 앞서 설정한 /kaf_log 디렉토리에 파티션 파일들이 생성된다.

위에서 master에는 setTopic1,3을, slave에는 setTopic2,4 를 생성했기 때문에

topic 의 모체(?)는 각 서버에 있고, replica서버로 topic 이 복사되는거라고 생각 했는데

실제는 생성된 topic의 partition들이 replication 되는 거라고 한다. (참고사이트 내용)

server1 (master.com)
server2 (slave1.com)