##
zookeeper의 snapshot data인 version-2 디렉토리 관련하여 (이하 version-2)
단순하게 테스트 하려다가 보니 데이터 복구가 가능할지에 대해 고민하게 됐고,
그러면서 좀 쓸데없이 딥하게 테스트 한 것 같다.
## 검토 방안
1) version-2 유지 + kafka data 디렉토리 변경
1-1) /kaf_data -> /kaf_data_test (빈 디렉토리)
1-2) /kaf_data_test -> /kaf_data 로 복귀
1-3) /kaf_data 디렉토리명만 유지 후 데이터 삭제
2) version-2 삭제 + 기존 kafka data 디렉토리 유지
## 결과
1) version-2 유지 + kafka data 디렉토리 변경
기존 토픽의 파티션 데이터는 복구되지 않는다.
일부 consumer_offsets의 파티션 값이 남아있거나 초기화 된 형상으로 나와 헷갈리는 부분이 있으나,
전반적으로 데이터 자체는 복구되지 않는 것으로 판단 된다.
2) version-2 삭제 + 기존 kafka data 디렉토리 유지
kafka data 디렉토리에서의 meta.properties에 의해 kafka 자체가 기동되지 않는다.
## 결론
kafka 의 meta.properties에 의해서 version-2의 snapshot 데이터가 올라오는 것 같다.
다만 로그데이터까지의 복구는 아니고 형상(껍데기)만 복구가 된다.
실제 데이터 복구에 대한 방안은 kafka-mirror-maker 가 있는데,
mirror-maker는 데이터 복제하는 kafka api로 알고 있고, 이 복제된 데이터로 복구하는 방식이다.
테스트해봐야겠지ㅠㅠㅠㅠㅠㅠㅠㅠㅠㅠ
'업무 > kafka zookeeper' 카테고리의 다른 글
[GCP][kafka][zookeeper] clustering test (0) | 2024.02.23 |
---|---|
[kafka] kafka-consumer-groups.sh 명령어 관련 (0) | 2024.02.21 |
[zookeeper] snapshot data(version-2) 관련 테스트 (3) (0) | 2024.02.13 |
[zookeeper] snapshot data(version-2) 관련 테스트 (2) (0) | 2024.02.10 |
[zookeeper] snapshot data(version-2) 관련 테스트 (1) (0) | 2024.02.08 |