카프카, 데이터 플랫폼의 최강자

 

  지난번 레디스와 마찬가지로 이번에 회사에서 카프카를 이용해 이벤트 처리를 구현하게 되었다. 레디스는 그래도 이미 어느정도 쓰고 대충은 알았으나 카프카는 완전 처음 사용했다. 그래서 산지는 1년 정도 된(작년 5월 26일 저자 직강 세미나 간다고 샀었네. 정말 거의 딱 1년 전) 이 책을 다시 꺼내서 공부했다.

 

목차

1. 카프카란 무엇인가
2. 카프카 설치
3. 카프카 디자인
4. 카프카 프로듀서
5. 카프카 컨슈머
6. 카프카 운영 가이드
7. 카프카를 활용한 데이터 파이프라인 구축
8. 카프카 스트림즈 API
9. 카프카 SQL을 이용한 스트리밍 처리
10. 그 밖의 클라우드 기반 메시징 서비스
11. 부록> 도커를 이용한 카프카 설치

  카프카는 링크드인에서 개발한 오픈소스로서 사실상 메시지 큐 솔루션의 표준으로 자리잡았다. 기존의 메시지보다 속도나 고가용성 면에서 우수하며, sub한다고 데이터가 사라지지 않아 같은 데이터를 여러 사용처에서 땡겨다 사용할 수 있는 이점이 있다.

 

  일반적인 카프카에 대한 이론과 어플리케이션 구현에 관한 내용은 6장 정도까지라 거기 까지만 읽었다. 그 뒤는 카프카 스트림즈, KSQL 등에 대한 설명이라 나중에 필요하면 살펴볼 예정이다.

 

  카프카의 최대 장점 중 하나로 손꼽히는 고가용성(High Availability)에 대해 설명이 자세하게 잘 나온다. ACK 레벨 설정에 따른 브로커가 다운 되었을 때의 여러 케이스들을 그림과 예시로 잘 설명해 되있어서 이해하기 편했다. 다만 회사에서는 이미 잘 갖추어진 인프라 위에서 개발을 하는 것이라 장애복구나 카프카 설치 등을 할 일이 없어 빠르게 넘어갔다. 나중에 인프라 설치할 일이 있을지 모르겠다. 이미 클라우드 서비스도 잘 되어 있는 것 같고...

 

  자바로 구현된 프로듀서와 컨슈머가 작동하는 원리와 세팅 방법이 제일 궁금했다. 기본 언어 공부나 SQL 공부처럼 쉽게 테스트하고 눈에 보이는 부분이 아니라서 그렇다. 멀티 서버 환경에서 프로듀서/컨슈머가 어떤 파티션이랑 연결되고, 배포 상황과 같이 서버가 내려갈 때 어떻게 리밸런싱되고 다시 컨슈밍 하고 하는 상황 등이 궁금하다(여전히). 이런 부분은 책으로 혹은 검색으로 해소하기가 힘든 것 같다. 잘하는 사람에게 직접 그림으로 물어보고 속시원히 대답을 들어보고 싶다.

 

카프카, 데이터 플랫폼의 최강자, 책만(고승범, 공용준)