[2018.05.26] [카프카, 데이터 플랫폼의 최강자] 저자 직강 세미나

  지난주 토요일 카프카 세미나를 다녀왔다. 금요일 새벽에 페이스북에서 한다는 사실을 알고 급하게 신청했다. 다양하게 카프카가 사용되고 있지만 직접 구축하고 사용해보지는 않아서 카프카에 대해 두루뭉술한 상태였다. 그런 궁금증을 해소하고자 세미나도 참석하고 가는길에 책도 구입했다.

<책, 세미나, 패스트캠퍼스 강의까지! 멋지다>

세션1. 저자 고승범(peter)님

  첫번째 세션에서는 피터가 실무에서 직접 겪은 다양한 사례들을 공유해주셨다. 사내 공용 카프카를 설계하고 운영까지 하게 된 계기, 장애상황, 성능 비교 등을 나누어 주셨다. 정말 실무에서 산전수전 다 겪은 노력이 보였다. 덕분에 사내 공용 카프카를 잘 쓰고 있다.

<kafka와 rabbitMQ 비교. 처리 속도가 300배 정도까지 차이가 났었다고...>

<그렇다고 합니다>

세션2. 저자 공용준(Andrew)님

  두번째 세션은 앤드류가  Kafka Streams와 KSQL에 대해 나누어 주셨다. Kafka도 잘 모르는 상태에서 들어서 이런걸 할 수 있다, 이런게 있다는 느낌정도 이해하고 넘어갔다. 나중에 직접 쓸 일이 있다면 파봐야 할 것 같다.

  역시 경험도 많고 실무에서 많이 뛰어보셔서 그런지 서비스에 대한 인사이트도 많이 얻게 되었다. 예를들어 "실시간으로 로그를 분석해서 보고 싶어"라는 요구가 있을 때 "실시간"에 대한 합의가 있어야 한다. 실시간을 1분으로 정의하느냐 5분으로 정의하느냐에 따라 그 난이도는 매우 차이가 나기 때문이다.

<말도 많고 재밌게 잘 하셨다>

<Stream vs. Batch 처리>

<비즈니스 상황에서 고려되어야 할 요소들. 무턱되고 그냥 다 된다고(혹은 다 해달라고) 하면 안된다>

<이전 사진과 비슷한 맥락. 최소한으로 규격화된 API 설계를 통해 서비스가 제공되어야함>

  아침에 카프카에 대해 유튜브에서 좀 찾아보고 가서 맥락은 잡으면서 들을 수 있었던 시간이었다. 단순히 메시지 브로커(큐)의 역할만 한다고 알고 있었는데 더 다양하게(stream, KSQL)도 사용될 수 있다는 것도 알게 되었다. 또한 그동안 회사에서 그냥 사용했던(왜 3일동안 카프카를 안쓰면 offset을 초기화 해야하는지, kemi로그는 15분의 딜레이가 있는지 등) 것들을 이해할 수 있게 되었다. 하지만 역시나 실제 실습(혹은 실무) 등 직접 써봐야 더 알것 같다. 조금 늦게 끝나서 저자 사인은 받지 못했다. 나중에 회사에서 시간될때 찾아가서 받아야겠다.