Kafka

Kafka 와 Redis 의 Pub/Sub 비교

- Kafka, Redis 의 Pub/Sub 방식의 차이    - Pub/Sub 이란?    - Kafka Pub/Sub 의 특징    - Redis Pub/Sub 의 특징    - Kafka, Redis Pub/Sub 비교    - 메시지 수신 단위의 차이Kafka, Redis 의 Pub/Sub 방식의 차이이번에는 Kafka 와 Redis 의 Pub/Sub 기능에 대해 서로 어떤 차이가 있는지 알아보려합니다.그전에 우선 Pub/Sub 기능이 무었인지 간단하게 살펴보겠습니다. Pub/Sub 이란?Pub/Sub 은 Publush / Subscribe 의 줄임말입니다. 생산자/소비자 패턴이라고도 불립니다.이 패턴은 메시지 기반의 미들웨어로 메시지를 발행하는 발행자(publisher) 와 메시지를 수신하는 구..

[Kafka] 컨슈머의 Poll 동작과정 및 max.poll.records 에 대한 오해

예제 및 테스트 코드는 github 에서 확인 가능합니다. Kafka MessageListener 에서 max.poll.records 옵션의 동작 이번에는 카프카 컨슈머의 Listener 와 max.poll.records 옵션의 관계 그리고 제가 가지고 있던 오해에 대해 알아보겠습니다. 먼저 카프카 컨슈머의 구현체인 리스너는 크게 다음과 같이 나누어져 있습니다. MessageListener : Record 를 1개씩 처리한다 BatchMessageListener : Record 다수를 한번에 처리한다 그리고 max.poll.records 옵션은 다음과 같습니다. 컨슈머가 polling 시 최대로 가져갈 수 있는 record 개수 (defualt : 500개) 그렇다면 MessageListener 로 컨슈..