Kafka(카프카)란 ?

카프카(Kafka)란?

• 이벤트 스트레밍 플랫폼이다.
• 증권 거래소, 은행과 같은 실시간으로 지불 및 금융 거래를 처리하는 곳에서 대표적으로 사용한다.
• 데이터 플랫폼, 이벤트 중심 아키텍처 및 마이크로서비스(MSA)의 기반 역할
• 대용량의 실시간 로그 처리에 특화되어 TPS가 우수하다. - 고성능
• 분산 처리에 효과적으로 설계 되어 병렬처리와 확장(Scaleout), 고가용성(HA) 용이 - 클러스터링
• 발행/구독(Publish-Subscribe) 모델 ( Push-Pull 구조 )
  • 메시지를 받기를 원하는 컨슈머가 해당 토픽(topic)을 구독함으로써 메시지를 읽어 오는 구조
  • 기존에 퍼블리셔나 브로커 중심적인 브로커 메시지와 달리 똑똑한 컨슈머 중심
  • 브로커의 역할이 줄어들기 때문에 좋은 성능을 기대할 수 있음
• 파일 시스템에 메시지를 저장함으로써 영속성(durability)이 보장
  • 장애시 데이터 유실 복구 가능
  • 메시지가 많이 쌓여도 성능이 크게 저하되지 않음
  • 대규모 처리를 위한 batch 작업 용이

 

주요 개념 및 용어

• KafkaCluster : 카프카의 브로커들의 모임. Kafka는 확장성과 고가용성을 위하여 broker들이 클러스터로 구성
• Broker : 각각의 카프카 서버, 동일 노드에 여러 브로커를 띄울 수 있다.
• Zookeeper : 카프카 클러스터 정보 및 분산처리 관리 등 메타데이터 저장. 카프카를 띄우기 위해 반드시 실행되어야 함(곧 카프카 클러스터와 통합 예정)
• Producer : 메시지(이벤트)를 발행하여 생산(Wirte) 하는 주체
• Consumer : 메시지(이벤트)를 구독하여 소비(Read) 하는 주체

 

 

kafka vs RabbitMQ

1. kafka는 pub/sub 방식 / RabbitMQ는 메시지 브로커 방식
   kafka의 pub/sub방식은 생산자 중심적인 설계로 구성. 생성자가 원하는 각 메시지를 게시할 수 있도록 하는 메시지 배포 패턴으로 진행
   RabbitMQ의 메시지브로커방식은 브로커 중심적인 설계로 구성. 지정된 수신인에게 메시지를 확인, 라우팅, 저장 및 배달하는 역할을 수행하며 보장되는 메시지 전달에 초점
2. 전달된 메시지에 대한 휘발성
   RabbitMQ는 queue에 저장되어 있던 메시지에 대해 Event Consumer가져가게 되면 queue에서 해당 메시지를 삭제한다.
   하지만, kafka는 생성자로부터 메시지가 들어오면 해당 메시지를 topic으로 분류하고 이를 event streamer에 저장한다. 그 후, 수신인이 특정 topic에 대한 메시지를 가져가더라도 event streamer는 해당 topic을 계속 유지하기 때문에 특정 상황이 발생하더라도 재생이 가능하다.
3. 용도의 차이
   kafka는 클러스터를 통해 병렬처리가 주요 차별점인 만큼 방대한 양의 데이터를 처리할 때, 장점이 부각된다.
   RabbitMQ는 데이터 처리보단 Manage UI를 제공하는 만큼 관리적인 측면이나, 다양한 기능 구현을 위한 서비스를 구축할 때, 장점이 부각된다.

 

 

 

출처 : https://galid1.tistory.com/793

Kafka - Kafka란? (Kafka의 구조와, 주요개념)

https://velog.io/@cho876/%EC%B9%B4%ED%94%84%EC%B9%B4kafka-vs-RabbitMQ

카프카(kafka) vs RabbitMQ