1、활용 사례

1.RabbitMQ：

사용 편의성과 유연성에 대한 요구가 높은 상황에 적합하다

• 비동기 작업 처리：RabbitMQ는 신뢰할 수 있는 메시징 메커니즘을 제공하므로 비동기 작업 처리에 적합합니다. 예를 들어 시간이 오래 걸리는 작업을 메시지 큐에 넣은 다음，소비자가 비동기로 처리하게 하여 시스템의 응답 속도와 확장성을 높일 수 있습니다.

• 시스템 구성 요소 간 결합 해소：RabbitMQ를 메시지 미들웨어로 사용하면 서로 다른 시스템 구성 요소가 메시지를 통해 결합을 해소할 수 있어, 느슨하게 결합된 아키텍처를 구현하고 시스템의 유지보수성과 유연성을 높일 수 있습니다.

• 이벤트 기반 아키텍처：RabbitMQ의 발행-구독 모델로 이벤트 기반 아키텍처를 구축할 수 있다. 시스템의 이벤트를 메시지로 해당 토픽에 발행하고, 서로 다른 소비자가 관심 있는 토픽을 구독하여 그에 맞는 처리를 수행할 수 있다.

2.RocketMQ：

대규모 데이터 처리와 높은 처리량이 필요한 상황에 적합

• 분산 트랜잭션：RocketMQ는 분산 트랜잭션 메시지를 지원하며, 여러 업무 시스템이 관련된 분산 트랜잭션 시나리오에 적합하다. 메시지의 일관성과 신뢰성을 보장하는 동시에 높은 처리량의 메시지 전달 기능을 제공한다.

• 실시간 로그 처리：RocketMQ는 높은 처리량과 낮은 지연 시간을 갖추고 있어, 로그 수집 및 분석, 로그 집계 등의 실시간 로그 처리에 사용할 수 있다.

• 스트림 처리：RocketMQ는 스트림 처리 방식을 지원하며, 생성된 데이터 스트림을 메시지 큐를 통해 스트림 처리 프레임워크（예：Flink、Spark Streaming）로 전달하여 실시간 데이터 처리와 분석을 수행할 수 있다.

3.Kafka：

높은 처리량이 필요한 실시간 데이터 스트림 처리 및 스트리밍 처리 환경에 적합

• 데이터 파이프라인과 실시간 데이터 처리：Kafka의 높은 처리량과 영구 저장 기능은 신뢰할 수 있는 데이터 파이프라인 및 실시간 데이터 처리 시스템을 구축하는 데 이상적인 선택이며，스트리밍 데이터의 수집、전송 및 처리에 사용됩니다.

• 로그 및 이벤트 스트림 처리：Kafka의 파티션과 순서 보장 특성은 애플리케이션 로그 수집, 이벤트 소싱, 업무 모니터링 등 로그 및 이벤트 스트림 처리를 위한 이상적인 솔루션이 되게 한다.

• 실시간 스트림 분석과 머신러닝：Kafka를 스트림 처리 프레임워크（예：Flink、Spark Streaming）와 함께 사용하면 실시간 스트림 분석과 머신러닝 작업을 지원하고, 실시간 데이터 스트림을 처리하여 실시간 인사이트와 의사결정 지원 정보를 얻을 수 있다。

2、서비스 아키텍처

• RabbitMQ

1. Channel（채널）：Channel은 RabbitMQ와 애플리케이션 사이의 가상 연결입니다. 물리적 연결（connection）하나에 여러 채널을 생성하면 애플리케이션은 메시지 전달 작업을 동시에 수행할 수 있습니다. 채널은 메시지를 보내고 받으며, 큐 선언, 익스체인지 정의, 바인딩 등 메시지와 관련된 작업도 수행합니다. 채널은 하나의 물리적 연결을 통해 RabbitMQ와 상호작용하는 가벼운 세션으로 볼 수 있습니다.

2. Exchange（교환기）：교환기는 메시지를 수신하고 전달하는 중심입니다. 메시지가 RabbitMQ로 전송되면 교환기를 통해 라우팅됩니다. 교환기는 유형과 바인딩 규칙에 따라 메시지를 하나 이상의 큐로 라우팅합니다. 일반적인 교환기 유형에는 직접 교환기（direct）、토픽 교환기（topic）、팬아웃 교환기（fanout）、헤더 교환기（headers）가 있습니다.

3. Queue（큐）：큐는 RabbitMQ가 메시지를 저장하는 버퍼다. 메시지를 즉시 컨슈머로 라우팅할 수 없으면 큐에 저장되어 컨슈머가 가져와 처리하기를 기다린다. 각 큐에는 고유한 이름이 있으며, FIFO（선입선출） 순서로 메시지를 전달하고 소비한다.

4. Virtual Host（가상 호스트）：가상 호스트는 RabbitMQ 서버를 여러 독립적인 부분으로 나누기 위한 논리적 격리 환경입니다. 각 가상 호스트에는 자체 익스체인지、큐、바인딩、권한 설정이 있습니다. 가상 호스트는 서로 다른 애플리케이션이나 서비스를 격리하고，보안 및 리소스 관리를 제어하는 데 도움이 됩니다.

5. Broker（브로커）：Broker는 RabbitMQ 메시지 큐 서버의 인스턴스로, 메시지의 수신, 저장, 라우팅을 담당한다. 중개자 역할을 하며 생산자가 보낸 메시지를 소비자에게 전달한다. 하나의 RabbitMQ 인스턴스에는 여러 Broker가 포함될 수 있으며, 각 Broker는 여러 가상 호스트와 큐를 수용할 수 있다.

• RocketMQ

1. NameServer（네임 서버）：NameServer는 RocketMQ의 네이밍 서비스 구성 요소로，Broker의 라우팅 정보를 관리하고 제공하는 데 사용됩니다. 메타데이터의 중심 역할을 하며，Broker 등록 정보、Topic 라우팅 정보 등을 유지합니다. Producer와 Consumer는 메시지를 보내고 받기 전에 NameServer와 상호 작용하여 올바른 Broker 정보를 얻어야 합니다.

2. Controller（컨트롤러）：Controller는 RocketMQ의 컨트롤러 구성 요소로, 전체 RocketMQ 클러스터의 작업을 조율하고 관리한다。Broker의 상태 변화를 모니터링하고, 클러스터의 확장과 축소를 처리하며, 부하 분산 등의 작업을 수행한다。Controller는 RocketMQ 클러스터의 핵심 구성 요소 중 하나로, 클러스터의 안정적인 운영과 자동화된 관리를 보장한다。

3. Broker（브로커）：Broker는 RocketMQ의 메시지 저장 및 처리 노드입니다. Producer에서 보낸 메시지를 받아 디스크에 저장합니다. 또한 Consumer의 메시지 가져오기 요청을 처리하고, Consumer가 소비하도록 메시지를 전달합니다. 하나의 RocketMQ 클러스터에는 여러 Broker가 포함될 수 있으며, 각 Broker는 일부 Topic의 메시지 데이터를 저장합니다.

• KafkaMQ

1. Broker（브로커）：Broker는 Kafka 클러스터의 노드로, 메시지를 저장하고 처리한다。각 Broker는 독립적인 Kafka 서버 인스턴스이다。별도의 물리 서버、가상 머신 또는 컨테이너일 수 있다。하나의 Kafka 클러스터에는 여러 Broker가 포함될 수 있으며, 이들이 협력하여 고가용성과 높은 처리량의 메시지 전달을 구현한다。

2. Topic（주제）：Topic은 메시지의 논리적 분류 또는 주제다. 메시지를 발행하고 구독하는 단위다. Producer는 지정된 Topic에 메시지를 발행하고, Consumer는 관심 있는 Topic을 구독해 메시지를 수신한다. Topic은 관련 메시지를 분류하고 묶어 두는 메시지 컨테이너로 볼 수 있다.

3. Partition（파티션）：Topic은 하나 이상의 파티션으로 나눌 수 있으며, 각 파티션은 Topic의 부분집합이다. 파티션은 메시지 저장과 전달의 최소 단위다. 각 파티션은 물리적으로 독립된 로그 파일 하나에 대응하며, 이 파일들은 서로 다른 Broker에 분산되어 있다. 파티션을 통해 Kafka는 수평 확장과 병렬 처리를 구현하면서 더 높은 처리량을 제공할 수 있다. 각 파티션의 메시지는 선입선출 순서로 저장되고 전달된다.

3、영속성과 신뢰성：

• RabbitMQ：RabbitMQ는 메시지 영속화 메커니즘을 사용하여 메시지를 디스크에 영속적으로 저장함으로써 메시지의 신뢰성을 보장한다. 다양한 메시지 확인 메커니즘과 트랜잭션을 지원하여 메시지의 신뢰성 있는 전달을 보장할 수 있다.

• RocketMQ：RocketMQ는 강력한 영속성과 신뢰성 기능을 갖추고 있으며, 동기식 디스크 기록과 비동기 복제 메커니즘을 지원하여 높은 신뢰성의 메시지 전달을 보장할 수 있습니다.

• Kafka：Kafka는 메시지를 영구 저장하는 방식으로 보관하며，메시지는 디스크의 로그 파일에 기록됩니다. 파티션과 복제 메커니즘을 통해 높은 신뢰성과 영구 저장 기능을 제공합니다.

4、처리량

• RabbitMQ：RabbitMQ는 일반적으로 처리량이 비교적 낮아 중소 규모의 애플리케이션 환경에 적합하다。RabbitMQ는 중소 규모의 애플리케이션 환경에 적합하며, 보통 수만에서 수십만 규모의 메시지를 처리할 수 있다。주로 메시지의 신뢰성 있는 전달과 영속화에 중점을 두므로, 높은 처리량이 요구되는 경우 최적화와 조정이 필요할 수 있다。

• RocketMQ：RocketMQ는 높은 처리량을 제공하며, 백만 건 규모의 메시지 처리 능력을 갖출 수 있다. 분산 트랜잭션과 대규모 메시지 전달 환경에서 뛰어난 성능을 보인다.

• Kafka：Kafka는 높은 처리량으로 유명한 메시지 큐 시스템으로, 수백만 건 또는 그 이상의 메시지를 처리할 수 있다. Kafka는 대규모 데이터 처리, 실시간 스트림 처리, 로그 처리 등 높은 처리량이 필요한 상황에 적합하다.

5、응답 시간

6、커뮤니티와 생태계

• RabbitMQ：RabbitMQ는 풍부한 플러그인 및 도구 생태계를 갖추고 있으며, 폭넓은 개발자 커뮤니티의 지원을 받습니다.

• RocketMQ：RocketMQ는 중국에서 널리 사용되며, 풍부한 Alibaba 생태계와 커뮤니티의 지원을 받는다.

• Kafka：Kafka는 활발한 오픈 소스 커뮤니티와 폭넓은 생태계를 갖추고 있으며，많은 대기업에서 널리 사용되고 있다.

• Github Star

• Github 기여자

전반적으로：rabbitmq<rocketmq<kafka

7、설계 철학

• RabbitMQ：RabbitMQ는 AMQP（고급 메시지 큐 프로토콜）기반의 오픈 소스 메시지 미들웨어로，사용 편의성과 유연성을 중시하며，다양한 메시징 패턴과 신뢰할 수 있는 메시지 전달을 지원합니다.

• RocketMQ：RocketMQ는 알리바바가 오픈 소스로 공개한 분산 메시지 미들웨어로, 원래 알리바바 내부의 대규모 데이터 처리 요구를 충족하기 위해 설계되었으며 높은 처리량과 낮은 지연 시간이 특징입니다. 2016년에 알리바바는 RocketMQ를 Apache 소프트웨어 재단에 기증했습니다.

• Kafka：Kafka는 LinkedIn이 개발한 분산 스트림 처리 플랫폼으로, 주로 높은 처리량의 실시간 데이터 스트림 처리에 쓰이며, 데이터를 영속적으로 저장하고 처리한다. 2011년에 Kafka는 Apache 오픈 소스 프로젝트가 되었다.

8、데이터 모델

• RabbitMQ：RabbitMQ는 큐（Queue）모델을 채택하며，메시지가 큐로 전송되면 소비자가 큐에서 메시지를 받아 처리합니다.

• RocketMQ：RocketMQ는 주제（Topic）와 태그（Tag）모델을 사용합니다. 메시지는 주제로 발행되며, 소비자는 주제와 태그에 따라 메시지를 구독하고 필터링할 수 있습니다.

• Kafka：Kafka는 발행-구독 모델을 사용한다. 메시지는 토픽에 발행되며, 여러 소비자가 같은 토픽을 구독하고 각자 독립적으로 메시지를 소비할 수 있다.

9、웹 관리 도구

• RabbitMQ

RabbitMQ 웹 관리 인터페이스：RabbitMQ에는 브라우저로 접속할 수 있는 웹 관리 인터페이스가 내장되어 있습니다. 직관적인 사용자 인터페이스를 제공하여 큐、익스체인지、바인딩、사용자 권한 등 RabbitMQ 서버의 여러 측면을 확인하고 관리할 수 있습니다. 기본적으로 웹 관리 인터페이스는 15672 포트에서 실행됩니다.

• RokcetMQ

RocketMQ Console：RocketMQ는 공식 웹 콘솔인 RocketMQ Console을 제공한다. 이 콘솔은 Topic, 소비자 그룹, 메시지 조회, 성능 통계 등 RocketMQ 클러스터의 여러 측면을 관리하고 모니터링하는 시각적 인터페이스를 제공한다. 콘솔 URL에 접속해 이 도구를 사용할 수 있다.

• Kafka

Kafka Manager：Kafka Manager는 Yahoo가 개발한 오픈 소스 그래픽 관리 도구로，Apache Kafka 클러스터를 관리하는 데 사용된다。클러스터 상태의 실시간 모니터링、토픽 및 파티션 관리、컨슈머 그룹 관리 등의 기능을 제공한다。

10、메시지 패턴

주류 메시지 미들웨어의 전송 모델은 주로 점대점 모델과 발행·구독 모델입니다. 구체적으로는 다음과 같습니다：

1. RabbitMQ：

• 발행-구독 패턴：RabbitMQ는 발행-구독 패턴을 지원한다. 생산자가 익스체인지（Exchange）에 메시지를 발행하면, 익스체인지는 자신에게 바인딩（Binding）된 여러 큐로 메시지를 전달한다. 소비자는 각자 독립적으로 큐에서 메시지를 받을 수 있다.

• 점대점 방식：RabbitMQ는 점대점 방식도 지원한다. 생산자가 지정된 큐로 메시지를 보내면 소비자가 해당 큐에서 메시지를 수신한다. 각 메시지는 오직 하나의 소비자만 수신하고 처리할 수 있다.

2.RocketMQ：

• 발행-구독 패턴：RocketMQ는 발행-구독 패턴을 지원하며, 생산자가 지정된 토픽（Topic）으로 메시지를 보내면 소비자는 관심 있는 토픽을 구독한다。RocketMQ의 구독 방식은 브로드캐스트 모드와 클러스터 모드 등 여러 방식을 지원하여, 메시지 멀티캐스트나 부하를 분산한 소비를 구현할 수 있다。

• 큐 모드：RocketMQ는 큐 모드도 지원하며，이 모드에서는 생산자가 지정된 큐로 메시지를 보내고，소비자가 지정된 큐에서 메시지를 받는다。여러 소비자가 같은 큐에서 병렬로 메시지를 소비할 수 있다。

3.Kafka：

• 발행-구독 패턴：Kafka는 발행-구독 패턴을 사용한다. 생산자는 지정된 토픽（Topic）에 메시지를 발행하고, 소비자는 관심 있는 토픽을 구독한다. Kafka의 구독 방식은 여러 소비자 그룹을 지원하며, 각 소비자 그룹은 독립적으로 메시지를 소비할 수 있어 높은 처리량과 수평 확장을 구현한다.

• 파티션 방식：Kafka는 토픽을 여러 파티션으로 나누며, 각 파티션은 물리적으로 독립된 로그 파일 하나에 대응한다. 프로듀서는 지정된 파티션에 메시지를 보내고, 컨슈머는 파티션별로 병렬 소비할 수 있다. 이러한 파티션 방식 덕분에 Kafka는 수평 확장과 높은 처리량을 구현할 수 있다.