1、Cenários de aplicação
1.RabbitMQ：
Adequado para cenários com altas exigências de facilidade de uso e flexibilidade
Processamento de tarefas assíncronas：o RabbitMQ fornece um mecanismo confiável de entrega de mensagens, adequado ao processamento de tarefas assíncronas. Por exemplo, tarefas demoradas podem ser colocadas em uma fila de mensagens e depois processadas de forma assíncrona pelos consumidores, melhorando a capacidade de resposta e a escalabilidade do sistema.
Desacoplar os componentes do sistema: usando RabbitMQ como middleware de mensagens, os diferentes componentes do sistema podem ser desacoplados por meio de mensagens, criando uma arquitetura de baixo acoplamento e melhorando a facilidade de manutenção e a flexibilidade do sistema.
Arquitetura orientada a eventos: o modelo de publicação e assinatura do RabbitMQ pode ser usado para construir uma arquitetura orientada a eventos, publicando os eventos do sistema como mensagens nos tópicos correspondentes. Diferentes consumidores podem assinar os tópicos de seu interesse para realizar o processamento correspondente.
2.RocketMQ：
Adequado para cenários de processamento de dados em larga escala e alta vazão
Transações distribuídas：o RocketMQ oferece suporte a mensagens transacionais distribuídas, sendo adequado para cenários de transações distribuídas que envolvem vários sistemas de negócio, garantindo a consistência e a confiabilidade das mensagens e, ao mesmo tempo, oferecendo transmissão de mensagens com alta vazão.
Processamento de logs em tempo real：como o RocketMQ oferece alta taxa de transferência e baixa latência, pode ser usado para processar logs em tempo real, em cenários como coleta e análise de logs, agregação de logs, entre outros.
Processamento de fluxos: RocketMQ oferece um modo de processamento de fluxos, que permite transmitir os fluxos de dados gerados por meio de filas de mensagens para frameworks de processamento de fluxos (como Flink e Spark Streaming), possibilitando o processamento e a análise de dados em tempo real.
3.Kafka:
Adequado para cenários de processamento de fluxos de dados em tempo real e processamento em fluxo com alta vazão
Pipelines de dados e processamento de dados em tempo real：a alta vazão e o armazenamento persistente do Kafka fazem dele uma escolha ideal para construir pipelines de dados confiáveis e sistemas de processamento de dados em tempo real, usados para coletar, transmitir e processar fluxos de dados.
Processamento de logs e fluxos de eventos: os recursos de particionamento e garantia de ordenação do Kafka fazem dele uma solução ideal para processar logs e fluxos de eventos, como coleta de logs de aplicações, event sourcing e monitoramento de negócios.
Análise de fluxos em tempo real e aprendizado de máquina: o Kafka, usado em conjunto com frameworks de processamento de fluxos (como Flink e Spark Streaming), permite executar tarefas de análise de fluxos em tempo real e aprendizado de máquina, processando fluxos de dados em tempo real para obter informações e apoiar decisões também em tempo real.
2、Arquitetura de serviços
RabbitMQ
Channel（canal）：um Channel é uma conexão virtual entre o RabbitMQ e a aplicação. Ao criar vários canais sobre uma conexão física（connection）, a aplicação pode realizar operações de troca de mensagens de forma concorrente. Os canais são responsáveis por enviar e receber mensagens e executar algumas operações relacionadas a elas, como declarar filas, definir exchanges e criar vínculos. Um canal pode ser entendido como uma sessão leve que interage com o RabbitMQ por meio de uma conexão física.
Exchange（central de troca）：a exchange é o centro de recebimento e encaminhamento de mensagens. Quando uma mensagem é enviada ao RabbitMQ, ela é roteada por uma exchange. Conforme seu tipo e suas regras de vinculação, a exchange encaminha a mensagem para uma ou mais filas. Os tipos comuns de exchange incluem direta（direct）, por tópico（topic）, de difusão（fanout）e por cabeçalhos（headers）.
Queue (fila): a fila é o buffer usado pelo RabbitMQ para armazenar mensagens. Quando uma mensagem não pode ser encaminhada imediatamente a um consumidor, ela é armazenada na fila, aguardando que um consumidor a obtenha e processe. Cada fila tem um nome exclusivo, e a entrega e o consumo das mensagens seguem a ordem FIFO (primeiro a entrar, primeiro a sair).
Virtual Host（host virtual）：um host virtual é um ambiente logicamente isolado, usado para dividir um servidor RabbitMQ em várias partes independentes. Cada host virtual tem suas próprias exchanges, filas, vinculações e configurações de permissões. Os hosts virtuais ajudam a isolar diferentes aplicações ou serviços e oferecem controle sobre a segurança e a gestão de recursos.
Broker (intermediário): o Broker é uma instância do servidor de filas de mensagens RabbitMQ, responsável por receber, armazenar e rotear mensagens. Ele atua como intermediário, entregando aos consumidores as mensagens enviadas pelos produtores. Uma instância do RabbitMQ pode conter vários Brokers, e cada Broker pode hospedar vários hosts virtuais e filas.
RocketMQ
NameServer（servidor de nomes）：NameServer é o componente de serviço de nomes do RocketMQ, usado para gerenciar e fornecer informações de roteamento dos Brokers. Ele atua como um centro de metadados, responsável por manter informações de registro dos Brokers, informações de roteamento dos Topics, entre outras. Antes de enviar e receber mensagens, Producer e Consumer precisam interagir com o NameServer para obter as informações corretas dos Brokers.
Controller (controlador): o Controller é o componente controlador do RocketMQ, responsável por coordenar e gerenciar o funcionamento de todo o cluster RocketMQ. Ele monitora as mudanças de estado dos Brokers, gerencia a expansão e a redução do cluster e realiza operações como balanceamento de carga. O Controller é um dos componentes centrais do cluster RocketMQ e garante seu funcionamento confiável e sua gestão automatizada.
Broker（intermediário）：O Broker é o nó de armazenamento e processamento de mensagens do RocketMQ. Ele recebe as mensagens do Producer e as armazena em disco. O Broker também processa as solicitações de busca de mensagens do Consumer e envia as mensagens ao Consumer para consumo. Um cluster RocketMQ pode conter vários Brokers, e cada Broker armazena os dados de mensagens de parte dos Topics.
KafkaMQ
Broker（intermediário）：Um Broker é um nó do cluster Kafka, responsável por armazenar e processar mensagens. Cada Broker é uma instância independente do servidor Kafka. Ele pode ser um servidor físico separado, uma máquina virtual ou um contêiner. Um cluster Kafka pode conter vários Brokers, que trabalham em conjunto para oferecer transmissão de mensagens com alta disponibilidade e alta vazão.
Topic (tópico): um Topic é uma classificação lógica ou um tema das mensagens. É a unidade de publicação e assinatura de mensagens. O Producer publica mensagens no Topic especificado, enquanto o Consumer assina os Topics de seu interesse para recebê-las. Um Topic pode ser entendido como um contêiner de mensagens, usado para classificar e agrupar mensagens relacionadas.
Partition（partição）：um Topic pode ser dividido em uma ou mais partições, e cada partição é um subconjunto do Topic. A partição é a menor unidade de armazenamento e transmissão de mensagens. Fisicamente, cada partição corresponde a um arquivo de log independente, e elas são distribuídas entre diferentes Brokers. As partições permitem que o Kafka ofereça escalabilidade horizontal e processamento paralelo, além de uma taxa de transferência maior. As mensagens de cada partição são armazenadas e transmitidas na ordem de entrada, da primeira à última.
3、Persistência e confiabilidade:
RabbitMQ: o RabbitMQ utiliza um mecanismo de persistência de mensagens, armazenando-as em disco para garantir sua confiabilidade. Oferece suporte a vários mecanismos de confirmação de mensagens e a transações, o que permite garantir a entrega confiável das mensagens.
RocketMQ: o RocketMQ possui recursos robustos de persistência e confiabilidade, com suporte à gravação síncrona em disco e à replicação assíncrona, oferecendo garantias de entrega de mensagens com alta confiabilidade.
Kafka: o Kafka armazena mensagens de forma persistente, gravando-as em arquivos de log no disco. Por meio de mecanismos de particionamento e replicação, oferece alta confiabilidade e armazenamento persistente.
4、Vazão
RabbitMQ：a taxa de transferência do RabbitMQ costuma ser mais baixa, sendo adequado para aplicações de pequeno e médio porte. O RabbitMQ é apropriado para aplicações de pequeno e médio porte e normalmente consegue lidar com volumes de dezenas de milhares a centenas de milhares de mensagens. Seu foco principal é a entrega confiável e a persistência das mensagens；para demandas de alta taxa de transferência, podem ser necessárias otimizações e ajustes.
RocketMQ: RocketMQ tem alta capacidade de vazão, podendo processar mensagens na ordem de milhões. Ele se destaca em cenários de transações distribuídas e transmissão de mensagens em grande escala.
Kafka：Kafka é um sistema de filas de mensagens conhecido por sua alta vazão, capaz de processar milhões de mensagens ou até mais. Kafka é adequado para cenários de alta vazão, como processamento de dados em larga escala, processamento de fluxos em tempo real e processamento de logs.
5、Tempo de resposta
6、Comunidade e ecossistema
RabbitMQ：O RabbitMQ conta com um rico ecossistema de plugins e ferramentas, além do apoio de uma ampla comunidade de desenvolvedores.
RocketMQ：O RocketMQ é amplamente utilizado na China e conta com o rico ecossistema da Alibaba e o apoio da comunidade.
Kafka: o Kafka possui uma comunidade de código aberto ativa e um amplo ecossistema, sendo amplamente adotado por muitas grandes empresas.
Estrelas no Github
Colaboradores do Github
De modo geral: rabbitmq<rocketmq<kafka
7、Filosofia de design
RabbitMQ: RabbitMQ é um middleware de mensagens de código aberto baseado em AMQP (Protocolo Avançado de Enfileiramento de Mensagens), que enfatiza a facilidade de uso e a flexibilidade, com suporte a diversos padrões de mensagens e à entrega confiável de mensagens.
RocketMQ：o RocketMQ é um middleware de mensagens distribuído de código aberto da Alibaba, originalmente projetado para atender às necessidades internas da Alibaba de processamento de grandes volumes de dados, com características de alta vazão e baixa latência. Em 2016, a Alibaba doou o RocketMQ à Apache Software Foundation.
Kafka：o Kafka é uma plataforma distribuída de processamento de fluxos desenvolvida pelo LinkedIn, usada principalmente para processar fluxos de dados em tempo real com alta vazão, armazenando e processando dados de forma persistente. Em 2011, o Kafka se tornou um projeto de código aberto da Apache.
8、Modelo de dados
RabbitMQ：o RabbitMQ utiliza o modelo de filas（Queue）, no qual as mensagens são enviadas para filas, das quais os consumidores as recebem e processam.
RocketMQ：O RocketMQ adota um modelo de tópicos（Topic）e etiquetas（Tag）. As mensagens são publicadas em tópicos, e os consumidores podem assinar e filtrar mensagens por tópico e etiqueta.
Kafka: o Kafka adota o modelo de publicação e assinatura; as mensagens são publicadas em tópicos, e vários consumidores podem assinar o mesmo tópico e consumir as mensagens de forma independente.
9、Ferramenta de administração Web
RabbitMQ
Interface de gerenciamento web do RabbitMQ：O RabbitMQ vem com uma interface de gerenciamento web que pode ser acessada pelo navegador. Ela oferece uma interface de usuário intuitiva para visualizar e gerenciar diversos aspectos do servidor RabbitMQ, incluindo filas, exchanges, vínculos, permissões de usuários etc. Por padrão, a interface de gerenciamento web é executada na porta 15672.
RokcetMQ
RocketMQ Console：o RocketMQ oferece oficialmente um console Web chamado RocketMQ Console. Ele fornece uma interface visual para gerenciar e monitorar diversos aspectos de um cluster RocketMQ, incluindo tópicos, grupos de consumidores, consulta de mensagens e estatísticas de desempenho. Você pode usar essa ferramenta acessando a URL do console.
Kafka
Kafka Manager: o Kafka Manager é uma ferramenta gráfica de gerenciamento de código aberto desenvolvida pelo Yahoo para administrar clusters do Apache Kafka. Oferece recursos como monitoramento em tempo real do estado do cluster, gerenciamento de tópicos e partições e gerenciamento de grupos de consumidores.
10、Padrões de mensagens
Os modelos de transmissão dos principais middlewares de mensagens são, sobretudo, o modelo ponto a ponto e o modelo de publicação e assinatura. Mais especificamente：
RabbitMQ:
Modelo de publicação e assinatura：o RabbitMQ oferece suporte ao modelo de publicação e assinatura, no qual o produtor publica mensagens em um Exchange, que então as encaminha para várias filas vinculadas a ele por meio de vínculos（Binding）. Os consumidores podem receber mensagens das filas de forma independente.
Modelo ponto a ponto: o RabbitMQ também oferece suporte ao modelo ponto a ponto, no qual o produtor envia mensagens para uma fila específica, e o consumidor recebe as mensagens dessa fila. Cada mensagem só pode ser recebida e processada por um consumidor.
2.RocketMQ：
Modelo de publicação e assinatura：O RocketMQ oferece suporte ao modelo de publicação e assinatura, no qual os produtores enviam mensagens a um tópico（Topic）específico, e os consumidores assinam os tópicos de seu interesse. O modelo de assinatura do RocketMQ suporta diversas modalidades, como transmissão para todos os consumidores e modo de cluster, permitindo distribuição multicast das mensagens ou consumo com balanceamento de carga.
Modo de filas: RocketMQ também oferece um modo de filas, no qual os produtores enviam mensagens a uma fila específica e os consumidores recebem mensagens dessa fila. Vários consumidores podem consumir mensagens da mesma fila em paralelo.
3.Kafka:
Modelo de publicação e assinatura: Kafka utiliza o modelo de publicação e assinatura, no qual os produtores publicam mensagens em um tópico (Topic) específico e os consumidores assinam os tópicos de seu interesse. O modelo de assinatura do Kafka oferece suporte a vários grupos de consumidores, cada um podendo consumir mensagens de forma independente, proporcionando alta vazão e escalabilidade horizontal.
Modelo de particionamento: o Kafka divide um tópico em várias partições, cada uma correspondendo fisicamente a um arquivo de log independente. Os produtores enviam mensagens para a partição especificada, e os consumidores podem consumir as mensagens em paralelo por partição. Esse modelo de particionamento permite que o Kafka alcance escalabilidade horizontal e alta vazão.
