1、Anwendungsfälle
1.RabbitMQ：
Geeignet für Szenarien mit hohen Anforderungen an Benutzerfreundlichkeit und Flexibilität
Verarbeitung asynchroner Aufgaben: RabbitMQ bietet einen zuverlässigen Mechanismus zur Nachrichtenübermittlung und eignet sich zur Verarbeitung asynchroner Aufgaben. Beispielsweise können zeitaufwendige Aufgaben in eine Nachrichtenwarteschlange gestellt und anschließend von Consumern asynchron verarbeitet werden, wodurch sich die Reaktionsgeschwindigkeit und Skalierbarkeit des Systems verbessern.
Systemkomponenten entkoppeln：Mit RabbitMQ als Nachrichten-Middleware lassen sich verschiedene Systemkomponenten über Nachrichten entkoppeln. So entsteht eine lose gekoppelte Architektur, die Wartbarkeit und Flexibilität des Systems verbessert.
Ereignisgesteuerte Architektur: Das Publish-Subscribe-Modell von RabbitMQ lässt sich zum Aufbau einer ereignisgesteuerten Architektur verwenden. Dabei werden Ereignisse im System als Nachrichten zu den entsprechenden Themen veröffentlicht. Verschiedene Konsumenten können die für sie interessanten Themen abonnieren und die entsprechende Verarbeitung vornehmen.
2.RocketMQ：
Geeignet für die Verarbeitung großer Datenmengen und Szenarien mit hohem Durchsatz
Verteilte Transaktionen：RocketMQ unterstützt verteilte Transaktionsnachrichten und eignet sich für verteilte Transaktionen über mehrere Geschäftssysteme hinweg. Es gewährleistet dabei die Konsistenz und Zuverlässigkeit der Nachrichten und bietet zugleich Nachrichtenübermittlung mit hohem Durchsatz.
Echtzeit-Logverarbeitung: Dank seines hohen Durchsatzes und seiner geringen Latenz kann RocketMQ für die Echtzeitverarbeitung von Logs eingesetzt werden, beispielsweise zum Sammeln, Analysieren und Aggregieren von Logs.
Stream-Verarbeitung：RocketMQ unterstützt ein Modell zur Stream-Verarbeitung. Dabei können erzeugte Datenströme über Nachrichtenwarteschlangen an Frameworks zur Stream-Verarbeitung（wie Flink oder Spark Streaming）weitergeleitet werden, um Daten in Echtzeit zu verarbeiten und zu analysieren.
3.Kafka:
Geeignet für die Verarbeitung von Echtzeitdatenströmen mit hohem Durchsatz und für Stream-Processing-Szenarien
Datenpipelines und Echtzeitdatenverarbeitung：Der hohe Durchsatz und die persistente Speicherung von Kafka machen es zur idealen Wahl für den Aufbau zuverlässiger Datenpipelines und Systeme zur Echtzeitdatenverarbeitung, die Streamingdaten erfassen, übertragen und verarbeiten.
Verarbeitung von Protokollen und Ereignisströmen: Dank seiner Partitionierung und der garantierten Reihenfolge eignet sich Kafka ideal zur Verarbeitung von Protokollen und Ereignisströmen, etwa zum Sammeln von Anwendungsprotokollen, für Event Sourcing und zur Überwachung von Geschäftsprozessen.
Echtzeit-Streamanalyse und maschinelles Lernen: Kafka unterstützt in Verbindung mit Streamverarbeitungsframeworks wie Flink und Spark Streaming Echtzeit-Streamanalysen und Aufgaben des maschinellen Lernens. Dabei werden Datenströme in Echtzeit verarbeitet, um unmittelbar Erkenntnisse und Entscheidungsgrundlagen zu gewinnen.
2、Dienstarchitektur
RabbitMQ
Channel（Kanal）: Ein Channel ist eine virtuelle Verbindung zwischen RabbitMQ und einer Anwendung. Indem auf einer physischen Verbindung（connection）mehrere Kanäle eingerichtet werden, kann die Anwendung Nachrichtenoperationen nebenläufig ausführen. Kanäle sind für das Senden und Empfangen von Nachrichten zuständig und führen nachrichtenbezogene Operationen aus, etwa das Deklarieren von Warteschlangen, das Definieren von Exchanges und das Einrichten von Bindungen. Ein Kanal lässt sich als leichtgewichtige Sitzung verstehen, die über eine physische Verbindung mit RabbitMQ interagiert.
Exchange（Nachrichtenverteiler）：Ein Exchange ist die zentrale Stelle zum Empfangen und Weiterleiten von Nachrichten. Wenn Nachrichten an RabbitMQ gesendet werden, erfolgt ihre Weiterleitung über einen Exchange. Dieser leitet die Nachrichten entsprechend seinem Typ und seinen Bindungsregeln an eine oder mehrere Warteschlangen weiter. Zu den gängigen Exchange-Typen gehören Direct-Exchanges（direct）, Topic-Exchanges（topic）, Fanout-Exchanges（fanout）und Headers-Exchanges（headers）.
Queue (Warteschlange)：Eine Warteschlange ist ein Puffer, den RabbitMQ zum Speichern von Nachrichten verwendet. Wenn Nachrichten nicht sofort an einen Konsumenten weitergeleitet werden können, werden sie in der Warteschlange gespeichert, bis ein Konsument sie abruft und verarbeitet. Jede Warteschlange hat einen eindeutigen Namen. Nachrichten werden nach dem FIFO-Prinzip (First In, First Out) zugestellt und konsumiert.
Virtual Host（virtueller Host）: Ein virtueller Host ist eine logisch isolierte Umgebung, mit der ein RabbitMQ-Server in mehrere unabhängige Bereiche unterteilt wird. Jeder virtuelle Host hat eigene Exchanges, Warteschlangen, Bindungen und Berechtigungseinstellungen. Virtuelle Hosts helfen dabei, verschiedene Anwendungen oder Dienste voneinander zu isolieren, und ermöglichen die Kontrolle von Sicherheit und Ressourcenverwaltung.
Broker (Vermittler): Ein Broker ist eine Instanz des RabbitMQ-Nachrichtenwarteschlangenservers und für den Empfang, die Speicherung und die Weiterleitung von Nachrichten zuständig. Er übernimmt die Rolle eines Vermittlers und übermittelt die von Produzenten gesendeten Nachrichten an Konsumenten. Eine RabbitMQ-Instanz kann mehrere Broker enthalten, und jeder Broker kann mehrere virtuelle Hosts und Warteschlangen beherbergen.
RocketMQ
NameServer（Namensserver）：NameServer ist die Namensdienstkomponente von RocketMQ und verwaltet und liefert die Routinginformationen der Broker. Er dient als Metadatenzentrale und pflegt unter anderem die Registrierungsinformationen der Broker und die Routinginformationen der Topics. Producer und Consumer müssen vor dem Senden und Empfangen von Nachrichten mit dem NameServer interagieren, um die richtigen Brokerinformationen zu erhalten.
Controller（Steuerungskomponente）：Der Controller ist die Steuerungskomponente von RocketMQ und koordiniert und verwaltet den Betrieb des gesamten RocketMQ-Clusters. Er überwacht Zustandsänderungen der Broker, kümmert sich um die Vergrößerung und Verkleinerung des Clusters, führt Lastverteilung durch und übernimmt weitere Aufgaben. Der Controller gehört zu den Kernkomponenten eines RocketMQ-Clusters und gewährleistet dessen zuverlässigen Betrieb und automatisierte Verwaltung.
Broker（Vermittler）：Der Broker ist der Knoten für die Speicherung und Verarbeitung von Nachrichten in RocketMQ. Er empfängt Nachrichten vom Producer und speichert sie auf der Festplatte. Der Broker bearbeitet außerdem Abrufanfragen von Consumern und übermittelt ihnen die Nachrichten zur Verarbeitung. Ein RocketMQ-Cluster kann mehrere Broker enthalten, von denen jeder die Nachrichtendaten eines Teils der Topics speichert.
KafkaMQ
Broker (Vermittler): Ein Broker ist ein Knoten in einem Kafka-Cluster, der für die Speicherung und Verarbeitung von Nachrichten zuständig ist. Jeder Broker ist eine eigenständige Kafka-Serverinstanz. Er kann auf einem separaten physischen Server, einer virtuellen Maschine oder in einem Container laufen. Ein Kafka-Cluster kann mehrere Broker umfassen, die gemeinsam eine hochverfügbare Nachrichtenübermittlung mit hohem Durchsatz ermöglichen.
Topic (Thema)：Ein Topic ist eine logische Kategorie beziehungsweise ein Thema für Nachrichten. Es bildet die Einheit für die Veröffentlichung und das Abonnement von Nachrichten. Ein Producer veröffentlicht Nachrichten in einem bestimmten Topic, während ein Consumer die Topics abonniert, die ihn interessieren, um Nachrichten zu empfangen. Ein Topic kann als Nachrichtencontainer betrachtet werden, in dem zusammengehörige Nachrichten kategorisiert und gruppiert werden.
Partition（Partition）: Ein Topic kann in eine oder mehrere Partitionen unterteilt werden. Jede Partition ist eine Teilmenge des Topics. Eine Partition ist die kleinste Einheit für die Speicherung und Übermittlung von Nachrichten. Physisch entspricht jede Partition einer eigenständigen Logdatei; diese sind auf verschiedene Broker verteilt. Partitionen ermöglichen Kafka horizontale Skalierung und parallele Verarbeitung und sorgen zugleich für einen höheren Durchsatz. Die Nachrichten innerhalb jeder Partition werden nach dem FIFO-Prinzip gespeichert und übermittelt.
3、Persistenz und Zuverlässigkeit：
RabbitMQ：RabbitMQ verwendet einen Mechanismus zur Nachrichtenpersistenz. Die Nachrichten werden auf der Festplatte gespeichert, um ihre Zuverlässigkeit zu gewährleisten. Es unterstützt verschiedene Mechanismen zur Nachrichtenbestätigung sowie Transaktionen und kann damit eine zuverlässige Nachrichtenübermittlung gewährleisten.
RocketMQ: RocketMQ bietet leistungsfähige Persistenz- und Zuverlässigkeitsfunktionen und unterstützt synchrones Schreiben auf den Datenträger sowie asynchrone Replikation. Dadurch kann es eine hochzuverlässige Nachrichtenübertragung gewährleisten.
Kafka：Kafka speichert Nachrichten dauerhaft, indem es sie in Protokolldateien auf der Festplatte schreibt. Durch Partitionierung und Replikation bietet es hohe Zuverlässigkeit und dauerhafte Speicherung.
4、Durchsatz
RabbitMQ：Der Durchsatz von RabbitMQ ist üblicherweise eher niedrig und eignet sich für kleine bis mittelgroße Anwendungen. RabbitMQ eignet sich für kleine bis mittelgroße Anwendungen und kann üblicherweise Nachrichtenmengen in der Größenordnung von Zehntausenden bis Hunderttausenden verarbeiten. Der Schwerpunkt liegt auf der zuverlässigen Nachrichtenübermittlung und der Nachrichtenpersistenz; bei Anforderungen an einen hohen Durchsatz können Optimierungen und Anpassungen erforderlich sein.
RocketMQ: RocketMQ bietet einen hohen Durchsatz und kann Nachrichten in Millionenhöhe verarbeiten. Es zeichnet sich bei verteilten Transaktionen und der Nachrichtenübermittlung in großem Maßstab aus.
Kafka：Kafka ist ein für seinen hohen Durchsatz bekanntes Nachrichtenwarteschlangensystem, das Nachrichtenmengen in Millionenhöhe und darüber hinaus verarbeiten kann. Kafka eignet sich für Szenarien mit hohem Durchsatz wie die Verarbeitung großer Datenmengen, Echtzeit-Streamverarbeitung und Protokollverarbeitung.
5、Antwortzeit
6、Community und Ökosystem
RabbitMQ: RabbitMQ verfügt über ein umfangreiches Ökosystem aus Plugins und Werkzeugen sowie breite Unterstützung durch die Entwicklergemeinschaft.
RocketMQ：RocketMQ wird in China vielfach eingesetzt und profitiert von einem umfangreichen Alibaba-Ökosystem sowie der Unterstützung durch die Community.
Kafka: Kafka verfügt über eine aktive Open-Source-Community und ein umfangreiches Ökosystem und wird von vielen großen Unternehmen breit eingesetzt.
Github-Stern
Github-Mitwirkende
Insgesamt：rabbitmq<rocketmq<kafka
7、Entwurfskonzept
RabbitMQ：RabbitMQ ist eine quelloffene Nachrichtenmiddleware auf Grundlage von AMQP（Advanced Message Queuing Protocol）, die Benutzerfreundlichkeit und Flexibilität betont und verschiedene Nachrichtenmuster sowie eine zuverlässige Nachrichtenübermittlung unterstützt.
RocketMQ: RocketMQ ist eine von Alibaba als Open Source veröffentlichte verteilte Messaging-Middleware. Sie wurde ursprünglich entwickelt, um Alibabas internen Bedarf an der Verarbeitung riesiger Datenmengen zu decken, und zeichnet sich durch hohen Durchsatz und geringe Latenz aus. Im Jahr 2016 übergab Alibaba RocketMQ an die Apache Software Foundation.
Kafka：Kafka ist eine von LinkedIn entwickelte Plattform zur verteilten Streamverarbeitung. Sie wird vor allem zur Verarbeitung von Echtzeitdatenströmen mit hohem Durchsatz eingesetzt und speichert und verarbeitet Daten dauerhaft. Im Jahr 2011 wurde Kafka zu einem Open-Source-Projekt der Apache Software Foundation.
8, Datenmodell
RabbitMQ：RabbitMQ verwendet ein Warteschlangenmodell（Queue）. Nachrichten werden an Warteschlangen gesendet, aus denen Verbraucher die Nachrichten empfangen und verarbeiten.
RocketMQ：RocketMQ verwendet ein Modell aus Topics und Tags. Nachrichten werden in einem Topic veröffentlicht; Konsumenten können sie anhand von Topics und Tags abonnieren und filtern.
Kafka：Kafka verwendet ein Publish-Subscribe-Modell. Nachrichten werden in Topics veröffentlicht, und mehrere Verbraucher können dasselbe Topic abonnieren und die Nachrichten unabhängig voneinander verarbeiten.
9、Web-Verwaltungswerkzeuge
RabbitMQ
RabbitMQ-Webverwaltungsoberfläche：RabbitMQ verfügt über eine integrierte Webverwaltungsoberfläche, die über einen Browser aufgerufen werden kann. Sie bietet eine übersichtliche Benutzeroberfläche zur Anzeige und Verwaltung verschiedener Aspekte des RabbitMQ-Servers, darunter Warteschlangen, Exchanges, Bindungen und Benutzerberechtigungen. Standardmäßig läuft die Webverwaltungsoberfläche auf Port 15672.
RokcetMQ
RocketMQ Console：RocketMQ stellt offiziell eine Webkonsole namens RocketMQ Console bereit. Sie bietet eine grafische Oberfläche zur Verwaltung und Überwachung verschiedener Aspekte eines RocketMQ-Clusters, darunter Topics, Verbrauchergruppen, Nachrichtenabfragen und Leistungsstatistiken. Das Werkzeug lässt sich über die URL der Konsole aufrufen.
Kafka
Kafka Manager: Kafka Manager ist ein von Yahoo entwickeltes grafisches Open-Source-Verwaltungstool für Apache-Kafka-Cluster. Es bietet unter anderem die Echtzeitüberwachung des Clusterstatus sowie die Verwaltung von Topics, Partitionen und Verbrauchergruppen.
10、Nachrichtenmodell
Die Übertragungsmodelle gängiger Nachrichten-Middleware sind hauptsächlich das Punkt-zu-Punkt-Modell und das Publish-Subscribe-Modell. Im Einzelnen:
RabbitMQ:
Publish-Subscribe-Modell：RabbitMQ unterstützt das Publish-Subscribe-Modell. Dabei veröffentlicht der Produzent Nachrichten an einer Exchange, die sie anschließend an mehrere über Bindings mit ihr verbundene Warteschlangen weiterleitet. Konsumenten können unabhängig voneinander Nachrichten aus den Warteschlangen empfangen.
Punkt-zu-Punkt-Modell: RabbitMQ unterstützt auch das Punkt-zu-Punkt-Modell. Dabei sendet der Produzent Nachrichten an eine bestimmte Warteschlange, aus der der Consumer sie anschließend empfängt. Jede Nachricht kann nur von einem Consumer empfangen und verarbeitet werden.
2.RocketMQ：
Publish-Subscribe-Muster: RocketMQ unterstützt das Publish-Subscribe-Muster, bei dem Produzenten Nachrichten an ein bestimmtes Thema（Topic）senden und Konsumenten anschließend die für sie interessanten Themen abonnieren. Das Abonnementmodell von RocketMQ unterstützt mehrere Verfahren wie den Broadcast- und den Clustermodus und ermöglicht so die Mehrfachzustellung von Nachrichten oder deren lastverteilten Konsum.
Warteschlangenmodus: RocketMQ unterstützt auch einen Warteschlangenmodus, in dem Produzenten Nachrichten an eine bestimmte Warteschlange senden und Konsumenten anschließend Nachrichten aus dieser Warteschlange empfangen. Mehrere Konsumenten können parallel Nachrichten aus derselben Warteschlange verarbeiten.
3.Kafka:
Publish-Subscribe-Modell：Kafka verwendet das Publish-Subscribe-Modell. Dabei veröffentlichen Produzenten Nachrichten in einem bestimmten Thema（Topic）, während Konsumenten die Themen abonnieren, die sie interessieren. Kafkas Abonnementmodell unterstützt mehrere Konsumentengruppen, von denen jede Nachrichten unabhängig konsumieren kann. Dadurch werden ein hoher Durchsatz und horizontale Skalierung ermöglicht.
Partitionierungsmodell：Kafka unterteilt ein Topic in mehrere Partitionen, wobei jede Partition physisch einer eigenständigen Protokolldatei entspricht. Produzenten senden Nachrichten an eine bestimmte Partition, und Konsumenten können die Nachrichten nach Partitionen parallel verarbeiten. Dieses Partitionierungsmodell ermöglicht Kafka horizontale Skalierung und hohen Durchsatz.
