1、Scenari di utilizzo

1.RabbitMQ：

Adatto a scenari che richiedono elevata facilità d'uso e flessibilità

• Elaborazione di attività asincrone：RabbitMQ offre un meccanismo affidabile di trasmissione dei messaggi, adatto all'elaborazione di attività asincrone; per esempio, permette di inserire attività lunghe in una coda di messaggi, affinché vengano poi elaborate in modo asincrono dai consumatori, migliorando la reattività e la scalabilità del sistema.

• Disaccoppiare i componenti del sistema: usando RabbitMQ come middleware di messaggistica, i diversi componenti del sistema possono essere disaccoppiati attraverso i messaggi, realizzando un'architettura a basso accoppiamento e migliorando la manutenibilità e la flessibilità del sistema.

• Architettura basata su eventi：Il modello di pubblicazione e sottoscrizione di RabbitMQ può essere utilizzato per costruire un’architettura basata su eventi, pubblicando gli eventi del sistema come messaggi sui rispettivi argomenti; diversi consumatori possono sottoscrivere gli argomenti di loro interesse ed eseguire le elaborazioni corrispondenti.

2.RocketMQ：

Adatto a scenari di elaborazione dei dati su larga scala e a throughput elevato

• Transazioni distribuite: RocketMQ supporta i messaggi transazionali distribuiti ed è adatto a scenari di transazioni distribuite che coinvolgono più sistemi aziendali, garantendo la coerenza e l'affidabilità dei messaggi e offrendo al contempo un'elevata capacità di trasmissione dei messaggi.

• Elaborazione dei log in tempo reale：grazie all'elevata capacità di elaborazione e alla bassa latenza, RocketMQ può essere utilizzato per elaborare log in tempo reale, ad esempio per la raccolta, l'analisi e l'aggregazione dei log.

• Elaborazione di flussi: RocketMQ supporta una modalità di elaborazione di flussi che consente di trasmettere i flussi di dati generati a framework di elaborazione di flussi（come Flink e Spark Streaming）tramite code di messaggi, permettendo l'elaborazione e l'analisi dei dati in tempo reale.

3.Kafka：

Adatto all'elaborazione in tempo reale di flussi di dati ad alto throughput e agli scenari di elaborazione in streaming

• Pipeline di dati ed elaborazione dei dati in tempo reale: l'elevata capacità di elaborazione e l'archiviazione persistente di Kafka lo rendono una scelta ideale per costruire pipeline di dati affidabili e sistemi di elaborazione in tempo reale, destinati alla raccolta, alla trasmissione e all'elaborazione di flussi di dati.

• Elaborazione di log e flussi di eventi: il partizionamento e le garanzie di ordinamento di Kafka lo rendono una soluzione ideale per elaborare log e flussi di eventi, per esempio per la raccolta di log applicativi, l'event sourcing e il monitoraggio delle attività aziendali.

• Analisi dei flussi in tempo reale e machine learning: Kafka, utilizzato insieme a framework di elaborazione dei flussi come Flink e Spark Streaming, supporta attività di analisi dei flussi in tempo reale e di machine learning, elaborando flussi di dati in tempo reale per ricavarne indicazioni immediate e supporto alle decisioni.

2、Architettura dei servizi

• RabbitMQ

1. Channel（canale）：un Channel è una connessione virtuale tra RabbitMQ e l'applicazione. Creando più canali su una connessione fisica (connection), l'applicazione può eseguire contemporaneamente operazioni di messaggistica. I canali si occupano dell'invio e della ricezione dei messaggi ed eseguono alcune operazioni correlate, come la dichiarazione delle code, la definizione degli exchange e dei binding. Un canale può essere considerato una sessione leggera che interagisce con RabbitMQ attraverso una connessione fisica.

2. Exchange (scambiatore): l’exchange è il centro di ricezione e inoltro dei messaggi. Quando un messaggio viene inviato a RabbitMQ, viene instradato attraverso un exchange. In base al proprio tipo e alle regole di binding, l’exchange instrada i messaggi verso una o più code. I tipi più comuni includono direct, topic, fanout e headers.

3. Queue (coda): la coda è il buffer usato da RabbitMQ per archiviare i messaggi. Quando un messaggio non può essere instradato immediatamente verso un consumatore, viene conservato nella coda in attesa che un consumatore lo prelevi e lo elabori. Ogni coda ha un nome univoco e la consegna e il consumo dei messaggi seguono l'ordine FIFO (il primo a entrare è il primo a uscire).

4. Virtual Host (host virtuale): un host virtuale è un ambiente logicamente isolato, usato per suddividere un server RabbitMQ in più parti indipendenti. Ogni host virtuale dispone dei propri exchange, code, binding e impostazioni dei permessi. Gli host virtuali aiutano a isolare applicazioni o servizi diversi e offrono controlli sulla sicurezza e sulla gestione delle risorse.

5. Broker (intermediario): un Broker è un'istanza del server di code di messaggi RabbitMQ, responsabile della ricezione, dell'archiviazione e dell'instradamento dei messaggi. Svolge il ruolo di intermediario, passando ai consumatori i messaggi inviati dai produttori. Un'istanza RabbitMQ può contenere più Broker e ciascun Broker può ospitare più host virtuali e code.

• RocketMQ

1. NameServer（server dei nomi）：NameServer è il componente di servizio dei nomi di RocketMQ, usato per gestire e fornire le informazioni di instradamento dei Broker. Funge da centro dei metadati ed è responsabile del mantenimento delle informazioni di registrazione dei Broker, delle informazioni di instradamento dei Topic e così via. Prima di inviare e ricevere messaggi, Producer e Consumer devono interagire con NameServer per ottenere le informazioni corrette sui Broker.

2. Controller（controllore）：Controller è il componente di controllo di RocketMQ, responsabile del coordinamento e della gestione delle attività dell'intero cluster RocketMQ. Monitora i cambiamenti di stato dei Broker, gestisce l'espansione e la riduzione del cluster ed esegue operazioni come il bilanciamento del carico. Controller è uno dei componenti fondamentali del cluster RocketMQ e ne garantisce il funzionamento affidabile e la gestione automatizzata.

3. Broker（intermediario）：Il Broker è il nodo di archiviazione ed elaborazione dei messaggi di RocketMQ. Riceve i messaggi dal Producer e li memorizza su disco. Il Broker gestisce anche le richieste di recupero dei messaggi da parte del Consumer e gli invia i messaggi affinché li consumi. Un cluster RocketMQ può contenere più Broker, ciascuno responsabile dell’archiviazione dei dati dei messaggi di una parte dei Topic.

• KafkaMQ

1. Broker（intermediario）: un Broker è un nodo del cluster Kafka, responsabile dell'archiviazione e dell'elaborazione dei messaggi. Ogni Broker è un'istanza indipendente di un server Kafka. Può essere un server fisico dedicato, una macchina virtuale o un container. Un cluster Kafka può comprendere più Broker, che collaborano per offrire una trasmissione dei messaggi ad alta disponibilità e con elevata capacità di elaborazione.

2. Topic (argomento): un Topic è una categoria logica o un argomento dei messaggi. È l'unità di pubblicazione e sottoscrizione dei messaggi. Il Producer pubblica i messaggi nel Topic specificato, mentre il Consumer si iscrive ai Topic di suo interesse per riceverli. Un Topic può essere considerato un contenitore di messaggi, usato per classificare e raggruppare quelli correlati.

3. Partition (partizione): un Topic può essere suddiviso in una o più partizioni, ciascuna delle quali è un sottoinsieme del Topic. La partizione è l’unità minima di archiviazione e trasmissione dei messaggi. Ogni partizione corrisponde fisicamente a un file di log indipendente; le partizioni sono distribuite su Broker diversi. Le partizioni consentono a Kafka di scalare orizzontalmente e di elaborare i dati in parallelo, offrendo al contempo una maggiore capacità di elaborazione. I messaggi di ogni partizione vengono archiviati e trasmessi secondo l’ordine di arrivo, dal primo all’ultimo.

3、Persistenza e affidabilità:

• RabbitMQ：RabbitMQ utilizza un meccanismo di persistenza dei messaggi, salvandoli su disco per garantirne l'affidabilità. Supporta diversi meccanismi di conferma dei messaggi e le transazioni, permettendo di garantirne la consegna affidabile.

• RocketMQ：RocketMQ offre solide funzionalità di persistenza e affidabilità, supporta la scrittura sincrona su disco e la replica asincrona, ed è in grado di garantire una consegna dei messaggi altamente affidabile。

• Kafka: Kafka memorizza i messaggi in modo persistente, scrivendoli in file di log su disco. Grazie ai meccanismi di partizionamento e replica, offre un'elevata affidabilità e capacità di archiviazione persistente.

4、Capacità di elaborazione

• RabbitMQ：il throughput di RabbitMQ è generalmente piuttosto basso ed è adatto a scenari applicativi di piccole e medie dimensioni. RabbitMQ è adatto a scenari applicativi di piccole e medie dimensioni e solitamente riesce a gestire volumi dell'ordine delle decine o centinaia di migliaia di messaggi. Si concentra soprattutto sulla consegna affidabile e sulla persistenza dei messaggi; per esigenze di throughput elevato potrebbero essere necessarie ottimizzazioni e modifiche alla configurazione.

• RocketMQ: RocketMQ offre un throughput elevato, con una capacità di elaborazione nell’ordine dei milioni di messaggi. Si distingue negli scenari di transazioni distribuite e messaggistica su larga scala.

• Kafka：Kafka è un sistema di code di messaggi noto per l'elevata capacità di elaborazione, in grado di gestire volumi di milioni di messaggi o superiori. Kafka è adatto a scenari che richiedono una grande capacità di elaborazione, come il trattamento di dati su vasta scala, l'elaborazione di flussi in tempo reale e la gestione dei log.

5、Tempo di risposta

6、Comunità ed ecosistema

• RabbitMQ：RabbitMQ dispone di un ricco ecosistema di plugin e strumenti e del sostegno di un'ampia comunità di sviluppatori。

• RocketMQ: RocketMQ è ampiamente utilizzato in Cina e beneficia del ricco ecosistema di Alibaba e del supporto della comunità.

• Kafka: Kafka dispone di un'attiva comunità open source e di un ampio ecosistema ed è ampiamente adottato da molte grandi aziende.

• Stelle su Github

• Collaboratori di Github

In generale：rabbitmq<rocketmq<kafka

7、Filosofia progettuale

• RabbitMQ：RabbitMQ è un middleware di messaggistica open source basato su AMQP (Advanced Message Queuing Protocol), che punta sulla facilità d'uso e sulla flessibilità e supporta diversi modelli di messaggistica e la consegna affidabile dei messaggi.

• RocketMQ：RocketMQ è un middleware distribuito di messaggistica reso open source da Alibaba, inizialmente progettato per soddisfare le esigenze interne di Alibaba nell'elaborazione di enormi quantità di dati; si distingue per l'elevata capacità di elaborazione e la bassa latenza. Nel 2016, Alibaba ha donato RocketMQ alla Apache Software Foundation.

• Kafka: Kafka è una piattaforma distribuita di elaborazione di flussi sviluppata da LinkedIn, usata principalmente per elaborare flussi di dati in tempo reale con un throughput elevato, archiviando ed elaborando i dati in modo persistente. Nel 2011 Kafka è diventato un progetto open source di Apache.

8、Modello dei dati

• RabbitMQ: RabbitMQ adotta un modello a coda（Queue）: i messaggi vengono inviati alla coda, dalla quale i consumatori li ricevono e li elaborano.

• RocketMQ：RocketMQ adotta un modello basato su argomenti（Topic）ed etichette（Tag）. I messaggi vengono pubblicati negli argomenti e i consumer possono iscriversi e filtrare i messaggi in base ad argomenti ed etichette.

• Kafka: Kafka adotta il modello pubblicazione-sottoscrizione; i messaggi vengono pubblicati su topic e più consumatori possono sottoscrivere lo stesso topic e consumare i messaggi in modo indipendente.

9、Strumenti di amministrazione Web

• RabbitMQ

Interfaccia di gestione web di RabbitMQ: RabbitMQ include un'interfaccia di gestione web accessibile tramite browser. Offre un'interfaccia utente intuitiva per visualizzare e gestire i vari aspetti del server RabbitMQ, tra cui code, exchange, binding e autorizzazioni degli utenti. Per impostazione predefinita, l'interfaccia di gestione web è in esecuzione sulla porta 15672.

• RokcetMQ

RocketMQ Console: RocketMQ mette ufficialmente a disposizione una console Web chiamata RocketMQ Console. Offre un’interfaccia visiva per gestire e monitorare i vari aspetti di un cluster RocketMQ, tra cui Topic, gruppi di consumatori, ricerca dei messaggi e statistiche sulle prestazioni. Puoi utilizzare questo strumento accedendo all’URL della console.

• Kafka

Kafka Manager: Kafka Manager è uno strumento grafico di gestione open source sviluppato da Yahoo per amministrare i cluster Apache Kafka. Offre funzionalità quali il monitoraggio in tempo reale dello stato dei cluster, la gestione di topic e partizioni e la gestione dei gruppi di consumatori.

10、Modalità dei messaggi

I principali modelli di trasmissione dei middleware di messaggistica più diffusi sono il modello punto a punto e il modello di pubblicazione e sottoscrizione. Più precisamente:

1. RabbitMQ：

• Modello pubblicazione-sottoscrizione：RabbitMQ supporta il modello pubblicazione-sottoscrizione, nel quale i produttori pubblicano i messaggi su uno scambiatore（Exchange）, che poi li inoltra a più code collegate ad esso tramite associazioni（Binding）. I consumatori possono ricevere i messaggi dalle code in modo indipendente.

• Modalità punto a punto: RabbitMQ supporta anche la modalità punto a punto, in cui il produttore invia i messaggi a una coda specifica e il consumatore li riceve da quella coda. Ogni messaggio può essere ricevuto ed elaborato da un solo consumatore.

2.RocketMQ：

• Modello pubblicazione-sottoscrizione: RocketMQ supporta il modello pubblicazione-sottoscrizione, in cui i produttori inviano messaggi a un argomento (Topic) specifico e i consumatori si sottoscrivono agli argomenti di loro interesse. Il modello di sottoscrizione di RocketMQ supporta diverse modalità, tra cui la modalità broadcast e la modalità cluster, consentendo la distribuzione multicast dei messaggi o il consumo con bilanciamento del carico.

• Modalità a coda: RocketMQ supporta anche la modalità a coda, in cui il produttore invia i messaggi a una coda specifica e il consumatore li riceve da quella coda. Più consumatori possono consumare messaggi dalla stessa coda in parallelo.

3.Kafka：

• Modello di pubblicazione-sottoscrizione: Kafka adotta il modello di pubblicazione-sottoscrizione, nel quale i produttori pubblicano messaggi su un argomento (Topic) specifico e i consumatori si iscrivono agli argomenti di loro interesse. Il modello di sottoscrizione di Kafka supporta più gruppi di consumatori, ciascuno dei quali può consumare messaggi in modo indipendente, consentendo un'elevata capacità di elaborazione e la scalabilità orizzontale.

• Modalità di partizionamento: Kafka suddivide un topic in più partizioni, ciascuna delle quali corrisponde fisicamente a un file di log indipendente. I produttori inviano i messaggi alla partizione specificata e i consumatori possono elaborarli in parallelo per partizione. Questo modello consente a Kafka di ottenere scalabilità orizzontale e un throughput elevato.