1、Trường hợp áp dụng

1.RabbitMQ：

Phù hợp với những tình huống có yêu cầu cao về tính dễ sử dụng và tính linh hoạt

• Xử lý tác vụ bất đồng bộ：RabbitMQ cung cấp cơ chế truyền thông điệp đáng tin cậy, phù hợp để xử lý tác vụ bất đồng bộ, chẳng hạn đưa các tác vụ tốn thời gian vào hàng đợi thông điệp rồi để consumer xử lý bất đồng bộ, giúp tăng tốc độ phản hồi và khả năng mở rộng của hệ thống.

• Tách rời các thành phần hệ thống：sử dụng RabbitMQ làm phần mềm trung gian nhắn tin giúp các thành phần hệ thống khác nhau tách rời thông qua thông điệp, tạo kiến trúc liên kết lỏng, nâng cao khả năng bảo trì và tính linh hoạt của hệ thống.

• Kiến trúc hướng sự kiện：Mô hình xuất bản-đăng ký của RabbitMQ có thể dùng để xây dựng kiến trúc hướng sự kiện, xuất bản các sự kiện trong hệ thống dưới dạng thông điệp vào chủ đề tương ứng, để những bên tiêu thụ khác nhau đăng ký chủ đề mình quan tâm và thực hiện xử lý tương ứng.

2.RocketMQ：

Phù hợp với các tình huống xử lý dữ liệu quy mô lớn và thông lượng cao

• Giao dịch phân tán: RocketMQ hỗ trợ thông điệp giao dịch phân tán, phù hợp với các tình huống giao dịch phân tán liên quan đến nhiều hệ thống nghiệp vụ, bảo đảm tính nhất quán và độ tin cậy của thông điệp, đồng thời cung cấp khả năng truyền thông điệp với thông lượng cao.

• Xử lý nhật ký theo thời gian thực：Nhờ có thông lượng cao và độ trễ thấp, RocketMQ có thể dùng để xử lý nhật ký theo thời gian thực, chẳng hạn trong các tình huống thu thập và phân tích nhật ký, tổng hợp nhật ký.

• Xử lý luồng：RocketMQ hỗ trợ chế độ xử lý luồng, có thể truyền luồng dữ liệu được tạo ra qua hàng đợi thông điệp đến framework xử lý luồng (như Flink, Spark Streaming), thực hiện xử lý và phân tích dữ liệu theo thời gian thực.

3.Kafka：

Phù hợp với các tình huống xử lý luồng dữ liệu thời gian thực và xử lý dòng có thông lượng cao

• Đường ống dữ liệu và xử lý dữ liệu thời gian thực：Thông lượng cao và khả năng lưu trữ bền vững của Kafka khiến nó trở thành lựa chọn lý tưởng để xây dựng đường ống dữ liệu đáng tin cậy và hệ thống xử lý dữ liệu thời gian thực, phục vụ việc thu thập, truyền tải và xử lý dữ liệu luồng.

• Xử lý nhật ký và luồng sự kiện：Các đặc tính phân vùng và bảo đảm thứ tự của Kafka khiến nó trở thành giải pháp lý tưởng để xử lý nhật ký và luồng sự kiện, chẳng hạn thu thập nhật ký ứng dụng, truy xuất nguồn gốc sự kiện, giám sát nghiệp vụ, v.v.

• Phân tích luồng thời gian thực và học máy：Kafka kết hợp với các framework xử lý luồng（như Flink, Spark Streaming）, hỗ trợ các tác vụ phân tích luồng thời gian thực và học máy, xử lý luồng dữ liệu thời gian thực để thu được hiểu biết tức thời và hỗ trợ ra quyết định.

2、Kiến trúc dịch vụ

• RabbitMQ

1. Channel（kênh）：Channel là kết nối ảo giữa RabbitMQ và ứng dụng. Bằng cách tạo nhiều kênh trên một kết nối vật lý（connection）, ứng dụng có thể thực hiện đồng thời các thao tác truyền thông điệp. Kênh chịu trách nhiệm gửi và nhận thông điệp, đồng thời thực hiện một số thao tác liên quan đến thông điệp, như khai báo hàng đợi, định nghĩa exchange và liên kết. Có thể xem kênh là một phiên làm việc nhẹ, tương tác với RabbitMQ thông qua một kết nối vật lý.

2. Exchange (bộ trao đổi): Bộ trao đổi là trung tâm tiếp nhận và chuyển tiếp thông điệp. Khi thông điệp được gửi đến RabbitMQ, nó sẽ được định tuyến qua bộ trao đổi. Dựa trên loại và quy tắc liên kết của mình, bộ trao đổi định tuyến thông điệp đến một hoặc nhiều hàng đợi. Các loại bộ trao đổi phổ biến gồm trực tiếp (direct), chủ đề (topic), phát tán (fanout) và tiêu đề (headers).

3. Queue（hàng đợi）：Hàng đợi là vùng đệm mà RabbitMQ dùng để lưu trữ thông điệp. Khi thông điệp không thể được định tuyến ngay đến bên tiêu thụ, chúng sẽ được lưu trong hàng đợi, chờ bên tiêu thụ lấy và xử lý. Mỗi hàng đợi đều có tên duy nhất, đồng thời việc chuyển giao và tiêu thụ thông điệp tuân theo thứ tự FIFO（vào trước ra trước）.

4. Virtual Host（máy chủ ảo）: Máy chủ ảo là môi trường cách ly về mặt logic, dùng để chia máy chủ RabbitMQ thành nhiều phần độc lập. Mỗi máy chủ ảo có các exchange, hàng đợi, liên kết và thiết lập quyền riêng. Máy chủ ảo giúp cách ly các ứng dụng hoặc dịch vụ khác nhau, đồng thời cung cấp khả năng kiểm soát bảo mật và quản lý tài nguyên.

5. Broker（máy chủ môi giới）：Broker là một phiên bản máy chủ hàng đợi thông điệp RabbitMQ, chịu trách nhiệm tiếp nhận, lưu trữ và định tuyến thông điệp. Nó đóng vai trò trung gian, chuyển thông điệp do bên sản xuất gửi đến bên tiêu thụ. Một phiên bản RabbitMQ có thể chứa nhiều Broker, mỗi Broker có thể chứa nhiều máy chủ ảo và hàng đợi.

• RocketMQ

1. NameServer (máy chủ định danh): NameServer là thành phần dịch vụ định danh của RocketMQ, dùng để quản lý và cung cấp thông tin định tuyến của Broker. Nó đóng vai trò trung tâm siêu dữ liệu, chịu trách nhiệm duy trì thông tin đăng ký của Broker, thông tin định tuyến của Topic, v.v. Trước khi gửi và nhận thông điệp, Producer và Consumer cần tương tác với NameServer để lấy thông tin Broker chính xác.

2. Controller（bộ điều khiển）：Controller là thành phần điều khiển của RocketMQ, chịu trách nhiệm điều phối và quản lý hoạt động của toàn bộ cụm RocketMQ. Nó giám sát các thay đổi trạng thái của Broker, xử lý việc mở rộng và thu hẹp cụm, thực hiện cân bằng tải cùng các thao tác khác. Controller là một trong những thành phần cốt lõi của cụm RocketMQ, bảo đảm cụm hoạt động tin cậy và được quản lý tự động.

3. Broker（trung gian）：Broker là nút lưu trữ và xử lý thông điệp của RocketMQ. Nó chịu trách nhiệm tiếp nhận thông điệp từ Producer và lưu chúng xuống đĩa. Broker cũng chịu trách nhiệm xử lý yêu cầu kéo thông điệp của Consumer, đồng thời đẩy thông điệp đến Consumer để tiêu thụ. Một cụm RocketMQ có thể gồm nhiều Broker, mỗi Broker chịu trách nhiệm lưu trữ dữ liệu thông điệp của một số Topic.

• KafkaMQ

1. Broker（nút môi giới）：Broker là một nút trong cụm Kafka, chịu trách nhiệm lưu trữ và xử lý thông điệp. Mỗi Broker là một phiên bản máy chủ Kafka độc lập. Nó có thể là một máy chủ vật lý riêng, máy ảo hoặc container. Một cụm Kafka có thể bao gồm nhiều Broker, cùng phối hợp để truyền thông điệp với độ sẵn sàng cao và thông lượng cao.

2. Topic（chủ đề）：Topic là cách phân loại logic hoặc chủ đề của thông điệp. Đây là đơn vị xuất bản và đăng ký thông điệp. Producer xuất bản thông điệp vào Topic được chỉ định, còn Consumer đăng ký Topic mình quan tâm để nhận thông điệp. Có thể xem Topic là nơi chứa thông điệp, dùng để phân loại và nhóm các thông điệp liên quan.

3. Partition（phân vùng）：Topic có thể được chia thành một hoặc nhiều phân vùng, mỗi phân vùng là một tập con của Topic. Phân vùng là đơn vị nhỏ nhất để lưu trữ và chuyển thông điệp. Về mặt vật lý, mỗi phân vùng tương ứng với một tệp nhật ký riêng biệt, chúng được phân bố trên các Broker khác nhau. Phân vùng cho phép Kafka mở rộng theo chiều ngang và xử lý song song, đồng thời cung cấp thông lượng cao hơn. Các thông điệp trong mỗi phân vùng được lưu trữ và chuyển theo thứ tự vào trước ra trước.

3、Tính bền vững và độ tin cậy：

• RabbitMQ：RabbitMQ áp dụng cơ chế lưu trữ thông điệp bền vững, lưu thông điệp xuống đĩa để bảo đảm độ tin cậy của chúng. Hỗ trợ nhiều cơ chế xác nhận thông điệp và giao dịch, có thể bảo đảm truyền thông điệp đáng tin cậy.

• RocketMQ：RocketMQ có khả năng lưu trữ bền vững và độ tin cậy mạnh mẽ, hỗ trợ cơ chế ghi xuống đĩa đồng bộ và sao chép bất đồng bộ, có thể bảo đảm truyền thông điệp với độ tin cậy cao。

• Kafka: Kafka lưu trữ thông điệp theo cách bền vững, các thông điệp được ghi vào tệp nhật ký trên đĩa. Thông qua cơ chế phân vùng và sao chép, Kafka cung cấp độ tin cậy cao và khả năng lưu trữ bền vững.

4、Thông lượng

• RabbitMQ: Thông lượng của RabbitMQ thường thấp hơn, phù hợp với các ứng dụng quy mô vừa và nhỏ. RabbitMQ phù hợp với các ứng dụng quy mô vừa và nhỏ, thường có thể xử lý lượng thông điệp từ hàng chục nghìn đến hàng trăm nghìn. Nó chủ yếu tập trung vào việc truyền thông điệp đáng tin cậy và lưu trữ thông điệp bền vững; với nhu cầu thông lượng cao, có thể cần tối ưu và điều chỉnh.

• RocketMQ：RocketMQ có thông lượng khá cao, đạt khả năng xử lý hàng triệu thông điệp. Nó hoạt động xuất sắc trong các tình huống giao dịch phân tán và truyền thông điệp quy mô lớn.

• Kafka：Kafka là hệ thống hàng đợi thông điệp nổi tiếng với thông lượng cao, có thể xử lý lượng thông điệp lên đến hàng triệu, thậm chí cao hơn. Kafka phù hợp với các tình huống đòi hỏi thông lượng cao như xử lý dữ liệu quy mô lớn, xử lý luồng thời gian thực và xử lý nhật ký.

5、Thời gian phản hồi

6、Cộng đồng và hệ sinh thái

• RabbitMQ：RabbitMQ có hệ sinh thái plugin và công cụ phong phú, được cộng đồng nhà phát triển đông đảo hỗ trợ.

• RocketMQ: RocketMQ được sử dụng rộng rãi tại Trung Quốc, có hệ sinh thái Alibaba phong phú và sự hỗ trợ từ cộng đồng.

• Kafka：Kafka có cộng đồng mã nguồn mở năng động và hệ sinh thái phong phú, được nhiều công ty lớn sử dụng rộng rãi。

• Sao Github

• Những người đóng góp trên Github

Nhìn chung：rabbitmq<rocketmq<kafka

7、Triết lý thiết kế

• RabbitMQ: RabbitMQ là phần mềm trung gian thông điệp mã nguồn mở dựa trên AMQP (Giao thức hàng đợi thông điệp nâng cao), chú trọng tính dễ sử dụng và linh hoạt, hỗ trợ nhiều mô hình thông điệp và truyền thông điệp đáng tin cậy.

• RocketMQ: RocketMQ là phần mềm trung gian nhắn tin phân tán mã nguồn mở của Alibaba, ban đầu được thiết kế để đáp ứng nhu cầu xử lý dữ liệu khổng lồ trong nội bộ Alibaba, có đặc điểm thông lượng cao và độ trễ thấp. Năm 2016, Alibaba đã hiến tặng RocketMQ cho Quỹ Phần mềm Apache.

• Kafka：Kafka là nền tảng xử lý luồng phân tán do LinkedIn phát triển, chủ yếu dùng để xử lý luồng dữ liệu thời gian thực với thông lượng cao, lưu trữ và xử lý dữ liệu theo cách bền vững. Năm 2011, Kafka trở thành dự án mã nguồn mở của Apache.

8、Mô hình dữ liệu

• RabbitMQ：RabbitMQ sử dụng mô hình hàng đợi（Queue）, thông điệp được gửi vào hàng đợi, bên tiêu thụ nhận thông điệp từ hàng đợi và xử lý.

• RocketMQ：RocketMQ sử dụng mô hình chủ đề (Topic) và nhãn (Tag); thông điệp được gửi lên chủ đề, còn bên tiêu thụ có thể đăng ký và lọc thông điệp dựa trên chủ đề và nhãn.

• Kafka: Kafka sử dụng mô hình xuất bản-đăng ký, thông điệp được xuất bản lên chủ đề, nhiều bên tiêu thụ có thể đăng ký cùng một chủ đề và tiêu thụ thông điệp độc lập.

9、Công cụ quản trị Web

• RabbitMQ

Giao diện quản trị Web RabbitMQ: RabbitMQ đi kèm một giao diện quản trị Web có thể truy cập qua trình duyệt. Giao diện trực quan này cho phép xem và quản lý các mặt của máy chủ RabbitMQ, bao gồm hàng đợi, exchange, binding, quyền người dùng, v.v. Theo mặc định, giao diện quản trị Web chạy trên cổng 15672.

• RokcetMQ

RocketMQ Console: RocketMQ chính thức cung cấp một bảng điều khiển Web có tên RocketMQ Console. Công cụ này cung cấp giao diện trực quan để quản lý và giám sát các mặt của cụm RocketMQ, bao gồm Topic, nhóm bên tiêu thụ, truy vấn thông điệp, thống kê hiệu năng, v.v. Bạn có thể sử dụng công cụ bằng cách truy cập URL của bảng điều khiển.

• Kafka

Kafka Manager：Kafka Manager là công cụ quản lý mã nguồn mở có giao diện đồ họa do Yahoo phát triển, dùng để quản lý các cụm Apache Kafka. Công cụ cung cấp các chức năng như giám sát trạng thái cụm theo thời gian thực, quản lý chủ đề và phân vùng, quản lý nhóm người tiêu dùng.

10、Mô hình nhắn tin

Mô hình truyền tải của các phần mềm trung gian nhắn tin phổ biến chủ yếu là mô hình điểm tới điểm và mô hình xuất bản–đăng ký. Cụ thể:

1. RabbitMQ：

• Mô hình xuất bản-đăng ký：RabbitMQ hỗ trợ mô hình xuất bản-đăng ký, trong đó bên sản xuất xuất bản thông điệp đến bộ trao đổi（Exchange）, sau đó bộ trao đổi chuyển thông điệp đến nhiều hàng đợi được liên kết（Binding）với nó. Bên tiêu thụ có thể nhận thông điệp từ hàng đợi một cách độc lập.

• Mô hình điểm đối điểm: RabbitMQ cũng hỗ trợ mô hình điểm đối điểm, trong đó bên sản xuất gửi thông điệp đến một hàng đợi được chỉ định, sau đó bên tiêu thụ nhận thông điệp từ hàng đợi đó. Mỗi thông điệp chỉ có thể được một bên tiêu thụ nhận và xử lý.

2.RocketMQ：

• Mô hình xuất bản-đăng ký: RocketMQ hỗ trợ mô hình xuất bản-đăng ký, trong đó bên sản xuất gửi thông điệp đến chủ đề (Topic) được chỉ định, sau đó bên tiêu thụ đăng ký những chủ đề mình quan tâm. Cơ chế đăng ký của RocketMQ hỗ trợ nhiều chế độ, như quảng bá và cụm, cho phép phát thông điệp tới nhiều bên hoặc tiêu thụ thông điệp theo cơ chế cân bằng tải.

• Chế độ hàng đợi：RocketMQ còn hỗ trợ chế độ hàng đợi, trong đó bên sản xuất gửi thông điệp vào hàng đợi được chỉ định, sau đó bên tiêu thụ nhận thông điệp từ hàng đợi được chỉ định. Nhiều bên tiêu thụ có thể đồng thời tiêu thụ thông điệp từ cùng một hàng đợi.

3.Kafka：

• Mô hình xuất bản-đăng ký：Kafka sử dụng mô hình xuất bản-đăng ký, trong đó bên sản xuất xuất bản thông điệp vào chủ đề（Topic）được chỉ định, rồi bên tiêu thụ đăng ký chủ đề mình quan tâm. Mô hình đăng ký của Kafka hỗ trợ nhiều nhóm tiêu thụ, mỗi nhóm đều có thể tiêu thụ thông điệp độc lập, đạt thông lượng cao và khả năng mở rộng theo chiều ngang.

• Mô hình phân vùng: Kafka chia chủ đề thành nhiều phân vùng, mỗi phân vùng tương ứng về mặt vật lý với một tệp nhật ký độc lập. Bên sản xuất gửi thông điệp đến phân vùng được chỉ định, bên tiêu thụ có thể tiêu thụ song song theo từng phân vùng. Mô hình phân vùng này cho phép Kafka mở rộng theo chiều ngang và đạt thông lượng cao.