Java RabbitMQ訊息佇列詳解常見問題

2022-07-28 18:02:01

訊息堆積

訊息堆積的產生場景：

生產者產生的訊息速度大於消費者消費的速度。解決：增加消費者的數量或速度。
沒有消費者進行消費的時候。解決：死信佇列、設定訊息有效期。相當於對我們的訊息設定有效期，在規定的時間內如果沒有消費的話，自動過期，過期的時候會執行使用者端回撥監聽的方法將訊息存放到資料庫表記錄，後期實現補償。

保證訊息不丟失

1、生產者使用訊息確認機制保證訊息百分之百能夠將訊息投遞到MQ成功。

2、MQ伺服器端應該將訊息持久化到硬碟

3、消費者使用手動ack機制確認訊息消費成功

如果MQ伺服器容量滿了怎麼辦？

使用死信佇列將訊息存到資料庫中去，後期補償消費。

死信佇列

RabbitMQ死信佇列俗稱，備胎佇列；訊息中介軟體因為某種原因拒收該訊息後，可以轉移到死信佇列中存放，死信佇列也可以有交換機和路由key等。

產生背景：

訊息投遞到MQ中存放訊息已經過期
佇列達到最大的長度（佇列容器已經滿了）生產者拒絕接收訊息
消費者消費多次訊息失敗，就會轉移存放到死信佇列中

程式碼案例：

maven依賴

<dependencies>
        <!-- springboot-web元件 -->
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>
        <!-- 新增springboot對amqp的支援 -->
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-amqp</artifactId>
        </dependency>
        <dependency>
            <groupId>org.apache.commons</groupId>
            <artifactId>commons-lang3</artifactId>
        </dependency>
        <!--fastjson -->
        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>fastjson</artifactId>
            <version>1.2.49</version>
        </dependency>
    </dependencies>

yml設定

server:
#  服務啟動埠設定
  port: 8081
  servlet:
#    應用存取路徑
    context-path: /
spring:
  #增加application.druid.yml 的組態檔
#  profiles:
#    active: rabbitmq
  rabbitmq:
    ####連線地址
    host: www.kaicostudy.com
    ####埠號
    port: 5672
    ####賬號
    username: kaico
    ####密碼
    password: kaico
    ### 地址
    virtual-host: /kaicoStudy
###模擬演示死信佇列
kaico:
  dlx:
    exchange: kaico_order_dlx_exchange
    queue: kaico_order_dlx_queue
    routingKey: kaico.order.dlx
  ###備胎交換機
  order:
    exchange: kaico_order_exchange
    queue: kaico_order_queue
    routingKey: kaico.order

佇列設定類

@Configuration
public class DeadLetterMQConfig {
    /**
     * 訂單交換機
     */
    @Value("${kaico.order.exchange}")
    private String orderExchange;
    /**
     * 訂單佇列
     */
    @Value("${kaico.order.queue}")
    private String orderQueue;
    /**
     * 訂單路由key
     */
    @Value("${kaico.order.routingKey}")
    private String orderRoutingKey;
    /**
     * 死信交換機
     */
    @Value("${kaico.dlx.exchange}")
    private String dlxExchange;
    /**
     * 死信佇列
     */
    @Value("${kaico.dlx.queue}")
    private String dlxQueue;
    /**
     * 死信路由
     */
    @Value("${kaico.dlx.routingKey}")
    private String dlxRoutingKey;
    /**
     * 宣告死信交換機
     *
     * @return DirectExchange
     */
    @Bean
    public DirectExchange dlxExchange() {
        return new DirectExchange(dlxExchange);
    }
    /**
     * 宣告死信佇列
     *
     * @return Queue
     */
    @Bean
    public Queue dlxQueue() {
        return new Queue(dlxQueue);
    }
    /**
     * 宣告訂單業務交換機
     *
     * @return DirectExchange
     */
    @Bean
    public DirectExchange orderExchange() {
        return new DirectExchange(orderExchange);
    }
    /**
     * 繫結死信佇列到死信交換機
     *
     * @return Binding
     */
    @Bean
    public Binding binding() {
        return BindingBuilder.bind(dlxQueue())
                .to(dlxExchange())
                .with(dlxRoutingKey);
    }
    /**
     * 宣告訂單佇列，並且繫結死信佇列
     *
     * @return Queue
     */
    @Bean
    public Queue orderQueue() {
        // 訂單佇列繫結我們的死信交換機
        Map<String, Object> arguments = new HashMap<>(2);
        arguments.put("x-dead-letter-exchange", dlxExchange);
        arguments.put("x-dead-letter-routing-key", dlxRoutingKey);
        return new Queue(orderQueue, true, false, false, arguments);
    }
    /**
     * 繫結訂單佇列到訂單交換機
     *
     * @return Binding
     */
    @Bean
    public Binding orderBinding() {
        return BindingBuilder.bind(orderQueue())
                .to(orderExchange())
                .with(orderRoutingKey);
    }
}

死信佇列消費者

@Component
public class OrderDlxConsumer {
    /**
     * 死信佇列監聽佇列回撥的方法
     * @param msg
     */
    @RabbitListener(queues = "kaico_order_dlx_queue")
    public void orderDlxConsumer(String msg) {
        System.out.println("死信佇列消費訂單訊息" + msg);
    }
}

普通佇列消費者

@Component
public class OrderConsumer {
    /**
     * 監聽佇列回撥的方法
     *
     * @param msg
     */
    @RabbitListener(queues = "kaico_order_queue")
    public void orderConsumer(String msg) {
        System.out.println("正常訂單消費者訊息msg:" + msg);
    }
}

後臺佇列管理頁面如下：

部署方式：死信佇列不能夠和正常佇列存在同一個伺服器中，應該分伺服器存放。

延遲佇列

訂單30分鐘未支付，系統自動超時關閉的實現方案。

基於任務排程實現，效率是非常低。

基於redis過期key實現，key失效時會回撥使用者端一個方法。

使用者下單的時候，生成一個令牌（有效期）30分鐘，存放到我們redis；缺點：非常冗餘，會在表中存放一個冗餘欄位。

基於mq的延遲佇列（最佳方案）rabbitmq情況下。

原理：在我們下單的時候，往mq投遞一個訊息設定有效期為30分鐘，但該訊息失效的時候（沒有被消費的情況下），執行我們使用者端一個方法告訴我們該訊息已經失效，這時候查詢這筆訂單是否已經支付。

實現邏輯：

主要使用死信佇列來實現。

想要的程式碼：就是正常的消費者不消費訊息，或者沒有正常的消費者，在設定的時間後進入死信佇列中，然後死信消費者實現相應的業務邏輯。

RabbitMQ訊息冪等問題

RabbitMQ訊息自動重試機制

當消費者業務邏輯程式碼中，丟擲異常自動實現重試（預設是無數次重試）

應該對RabbitMQ重試次數實現限制，比如最多重試5次，每次間隔3s；重試多次還是失敗的情況下，存放到死信佇列或者存放到資料庫表中記錄後期人工補償。因為重試失敗次數之後，佇列會自動刪除這個訊息。

訊息重試原理：在重試的過程中，使用aop攔截我們的消費監聽方法，也不會列印這個錯誤紀錄檔。如果重試多次還是失敗，達到最大失敗次數的時候才會列印錯誤紀錄檔。

如果消費多次還是失敗的情況下：

1、自動刪除該訊息；（訊息可能丟失）

解決辦法：

如果充實多次還是失敗的情況下，最終存放到死信佇列；

採用表紀錄檔記，消費失敗錯誤紀錄檔的紀錄檔記錄，後期人工自動對該訊息實現補償。

合理的選擇重試機制

消費者獲取訊息後，呼叫第三方介面（HTTP請求），但是呼叫第三方介面失敗呢？是否需要重試？

答：有時是因為網路異常呼叫失敗，應該需要重試幾次。

消費者獲取訊息後，應該程式碼問題丟擲資料異常，是否需要重試？

答：不需要重試，程式碼異常需要重新修改程式碼釋出專案。

消費者開啟手動ack模式

第一步、springboot專案設定需要開啟ack模式

acknowledge-mode: manual

第二步、消費者Java程式碼

int result = orderMapper.addOrder(orderEntity);
if (result >= 0) {
    // 開啟訊息確認機制
    channel.basicAck(message.getMessageProperties().getDeliveryTag(), false);
}