消息复制需要解决:高性能,高可用,数据一致性 高性能:写的副本越多,写的性能越低,读取不影响 数据一致性,必须采用主从模式的复制方式,同时需要保证在任何时刻,集群的主节点不能超过一个。 高可用:在主节点宕机后,可以尽快选出新的主节点
一、RocketMQ: (1)传统复制:复制的基本单位是broker,也就是服务端的进程,采用主从模式,是通过配置写死的,不支持动态切换 【1】异步复制:写入主节点后就返回写入成功,如果主节点宕机,生产者就不能生产消息了,消费者可以自动切换到从节点继续进行消费 【2】同步复制:主从都写成功,才返回写入成功
但是这种主从复制模式,牺牲了可用性,换取了比较好的性能和数据一致性,严格顺序和高可用只能选择一个 (2)Dledger:写入时必须要写到半数以上的节点才返回写入成功,而且支持通过选举来动态切换主节点
二、Kafka: 复制的基本单位是分区,每个分区的几个副本之间,构成一个小的复制集群,broker只是这些分区副本的容器,所以kafka的broker是不分主从的。 分区的多个副本采用一主多从,异步复制方式,在等待足够多的节点都复制成功后再返回写入成功,可以配置写入的副本数量,足够的副本节点称为ISR(In Sync Replicas) ,这个数量包含主节点