Non-persistent Broker

[rocketmq-baiji]

FEATURE REQUEST

1. Please describe the feature you are requesting.
   Since we have a higher requirement about the message delivery latency, I'm requesting a non-persistent broker which stores messages in memory instead of flushing to disk. The persistent or non-persistent broker should be transparent to clients which means the behavior of the clients(i.e. producer and consumer) should be the same.

2. Provide any additional detail on your proposed use case for this feature.

   • The producer could send messages to the non-persistent broker.
   • The consumer could receive messages from the non-persistent broker.

3. Indicate the importance of this issue to you (blocker, must-have, should-have, nice-to-have). Are you currently using any workarounds to address this issue?
   We should reduce latency as low as possible. Maybe we should implement a new MessageStore.

[xdCao]

给rocketMQ提一些建议，在实现非持久化broker的时候发现有的模块对DefaultMessageBroker的依赖严重，没有对接口进行依赖，而是具体到实现类了，另外MessageStore是不是可以设计一下层级的接口，因为太多方法要实现，而有很多是后续扩展的broker可能用不到的

[qiwei94]

第九组的思路是使用堆外内存，从而实现非持久化存储。
这样做的好处是：
1、可以扩展到更大的内存
2、可以在进程间共享
3、可以持久化存储，并且支持快速重启
但是堆外内存也有其缺点：
1、堆外内存难以控制，如果发生内存泄露，很难排查
2、堆外内存不适合很复杂的对象。一般简单的对象或者扁平化的比较合适。
这个题需要堆外内存管理+一个合适的高效存储结构

[SSSSSSJJJJJ]

第十组解决方案

---

Topic

为RocketMQ提供非持久化的Broker

---

Design

由于MessageStorey已经进行了部分抽象，因此我们的主要设计思路就是对该类进行改写。放弃磁盘读写的部分，把数据放到Map中，key为topic值为消息。

---

Detail

针对上面的设计思路，我们设计了两种解决方案

方案1：添加一个数据结构 Map<String,MessageExtBrokerInner>map 来缓存数据，来代替使用磁盘保存核心数据。getMessage方法从map中使用topic作为键得到队列，将队列中最先的消息弹出，得到我们想要message。putMessage方法根据topic得到对应的topic与队列的映射，如果没有映射则新建一个新的队列，将消息放在的队列的尾部，完成消息的非持久化存储。

方案2：在第二题Broker非持久化存储中，采用HashMap的形式存储消息。将时间戳+topic作为主键进行hash，将消息存入对应hash值的列表中。在取数据的时候，时间戳+topic作为主键进行hash，找到hash值对应的队列，遍历队列得到正确的消息。

最终我们的实现方案采取了方案1

---

Future work

1、由于时间紧张，目前没有进行单元测试，需要进一步debug；

2、考虑到内存有限，未来考虑对数据结构进一步优化；

[geyutang]

第三组，第二题
1.思路：

1. 消息的存储结构使用双向链表，并抽象为Queue
2. 消息的主题包含多个Queue，并将主题抽象为Topic
3. 同一个Topic主题下的负载均衡采用平均分摊
4. 存储消息：直接在双向链表尾部追加消息节点
5. 读取消息：消费从链表头部开始读取，并自己维护一个链表中的指针，读取消息成功，就将该节点的原子计数器加1
6. 内存释放：单独开启一个线程定时清理计数器为消费者个数的节点。
   结构图：