1、需求

        最近在接入其他部门的数据,但是因为数据量太大,所以导致mongo中的数据暴涨,所以需要定期删除数据。

2、方案

方案1: 在机器上创建cron 定时任务,删除数据,

缺点:放在机器上不好管理

方案2: 在程序中起一个定时器删除数据

缺点:需要自己调job,然后还需要拉取所有的数据进行读取计算

 方案3:使用mongodb 自带的TTL过期功能,毫无疑问,选择这个

3、Mongo TTL功能

1、功能实现

 需要在文档中增加一个date 字段创建一个单列索引,并且设置过期时间

2、举个例子

创建索引

db.log_events.createIndex( { "createdAt": 1 }, { expireAfterSeconds: 3600 } )

插入数据

db.log_events.insert( {

"createdAt": new Date(),

"logEvent": 2,

"logMessage": "Success!"

} )

3、原理解析

mongo也没有什么魔法,下面一起看下

1.可以看到mongo在date字段上创建了索引,这样在操作删除的时候只要读取索引数据就可以判断了

2.索引的过期时间是秒,也就是说在创建的索引上增加过期时间,如果超过当前时间就会删除,这个符合逻辑,也是这么做的,合理

3.mongo 在后台启动了一个线程,在后台线程中读取索引中的值并从集合中删除过期的数据

4.后台线程每60s运行一次,所以数据不会立即删除

4、注意点

_id字段不支持TTL索引某个字段已经存在非TTL单字段索引,则无法在同一字段上创建TTL索引如果文档中的索引字段不是date或包含日期值的数组,文档将不会过期。如果文档不包含索引字段,则文档将不会过期

总结

在开始的时候还是走了一些弯路,主要是不知道要在date字段上建立索引,并且不知道60s 的运行间隔,导致研究了老半天,就是看不到数据删除。

不过不重要,也算是学习了

 

参考文章

评论可见,请评论后查看内容,谢谢!!!评论后请刷新页面。