1、需求
最近在接入其他部门的数据,但是因为数据量太大,所以导致mongo中的数据暴涨,所以需要定期删除数据。
2、方案
方案1: 在机器上创建cron 定时任务,删除数据,
缺点:放在机器上不好管理
方案2: 在程序中起一个定时器删除数据
缺点:需要自己调job,然后还需要拉取所有的数据进行读取计算
方案3:使用mongodb 自带的TTL过期功能,毫无疑问,选择这个
3、Mongo TTL功能
1、功能实现
需要在文档中增加一个date 字段创建一个单列索引,并且设置过期时间
2、举个例子
创建索引
db.log_events.createIndex( { "createdAt": 1 }, { expireAfterSeconds: 3600 } )
插入数据
db.log_events.insert( {
"createdAt": new Date(),
"logEvent": 2,
"logMessage": "Success!"
} )
3、原理解析
mongo也没有什么魔法,下面一起看下
1.可以看到mongo在date字段上创建了索引,这样在操作删除的时候只要读取索引数据就可以判断了
2.索引的过期时间是秒,也就是说在创建的索引上增加过期时间,如果超过当前时间就会删除,这个符合逻辑,也是这么做的,合理
3.mongo 在后台启动了一个线程,在后台线程中读取索引中的值并从集合中删除过期的数据
4.后台线程每60s运行一次,所以数据不会立即删除
4、注意点
_id字段不支持TTL索引某个字段已经存在非TTL单字段索引,则无法在同一字段上创建TTL索引如果文档中的索引字段不是date或包含日期值的数组,文档将不会过期。如果文档不包含索引字段,则文档将不会过期
总结
在开始的时候还是走了一些弯路,主要是不知道要在date字段上建立索引,并且不知道60s 的运行间隔,导致研究了老半天,就是看不到数据删除。
不过不重要,也算是学习了
参考文章
发表评论