博客
关于我
mongodb每天上亿数据量定期清理
阅读量:796 次
发布时间:2023-02-09

本文共 519 字,大约阅读时间需要 1 分钟。

MongoDB应用运营数据分析与自动化支持平台每分钟处理插入30万到40万条记录,更新20万到30万条记录。数据仅保留一天,超过一天的数据可立即清理。由于每日数据量大约达到1亿级别,传统的清理方式往往导致入库操作变慢,影响系统性能。经过与开发团队的多次讨论和尝试,我们最终找到了一种适合当前业务需求的清理方案,使系统运行更加稳定。

在帮助其他数据库管理员解决MongoDB数据清理问题的过程中,也积累了一些常见的清理方法,以下是一些实用的建议:

数据清理方案

对于数据量较小的集合,这种简单的定期删除方法效果不错。具体操作方法如下:

删除操作:

db.collection.remove({  "ns" : "fla.logGset",  "query" : {    "time" : {      "$lt" : 1495693140,      "$gte" : 1495693080    }  }})

然而,这种方法在处理数据量较大的库时存在性能瓶颈。例如,涉及到大规模数据清理的mrcache库,每次执行删除操作可能需要10分钟到20分钟的时间,这明显无法满足实时数据处理的需求。因此,我们需要结合多种优化措施来解决这个问题。

转载地址:http://usffk.baihongyu.com/

你可能感兴趣的文章
Model-Based Reinforcement Learning(基于模型的强化学习)详解-ChatGPT4o作答
查看>>
Model-Free Reinforcement Learning(无模型强化学习)详解-ChatGPT4o作答
查看>>
modprobe
查看>>
module 'requests' has no attribute 'get' python
查看>>
module ‘@babel/runtime/helpers/interopRequireDefault.js‘ is not defined报错解决方法
查看>>
ModuleNotFoundError: No module named ‘_lzma‘
查看>>
MogoTemplate基本入门(Mongodb数据库基本增删改查)
查看>>
Mojarra JSF ViewState 反序列化漏洞复现
查看>>
My new English
查看>>
Mojo:比 Python 快 35000 倍的编程语言诞生!
查看>>
MolecularNotes 开源项目教程
查看>>
MolGAN网络架构:用于小分子图的隐式生成模型
查看>>
Moment.js
查看>>
moment.js常见格式化处理各种时间方法
查看>>
Moment.js常见用法总结
查看>>
moment时间处理相关小结
查看>>
Mongodb sharding转换一个副本集为分片集群
查看>>
MongoDB 启动基于角色的登录认证功能
查看>>
mongodb 命令行操作
查看>>
MongoDB 对索引的创建查询修改删除 附代码
查看>>