博客
关于我
mongodb每天上亿数据量定期清理
阅读量:796 次
发布时间:2023-02-09

本文共 519 字,大约阅读时间需要 1 分钟。

MongoDB应用运营数据分析与自动化支持平台每分钟处理插入30万到40万条记录,更新20万到30万条记录。数据仅保留一天,超过一天的数据可立即清理。由于每日数据量大约达到1亿级别,传统的清理方式往往导致入库操作变慢,影响系统性能。经过与开发团队的多次讨论和尝试,我们最终找到了一种适合当前业务需求的清理方案,使系统运行更加稳定。

在帮助其他数据库管理员解决MongoDB数据清理问题的过程中,也积累了一些常见的清理方法,以下是一些实用的建议:

数据清理方案

对于数据量较小的集合,这种简单的定期删除方法效果不错。具体操作方法如下:

删除操作:

db.collection.remove({  "ns" : "fla.logGset",  "query" : {    "time" : {      "$lt" : 1495693140,      "$gte" : 1495693080    }  }})

然而,这种方法在处理数据量较大的库时存在性能瓶颈。例如,涉及到大规模数据清理的mrcache库,每次执行删除操作可能需要10分钟到20分钟的时间,这明显无法满足实时数据处理的需求。因此,我们需要结合多种优化措施来解决这个问题。

转载地址:http://usffk.baihongyu.com/

你可能感兴趣的文章
mysql 敲错命令 想取消怎么办?
查看>>
Mysql 整形列的字节与存储范围
查看>>
mysql 断电数据损坏,无法启动
查看>>
MySQL 日期时间类型的选择
查看>>
Mysql 时间操作(当天,昨天,7天,30天,半年,全年,季度)
查看>>
MySQL 是如何加锁的?
查看>>
MySQL 是怎样运行的 - InnoDB数据页结构
查看>>
mysql 更新子表_mysql 在update中实现子查询的方式
查看>>
MySQL 有什么优点?
查看>>
mysql 权限整理记录
查看>>
mysql 权限登录问题:ERROR 1045 (28000): Access denied for user ‘root‘@‘localhost‘ (using password: YES)
查看>>
MYSQL 查看最大连接数和修改最大连接数
查看>>
MySQL 查看有哪些表
查看>>
mysql 查看锁_阿里/美团/字节面试官必问的Mysql锁机制,你真的明白吗
查看>>
MySql 查询以逗号分隔的字符串的方法(正则)
查看>>
MySQL 查询优化:提速查询效率的13大秘籍(避免使用SELECT 、分页查询的优化、合理使用连接、子查询的优化)(上)
查看>>
mysql 查询数据库所有表的字段信息
查看>>
【Java基础】什么是面向对象?
查看>>
mysql 查询,正数降序排序,负数升序排序
查看>>
MySQL 树形结构 根据指定节点 获取其下属的所有子节点(包含路径上的枝干节点和叶子节点)...
查看>>