加载中…
个人资料
梁喜健
梁喜健
  • 博客等级:
  • 博客积分:0
  • 博客访问:139,669
  • 关注人气:56
  • 获赠金笔:0支
  • 赠出金笔:0支
  • 荣誉徽章:
新浪微博
我去过的地方
国内 (8篇)
国外 (0篇)
站在小丘我四下望
我的音乐
评论
加载中…
留言
加载中…
访客
加载中…
好友
加载中…
博文

点亮博客十周年徽章 GO>

十年,不会忘,我在,新浪博客!

  • 2006年,超女选秀,博客推广,那些年我们一
阅读  ┆ 评论  ┆ 转载 ┆ 收藏 

点亮博客十周年徽章 GO>

十年,不会忘,我在,新浪博客!

  • 2006年,超女选秀,博客推广,那些年我们一
阅读  ┆ 评论  ┆ 转载 ┆ 收藏 

引言

在历经版本号修改(2.8版本直接跳到3.0版本)和11个rc版本之后,MongoDB 3.0于2015年3月3日正式发布。可以毫不夸张的说,该版本的新增特性标志着

阅读  ┆ 评论  ┆ 转载 ┆ 收藏 
       mongobackup是用于Mongodb的增量备份与恢复工具,恢复时,需要结合全量备份与恢复使用,来自多云mongodb论坛(http://duoyun.org/topic/52a91d844888b88743179c5e),目前该工具尚未开源。该工具可以实时地读取目标mongo实例的oplog,然后以BSON格式存储到文件中,在做数据恢复时通过回放BSON文件中的oplog实现数据的恢复。这与Mongodb自身提供的备份恢复工具mongodump和mongorestore类似,但是mongobackup在备份和恢复时可以指定时间戳,即可以备份和恢复指定时间段内的数据,因此可以实现增量。
       目前mongobackup还没有完善的使用说明文档,因此希望通过试用摸清该工具的使用方法,验证其功能是否正确,具体流程如下:1)通过YCSB工具向mongo实例中加载1000W条记录;2)在数据加载过程中启动mongodump命令对已加载的数据进行备份,而在执行mongodump命令前先启动mongobackup工具实时记录mongo实例的oplog;3)在数据加载完成后停止mongobackup对于oplog的实时记录;4)使用mongorestore命令恢复之前通过mongodump备份的部分记录;5)使用mongobackup对从mongodump执行到数据完全加载完成这段时间内的数据进行恢复
阅读  ┆ 评论  ┆ 转载 ┆ 收藏 
标签:

it

mogodb

ycsb

杂谈

       YCSB(Yahoo! Cloud Serving Benchmark)是雅虎开源的一款通用的性能测试工具。通过这个工具我们可以对各类NoSQL产品进行相关的性能测试,包括:HBase、Cassandra、Mongodb、Voldemort、Redis等。通过配置workload文件,YCSB可以灵活的模拟不同的测试负载和读写模式,以下为YCSB测试Mongo性能步骤的简单总结。
       首先,下载YCSB。在YCSB的
阅读  ┆ 评论  ┆ 转载 ┆ 收藏 
(2014-11-20 15:07)
    自Redis增加Sentinel集群工具以来,本博主就从未尝试过使用该工具。最近在调研目前主流的Redis集群部署方案,所以详细地看了一遍官方对于Sentinel的介绍并在自己的台式机上完成了三Redis实例+三Sentinel实例的部署,这里做一下简单的总结。
    首先,下载安装Redis。目前随Redis 2.8发布的Sentinel版本被antirez称为Sentinel 2,是在Sentinel 1的基础上重写的。因为Sentinel 1已经废弃而且BUG太多,所以antirez强烈建议将Redis和Sentinel均升级到2.8版本,本博主安装的版本为最新的2.8.17。
    其次,配置并启动Redis实例。分别在6379、6380和6381三个本地端口上启动三个Redis实例,其中6379为Master,其余两个为Slave。关于Redis的主从配置这里就不再赘述了,但其中需要指出的是两个Slave在配置参数slave-priority上的区别:6380实例该配置参数为50,6381实例该配置参数
阅读  ┆ 评论  ┆ 转载 ┆ 收藏 
    去年本博主发表了一篇关于Redis Cluster搭建的博文,因为当时没有找到任何官方的说明文档,所以只能根据Redis主页上的Redis cluster Specification一步步地摸索出了一种搭建方法,可以说是彻彻底底的野路子。后来自己怕误人子弟,还很自觉地在原文中对这一点作了说明。后来某位网友发来一篇博文的链接:http://no-fucking-idea.com/blog/2012/04/16/setting-up-redis-cluster/,其中就是介绍如何使用redis源码包中的redis-trib.rb工具来实现Redis Cluster的搭建,不仅实现方法异常简单而且发表时间也早了一年有余,由此可知自己的那篇博文确实是闭门造车了。最近Redis官网正式推出了支持Redis Cluster的3.0 Beta版,我在官网上也找到了关于Redis Cluster搭建的tutorial,今天按照上面的步骤尝试了一把,果真是极好的!于是乎赶紧发一篇博文,希望已经被俺前一篇博文毒害的弟兄们早日悬崖勒马,回归正道!
    首先,下载支持Redis Cluster的源码包,最方便的当然就是直接下载3.0 Beta版,其链接地址为:https://github.com/antirez/redis/archive/3.0.0-beta1.tar.gz。解压安装后,对Redis进行配置,主要就是
阅读  ┆ 评论  ┆ 转载 ┆ 收藏 
Slowlog是Redis从2.2.12版本引入的一条命令,用于查询和重置Redis内部维护的慢查询日志,其中每条日志的内容均由四部分组成:1)慢查询日志Id,该Id对于每条日志来说都是唯一的;2)慢查询日志被记录的Unix时间戳;3)慢查询的执行时间,以微秒计;4)查询本身,包括命令以及一系列参数。
    需要说明的是,所谓慢查询指的就是内部执行时间超过某个指定时限的查询,而控制该指定时限的就是Redis配置文件中的配置项slowlog-log-slower-than。除了slowlog-log-slower-than外,在配置文件中还有另外一个参数与慢查询日志有关,那就是slowlog-max-len,该配置项控制了Redis系统最多能够维护多少条慢查询日志。因为虽然我们这里称之为日志,但实际上它们仅维护在内存中而不会写出到磁盘的日志文件上去,所以slowlog-max-len的作用就是控制慢查询日志的内存占有量。
    Slowlog可用的命令形式有三种:1)slowlog get [number],返回最近的number条慢查询日志,如果不提供number参数则返回全部慢查询日志;2)slowlog len,返回当前已有慢查询日志的条数;3)slowlog
阅读  ┆ 评论  ┆ 转载 ┆ 收藏 
在上一篇博文中,我们介绍了Cursor类的一个重要子类BasicCursor。作为Cursor类的子类,BasicCursor实现了游标中断机制,但却没有实现Cursor类中另外一个重要的纯虚函数Next,所以我们可以把BasicCursor看成是个半成品,任何不想自己实现中断机制的游标都可以通过继承BasicCursor来自动获取中断机制,这样它们只需要实现Next函数就可以成为一个完整可用的游标了。事实上,Supersonic中继承BasicCursor类的游标实现非常多,这里我们不妨看一个简单的来感受一下Supersonic中一个完整可用的游标究竟是怎样实现。

代码段五:

class ViewCursor : public BasicCursor {

    public:

  static Cursor* Create

阅读  ┆ 评论  ┆ 转载 ┆ 收藏 
众所周知,在传统的关系型数据库中用于处理查询结果最常用的一种机制就是游标。当用户使用SQL语句从数据库中检索数据后,结果会放在内存的一块区域中,且结果往往是一个含有多个记录的集合。游标机制允许用户逐行地访问这些记录,按照用户自己的意愿来显示和处理这些记录。作为面向列存储的查询库,Supersonic同样支持游标,这样当查询结果包含了很多条记录时,用户就可以通过Supersonic提供的游标API逐条读取和处理查询结果。实际上,Supersonic中大部分查询API的执行结果都需要使用游标来处理。接下来,我们就来分析一下Supersonic中实现游标的源码,从而对其实现原理一探究竟。
在开始对游标部分的源码进行分析前,我们首先来看一个使用Supersonic游标的测试用例,这可以帮助我们对游标的使用建立起一个直观的印象。代码段一给出了一个简单的测试用例,用于实现类似于“SELECT SUM(b) FROM table GROUP BY a”的查询,其中查询结果使用游标来读取。由代码段一可知,用于实现分组SUM查询的函数GroupedSums自动返回一个游标并赋值给了类型为Cursor的变量result_cursor
阅读  ┆ 评论  ┆ 转载 ┆ 收藏 
  

新浪BLOG意见反馈留言板 不良信息反馈 电话:4006900000 提示音后按1键(按当地市话标准计费) 欢迎批评指正

新浪简介 | About Sina | 广告服务 | 联系我们 | 招聘信息 | 网站律师 | SINA English | 会员注册 | 产品答疑

新浪公司 版权所有