加载中…
个人资料
王斌科
王斌科
  • 博客等级:
  • 博客积分:0
  • 博客访问:35,529
  • 关注人气:163,668
  • 获赠金笔:0支
  • 赠出金笔:0支
  • 荣誉徽章:
访客
加载中…
好友
加载中…
评论
加载中…
留言
加载中…
博文
标签:

就是

信号

映像

磁盘空间

进程

分类: Linux笔记
        最近在学习Nginx模块开发,测试环境是在一个虚拟机中进行的,磁盘空间相对来说很小。由于模块存在bug导致Nginx进程崩溃了几次,发现磁盘空间不足。经过查询发现是Linux CoreDump文件惹的祸。 

        得知在Nginx下work_rlimit_core size;该配置可以控制core文件大小。 

        在Linux系统中,当进程发生错误或收到信号而终止时,系统会将进程执行时的内存内容(核心映像)写入一个文件(Core文件),以作为调试只用,这就是所谓的核心转储(coredumps)。当Nginx进程出现一些非法操作(如内存越界)导致进程直接被操作系统强制结束时,会生成核心转储core文件,可以从core文件中获取当时的堆栈、寄存器等信息,从而帮助我们定位问题。但这种core文件中的信息不一定是用户需要的,如果不加以限制,那一个core文件可以达到几G。轻轻松松就可以写满我们的磁盘。 

        在网上看到了另外一篇介绍Linux CoreDump文件的形成和分析的文章http://stblog.baidu-tech.com/?p=1684,详细介
阅读  ┆ 评论  ┆ 转载 ┆ 收藏 
分类: 系统架构
        一直听说Nginx在处理静态数据方面的能力十分优秀,但是没有深入进行刨根问底,近期学习Nginx模块开发,加入Nginx开发邮件列表,通过对大牛们的问题的琢磨以及学习,对这个问题有了稍微深入一点的认识。

        首先,得益于Linux内核提供的文件异步I/O和ngx_epoll_module模块中实现的针对文件的异步I/O。这里提到的文件异步I/O并不是glibc库提供的文件异步I/O,glibc库提供的异步I/O是基于多线程实现的,它并不是真正意义上的异步I/O。这里说的异步I/O时由Linux内核实现,只有在内核中成功地完成了磁盘操作,内核才会通知进程,进而使得磁盘文件的处理与网络事件的处理同样高效。Linux内核版本2.6.2x以后支持文件异步I/O,Nginx把读取文件的操作异步地提交给内核后,内核会通知I/O设备独立地执行操作,这样,Nginx进程可以继续充分地占用CPU,而且,当大量读事件堆积到I/O设备的队列中时,将会发挥出内核中“电梯算法”的优势,从而降低随机读取磁盘扇区的成本。Nginx仅支持在读取文件时使用异步I/O,因为正常写入文件时往往时写入内存中就立刻返回,效率很高,而使
阅读  ┆ 评论  ┆ 转载 ┆ 收藏 
标签:

转载

对于一些数据量较大的系统,面临的问题除了是查询效率低下,还有一个很重要的问题就是插入时间长。我们就有一个业务系统,每天的数据导入需要4-5 个钟。这种费时的操作其实是很有风险的,假设程序出了问题,想重跑操作那是一件痛苦的事情。因此,提高大数据量系统的MySQL insert效率是很有必要的。

经过对MySQL

阅读  ┆ 评论  ┆ 转载原文 ┆ 收藏 
标签:

转载


    在两台机器之间复制一些大文件的时候,把nc和pigz组合起来会是一个简单,高效的选择。假如我们要快速的同时增加几台MySQL Slave,这时候需要分发文件到多个服务器,利用linux下的一些工具往往是方便和快捷的。

    首先建立分发链:选定一台目标机器做为分发链的末端,在这台机器上做nc监听(假设端口是1234),再通过管道由pigz解压缩,继续利用管道做tar分解。
&
阅读  ┆ 评论  ┆ 转载原文 ┆ 收藏 
标签:

转载

yum -y install sysstat

whereis sar

whereis iostat

即可看到相关的命令

如果在redhat下面用rpm包安装的话可以先去 http://rpmfind.net/查找 sysstat相对应的rpm包

另附上:linux磁盘IO查看的相关命令及说明

from: http://blog.chinaunix.net/u3/93062/showart_1934431.html


##############
#

阅读  ┆ 评论  ┆ 转载原文 ┆ 收藏 
(2012-02-27 17:13)
标签:

转载

原文地址:iostat工具作者:天天向下

iostat
     iostat是sysstat包的一部分。Iostat显示自系统启动后的平均CPU时间(与uptime类似),它也可以显示磁盘子系统的使用情况,iostat可以用来监测CPU利用率和磁盘利用率。

CPU利用率分四个部分:
引用
%user:user level(应用)的CPU占用率情况
%nice:加入nice优先级的user level的CPU占用率情况
%sys:system level(内核)的CPU占用情况
%idle:空闲

阅读  ┆ 评论  ┆ 转载原文 ┆ 收藏 
标签:

转载

plupload支持技术:

1:Flash

2:Gears
3:HTML 5
4:Silverlight
5:BrowserPlus
6:HTML 4

plupload主要功能:

1:突破HTTP上传限制,可上传大文件,官方论坛中有讨论上传2G文件的应用。
2:多文件队列上传
3:图片自动生成缩略图
4:上传后自动生成唯一文件名
5:自定制UI

     Plupload 可以让你选择Adobe Flash、Google Ge
阅读  ┆ 评论  ┆ 转载原文 ┆ 收藏 
标签:

转载

原文地址:mysql索引详解作者:夏天的味道
一.语法

explain < table_name >

例如: explain select * from t3 where id=3952602;

二.explain输出解释

+----+-------------+-------+-------+-------------------+---------+---------+-------+------+-------+
| id | select_type | table | type | possible_keys | key | key_len | ref | rows | Extra |
+----+-------------+-------+-------+-------------------+---------+---------+-------+------+-------+

阅读  ┆ 评论  ┆ 转载原文 ┆ 收藏 
标签:

it

mysql

杂谈

分类: 数据库笔记

现介绍一款NB的DB(Alchemy Database)介绍给大家认识,这个世界上疯狂的人真多,尤其是这个老外,竟然把Redis改造成一个支持SQL语句的内存型数据库.

以下是官方网站提供的测试语句.

FAST ON COMMOD

阅读  ┆ 评论  ┆ 转载 ┆ 收藏 
标签:

杂谈

分类: Linux笔记
      最近刚发现了一个文件比较命令: comm,是一个比diff更简单的取2个文件交集/补集的方法。原先以为需要用join 2个表的方法,现在很少几个参数就实现了。

      随着时间的积累,我发现原先很多需要用数据库才能实现的排序,过滤,分列输出其实都可以shell代替了:而且效率更高。目前正在整理积累起来的oneliner工具集,经常使用的有:
      awk: 可用用作select 控制指定列的输出,并且附带了length()   mod 等简单函数,通过if条件还可以实现更复杂的判断逻辑,而且比perl更容易读
      sed: 控制到某一行的输出 相当于limit 30,40
      perl:正则表达式 过滤,替换,非常强大,网上可以找到很多的one liner的现成工具,不过阅读起来有些困难;
      sort: 相当于 order by
      uniq: 相当于distinct
      grep: 相当于like, not like
      wc: 相
阅读  ┆ 评论  ┆ 转载 ┆ 收藏 
  

新浪BLOG意见反馈留言板 电话:4000520066 提示音后按1键(按当地市话标准计费) 欢迎批评指正

新浪简介 | About Sina | 广告服务 | 联系我们 | 招聘信息 | 网站律师 | SINA English | 会员注册 | 产品答疑

新浪公司 版权所有