加载中…
个人资料
王斌科
王斌科
  • 博客等级:
  • 博客积分:0
  • 博客访问:36,202
  • 关注人气:163,639
  • 获赠金笔:0支
  • 赠出金笔:0支
  • 荣誉徽章:
相关博文
推荐博文
谁看过这篇博文
加载中…
正文 字体大小:

用shell命令来代替sql语句统计日志信息

(2012-01-10 11:04:15)
标签:

杂谈

分类: Linux笔记
      最近刚发现了一个文件比较命令: comm,是一个比diff更简单的取2个文件交集/补集的方法。原先以为需要用join 2个表的方法,现在很少几个参数就实现了。

      随着时间的积累,我发现原先很多需要用数据库才能实现的排序,过滤,分列输出其实都可以shell代替了:而且效率更高。目前正在整理积累起来的oneliner工具集,经常使用的有:
      awk: 可用用作select 控制指定列的输出,并且附带了length()   mod 等简单函数,通过if条件还可以实现更复杂的判断逻辑,而且比perl更容易读
      sed: 控制到某一行的输出 相当于limit 30,40
      perl:正则表达式 过滤,替换,非常强大,网上可以找到很多的one liner的现成工具,不过阅读起来有些困难;
      sort: 相当于 order by
      uniq: 相当于distinct
      grep: 相当于like, not like
      wc: 相当于count()

      再加上翻页输出more head等。结合报表输出工具:GNUPlot,R-Project等,就可以生成漂亮的报表了。谈不上数据挖掘,但是用于一些简单actionable data采集确实是非常快速有效。

0

阅读 评论 收藏 转载 喜欢 打印举报/Report
  • 评论加载中,请稍候...
发评论

    发评论

    以上网友发言只代表其个人观点,不代表新浪网的观点或立场。

      

    新浪BLOG意见反馈留言板 欢迎批评指正

    新浪简介 | About Sina | 广告服务 | 联系我们 | 招聘信息 | 网站律师 | SINA English | 会员注册 | 产品答疑

    新浪公司 版权所有