加载中…
个人资料
风贝
风贝
  • 博客等级:
  • 博客积分:0
  • 博客访问:44,162
  • 关注人气:9
  • 获赠金笔:0支
  • 赠出金笔:0支
  • 荣誉徽章:
分类
搜博主文章
访客
加载中…
评论
加载中…
留言
加载中…
博文
(2014-02-19 21:05)
标签:

kafka

hadoop

it



1. 背景介绍

 

许多公司的平台每天会产生大量的日志(一般为流式数据,如,搜索引擎的pv,查询等),处理这些日志需要特定的日志系统,一般而言,这些系统需要具有以下特征:

(1) 构建应用系统和分析系统的桥梁,并将它们之间的关联解耦;

(2) 支持近实时的在线分析系统和类似于Hadoop之类的离线分析系统;

 

阅读  ┆ 评论  ┆ 转载 ┆ 收藏 
标签:

httpclient

it

HttpClient4.0.1应用指南;HttpClient程序包是一个实现了HTTP协;importjava.io.IOExceptio;importorg.apache.http.Ht;importorg.apache.http.cl;importorg.apache.http.cl;importorg.apache.http.cl;importorg.

HttpClient4.0.1应用指南

 

HttpClient程序包是一个实现了 HTTP 协议的客户端编程工具包,要想熟练的掌握它,必须熟悉 HTTP协议。一个最简单的调用如下:

 

阅读  ┆ 评论  ┆ 转载 ┆ 收藏 
标签:

rpi

supercomputer

it

原文链接

Prof Simon Cox

Computational Engineering and Design Research Group

Faculty of Engineering and the Environment

University of Southampton, SO17 1BJ, UK.

 

V0.2: 8th September 2012

V0.3: 30th November 2012 [Updated with less direct linking to MPICH2 downloads]

 

First steps to get machine up

 

1. Get image from

http://www.raspberrypi.org/downloads

I originally used: 2012-08-16-wheezy-raspbian.zip

 

阅读  ┆ 评论  ┆ 转载 ┆ 收藏 
标签:

memcached

facebook

udp

it

这篇2008年的文章让我汗颜。

If you've read anything about scaling large websites, you've probably heard about memcached. memcached is a high-performance, distributed memory object caching system. Here at Facebook, we're likely the world's largest user of memcached. We use memcached to alleviate database load. memcached is already fast, but we need it to be faster and more efficient than most installations. We use more than 800 servers supplying over 28 terabytes of memory to our users. Over the past year as Facebook's popularity has skyrocketed, we've run into a number of scaling issues. This ever increasing demand has required us to make modifications to both our operating system and memcached to achieve the performance that provides the best possible experience for our users.

Because we have thousands and thousands of computers, each running a hundred or more Apache processes, we end up
阅读  ┆ 评论  ┆ 转载 ┆ 收藏 
标签:

git

it

一、安装

默认安装:msysGit

二、配置

 

阅读  ┆ 评论  ┆ 转载 ┆ 收藏 
标签:

c0x

原子

it

最近有一个困扰我的问题:如何使C++的原子变量高效而且可移植?

    我知道

阅读  ┆ 评论  ┆ 转载 ┆ 收藏 
标签:

linux

绑定cpu

it

进程版本:
#include <sched.h>
void setProcessToCPU(int _cpuID)
{
    cpu_set_t mask;
    cpu_set_t get;

    CPU_ZERO(&mask);
    CPU_SET(_cpuID, &mask);

    if (sched_setaffinity(0, sizeof(mask), &mask) < 0) {
        cout << 'set process affinity failed\n' << endl;
    }
    CPU_ZERO(&get);
    if (sched_getaffinity(0, sizeof(get), &get) < 0) {
        cout << 'get process affinity failed\n' << endl;
    }
}

线程版本:
#include <pthread.h>
#include <sched.h>
void setThreadToCPU(int _cpuID)
{
阅读  ┆ 评论  ┆ 转载 ┆ 收藏 
(2012-06-28 19:56)
标签:

linux

常用命令

it

好久没写过原创文了,最近改邪归正,励精图治,先上一篇。用了一段时间linux,发现有些命令还真是常用,再此记录下来。

1.搜索目录下所有文件的内容
方法1:find / -name '*.conf' | xargs grep 'alias'
方法2:find   .   -type   f   -regex   '.*\.c '   -print   -exec   grep   'string '   {}   \; 

2.删除共享内存区
ipcs -m | awk '{  if($6 ==0) print 'ipcrm -m '$2 }'、

3.实时输出文件中包含特定字符串的行
tail -f 1.txt |grep 'he
阅读  ┆ 评论  ┆ 转载 ┆ 收藏 
标签:

it

近来做一个产品需要在网关上获取特定UDP端口(假设是1000端口)的报文,并将其转发给其它设备的1000端口。虽然此类文章网上已经有很多了,但我还是贴上来,这样自己也做下记录,大家也多一份参考。
下面只给出了代码片段,自己慢慢调试。
我们假设网络拓扑如下所示:
LINUX 
阅读  ┆ 评论  ┆ 转载 ┆ 收藏 
标签:

it

最近疯狂的研究Linux的种种功能,也颇有心得,这里讲述一下Linux下的Net的Hook,使用net的Hook可以实现很多很多非常底层的功能,比如过滤报文,做防火墙,做代理等等。
Now,Let's Go!

阅读  ┆ 评论  ┆ 转载 ┆ 收藏 
  

新浪BLOG意见反馈留言板 电话:4000520066 提示音后按1键(按当地市话标准计费) 欢迎批评指正

新浪简介 | About Sina | 广告服务 | 联系我们 | 招聘信息 | 网站律师 | SINA English | 会员注册 | 产品答疑

新浪公司 版权所有