Oknet's network diary http://blog.sina.com.cn/oknet Thu, 31 Dec 2009 18:08:06 GMT+8 FEEDCREATOR_VERSION zh-cn Copyright 1996 - 2009 SINA Inc. All Rights Reserved. Thu, 31 Dec 2009 10:08:06 GMT+8 Wii + Wii Fit 双人家庭套装 http://blog.sina.com.cn/s/blog_544465b00100cvjf.html 哥们结婚，买了套这个送给他们。

 

之前一直听说wii fit很好玩，自己心里一直很张草。自己已经有XBOX360了，再买一个Wii是不是浪费啊？再就是之前Wii的破解一直不是很完美，需要硬解，现在软件已经做的很不错了，就买了一个送他们，让他们当下白老鼠哈。

 

结果我这哥们笨到家，竟然搞不定还要我去给丫On Site，好吧，只好去他们家给弄好，其实我之前都没有摸过Wii，折腾了半天，看着高丽棒子的说明书（因为买的韩版），实在抓狂，还好可以看图说话，弄好了之后的确很好玩，特别是那个wii fit，真不错！

 

我靠，又张草了，看来XBOX360 + Wii + PS3 + PSP 一个都不能少呀！

]]> computer_xu 游戏机 http://blog.sina.com.cn/s/blog_544465b00100cvjf.html#comment Mon, 18 May 2009 03:49:43 GMT+8 http://blog.sina.com.cn/s/blog_544465b00100cvjf.html XBOX360 升级补丁下载地址 http://blog.sina.com.cn/s/blog_544465b00100cvj4.html Xbox.com  How To - How To Get O.S. System Updates For Your Xbox 360

因为被该死的 M$ 发现玩了D版，所以被ban了，无法Online升级，找到这个地址，能够及时下载升级补丁

 

解压缩到U盘根目录就可以升级XBOX360啦！

 

最新的2008秋季补丁已经可以把游戏Load进硬盘里玩了，可怜我最近半年因为房子装修，很久没有摸过我的XBOX360了，而且只有20GB的硬盘，能装几个游戏啊，M$什么时候才会出大硬盘啊！

]]> computer_xu 游戏机 http://blog.sina.com.cn/s/blog_544465b00100cvj4.html#comment Mon, 18 May 2009 03:41:49 GMT+8 http://blog.sina.com.cn/s/blog_544465b00100cvj4.html epoll的两种工作模式LT/ET http://blog.sina.com.cn/s/blog_544465b00100bkrj.html EPOLLLT

完全靠kernel epoll驱动，应用程序只需要处理从epoll_wait返回的fds，应用程序可以根据需要，执行读取/写入操作一次或多次

 

此模式下，系统默认所有的fds都是空闲的，只有epoll_wait通知的fds是忙碌的，所以应用系统只需要处理这些fds就可以了

 

EPOLLET

主要靠应用程序处理fds，应用程序从epoll_wait只能得到哪些fds是由空闲变为忙碌状态。此时应用程序需要自己维护一张fds的表格，把从epoll_wait获得的状态变化信息登记到这张表格。然后应用程序可以选择遍历这张fds的表格，对处于忙碌状态的fds进行操作。

 

当读取/写入操作遇到EAGAIN的错误，就表示这个fd由忙碌状态变为空闲状态，在下一次epoll_wait调用之前如果有数据进来或者这个fd的写缓冲区又空闲了，那么epoll_wait会再次通知应用程序，这个fd从空闲状态变为忙碌状态。

 

此模式下，系统仅仅通知应用程序哪些fds变成了忙碌状态，一旦fd变成忙碌状态，epoll将不再关注这个fd的任何状态信息，直到应用程序通过读写操作触发EAGAIN状态，epoll认为这个fd又变为空闲状态，那么epoll又重新关注这个fd的状态变化。

 

因此EPOLLET比EPOLLLT对应用程序的要求更多，需要程序员设计的部分也更多，看上去EPOLLLT要简单的多。但是如果这里我们要求对fd有超时控制，EPOLLLT需要有额外的fds遍历操作，而EPOLLET本来就需要不断遍历fds，如此看来使用EPOLLET是更好的选择，EPOLLLT才是设计不够完善的小玩具。

 

而且由于epoll_wait每次返回的fds的数量有限，在大并发的模式下，EPOLLLT将非常的繁忙，所有的fds都要在它的队列中产生状态消息，而每次只有其中一部分fds被返回给应用程序。

相对于EPOLLET，只要epoll_wait返回一次fds之后，这些fds就从epoll队列中消除，只有应用程序遇到EAGAIN之后fd才会重新添加到epoll队列，如此看来随着epoll_wait的返回，队列中的fds是在减少的，所以在大并发的系统中，EPOLLET更有优势。但是对程序员的要求也更高。

]]> computer_xu Socket http://blog.sina.com.cn/s/blog_544465b00100bkrj.html#comment Wed, 21 Jan 2009 01:25:03 GMT+8 http://blog.sina.com.cn/s/blog_544465b00100bkrj.html Etag , Load Balance , Cache http://blog.sina.com.cn/s/blog_544465b0010009hy.html  最近在写自己的 CacheServer 发现 Etag 标准不统一，而且针对 Cache 以及Load Balance来说需要特别的设定
 
Apache 规定 Etag 由 [inode]-[mtime]-[size]
Sun 去掉了[inode]，仅保留 [mtime]-[size]
Lighttpd 定义 Etag = [inode]-[size]-[mtime]
 
在Apache 2.0开始 Etag 可以由用户自定义，在以上3个参数中选择
 
如果我们的使用了一组负载均衡的webserver提供服务，如果采用 Etag=[inode]-[mtime]-[size]的方式，那么很有可能，每台服务器输出的Etag都是不同的
 
因为我们无法保证同一个文件在每台服务器上的 inode 都一样。
 
这样Cache如果通过Etag判断文件是否被更新过，很可能就会遇到问题
 
所以Sun去掉了inode是有考虑的，Apache 2.0提供了更灵活的方式
 
因此如果做了负载均衡的兄弟们，在Apache 2.x上用FileEtag设置一下你的Etag吧，去掉 inode 元素，以提供对Cache的友好化
]]> computer_xu http://blog.sina.com.cn/s/blog_544465b0010009hy.html#comment Tue, 19 Jun 2007 16:08:29 GMT+8 http://blog.sina.com.cn/s/blog_544465b0010009hy.html Linux + MT/MP + epoll + mmap + sendfile/tee/splice = ? http://blog.sina.com.cn/s/blog_544465b0010009ef.html  
Linux 2.6.19 rc3 给我们带来了2个NB的东西: tee , splice
根据 Linus 在论坛中所说sendfile可以下岗了
 
于是俺写了个HTTP Server用于处理静态文件，采用了Multi-Thread(MT), Multi-Process(MP)两种框架，使用sendfile输出静态文件，使用mmap实现filecache，并加速sendfile，基于Linux 2.6.18 Debian的系统进行了测试，autobench + httperf 输出的测试结果如下：
 
 
 
4
]]> computer_xu Socket http://blog.sina.com.cn/s/blog_544465b0010009ef.html#comment Tue, 12 Jun 2007 08:48:16 GMT+8 http://blog.sina.com.cn/s/blog_544465b0010009ef.html 全球IP地址库及中国IP地址库统计信息（3） http://blog.sina.com.cn/s/blog_544465b001000838.html

中国网通各省IP数量（*表示北方10省）
mysql> select province, sum(n) as total from iprange where country='CN' and isp=1 group by province order by total;
+----------+---------+
| province | total   |
+----------+---------+
| 西藏     |    8192 |
| 青海     |   16384 |
| 甘肃     |   24576 |
| 江西     |   32768 |
| 宁夏     |   40960 |
| 湖南     |   65536 |
| 海南     |   81920 |
| 贵州     |   81920 |
| 湖北     |   90112 |
| 云南     |   98304 |
| 广西     |   98304 |
| 新疆     |  106496 |
| 福建     |  124928 |
| 安徽     |  131072 |
| 上海     |  131072 |
| 四川     |  143360 |
| 陕西     |  204524 |
| 内蒙     |  299008 |*
| 重庆     |  417792 |
| 江苏     |  590848 |
| 广东     |  691968 |
| 山西     |  884736 |*
| 浙江     | 1146880 |
| 天津     | 1212416 |*
| 未知**   | 1226260 |
| 吉林     | 1343488 |*
| 黑龙江   | 1523712 |*
| 辽宁     | 1933312 |*
| 河北     | 2211840 |*
| 河南     | 2801664 |*
| 山东     | 3112960 |*
| 北京     | 3145456 |*
+----------+---------+

中国电信各省IP数量（*表示南方各省）
+----------+---------+
| province | total   |
+----------+---------+
| 香港     |   10240 |*
| 西藏     |   32768 |*
| 青海     |  122880 |*
| 宁夏     |  184320 |*
| 北京     |  238848 |
| 天津     |  249856 |
| 山西     |  266240 |
| 海南     |  327680 |*
| 内蒙     |  344064 |
| 甘肃     |  376832 |*
| 吉林     |  417792 |
| 黑龙江   |  466944 |
| 贵州     |  475136 |*
| 陕西     |  596224 |*
| 新疆     |  630784 |*
| 河北     |  696320 |
| 广西     |  720896 |*
| 江西     |  786432 |*
| 河南     |  860160 |
| 辽宁     |  901120 |
| 山东     | 1089536 |
| 云南     | 1269744 |*
| 重庆     | 1372160 |*
| 安徽     | 1376000 |*
| 湖北     | 1572864 |*
| 福建     | 1605632 |*
| 四川     | 1622016 |*
| 湖南     | 1703936 |*
| 未知**   | 1867432 |
| 上海     | 2785280 |*
| 江苏     | 4227328 |*
| 广东     | 4554744 |*
| 浙江     | 5692288 |*
+----------+---------+

]]> computer_xu CDN与Cache http://blog.sina.com.cn/s/blog_544465b001000838.html#comment Wed, 21 Mar 2007 18:38:37 GMT+8 http://blog.sina.com.cn/s/blog_544465b001000838.html 全球IP地址库及中国IP地址库统计信息（2） http://blog.sina.com.cn/s/blog_544465b001000837.html 中国IP地址库，各ISP地址数量
mysql> select isp, isp.short, isp.name, sum(n) as total, round(100*sum(n)/107059712,2) as 'pct%' from iprange left join isp on iprange.isp=isp.id where country='CN' group by isp order by total;
+------+----------+----------------+----------+-------+
| isp  | short    | name           | total    | pct%  |
+------+----------+----------------+----------+-------+
|   24 | CN.Other | 国内其他       |      256 |  0.00 |
|   46 | CN.Other | 国内其他       |      512 |  0.00 |
|   27 | CN.Other | 国内其他       |     1024 |  0.00 |
|   37 | CN.Other | 国内其他       |     2048 |  0.00 |
|   31 | CN.Other | 国内其他       |     2048 |  0.00 |
|   36 | CN.Other | 国内其他       |     2048 |  0.00 |
|   25 | CN.Other | 国内其他       |     2048 |  0.00 |
|   40 | CN.Other | 国内其他       |     4096 |  0.00 |
|   42 | CN.Other | 国内其他       |     4096 |  0.00 |
|   32 | CN.Other | 国内其他       |     4096 |  0.00 |
|   33 | CN.Other | 国内其他       |     4096 |  0.00 |
|   41 | CN.Other | 国内其他       |     4096 |  0.00 |
|   26 | CN.Other | 国内其他       |     4096 |  0.00 |
|   58 | CN.Other | 国内其他       |     4608 |  0.00 |
|   56 | CN.Other | 国内其他       |     5120 |  0.00 |
|   28 | CN.Other | 国内其他       |     8192 |  0.01 |
|   29 | CN.Other | 国内其他       |     8192 |  0.01 |
|   39 | CN.Other | 国内其他       |     8192 |  0.01 |
|   57 | CN.Other | 国内其他       |    12288 |  0.01 |
|   44 | CN.Other | 国内其他       |    12288 |  0.01 |
|   30 | CN.Other | 国内其他       |    12288 |  0.01 |
|   34 | CN.Other | 国内其他       |    16384 |  0.02 |
|   45 | CN.Other | 国内其他       |    16384 |  0.02 |
|   59 | CN.Other | 国内其他       |    18688 |  0.02 |
|   35 | CN.Other | 国内其他       |    24576 |  0.02 |
|    9 | CN.Other | 国内其他       |    32768 |  0.03 |
|   21 | CN.Other | 国内其他       |    32768 |  0.03 |
|   38 | CN.Other | 国内其他       |    32768 |  0.03 |
|   50 | CN.Other | 国内其他       |    40960 |  0.04 |
|   20 | CN.Other | 国内其他       |    45056 |  0.04 |
|   23 | CN.Other | 国内其他       |    51200 |  0.05 |
|   52 | CN.Other | 国内其他       |    68096 |  0.06 |
|   43 | CN.Other | 国内其他       |   131072 |  0.12 |
|   48 | CN.Other | 国内其他       |   131072 |  0.12 |
|   49 | CN.Other | 国内其他       |   161536 |  0.15 |
|   14 | CN.Other | 国内其他       |   163840 |  0.15 |
|   19 | CN.Other | 国内其他       |   176128 |  0.16 |
|   61 | CN.Other | 国内其他       |   196608 |  0.18 |
|   22 | CN.Other | 国内其他       |   233472 |  0.22 |
|   62 | CN.Other | 国内其他       |   262144 |  0.24 |
|   53 | CN.Other | 国内其他       |   270336 |  0.25 |
|   11 | CN.Other | 国内其他       |   270336 |  0.25 |
|   12 | CN.Other | 国内其他       |   278528 |  0.26 |
|   51 | 21VIANET | 世纪互联       |   280576 |  0.26 |
|   15 | CN.Other | 国内其他       |   286720 |  0.27 |
|   13 | CN.Other | 国内其他       |   327680 |  0.31 |
|   55 | CN.Other | 国内其他       |   327680 |  0.31 |
|   16 | CN.Other | 国内其他       |   335872 |  0.31 |
|    3 | GWBN     | 长城宽带       |   394752 |  0.37 |
|   60 | CN.Other | 国内其他       |   436736 |  0.41 |
|   10 | COLNET   | 东方有线       |   614400 |  0.57 |
|   17 | BJENET   | 北京教育信息网 |   917504 |  0.86 |
|   18 | DXTNET   | 电信通         |  1135616 |  1.06 |
|    5 | CMNET    | 中国移动       |  1736704 |  1.62 |
|    6 | UNICOM   | 中国联通       |  1839360 |  1.72 |
|   54 | eGovNet  | 国家信息中心   |  4194304 |  3.92 |
|    7 | CRTC     | 中国铁通       |  7012352 |  6.55 |
|    0 | Unknown  | 未整理         |  8971520 |  8.38 |
|    4 | CERNET   | 中国教育网     | 12020224 | 11.23 |
|    1 | CNC      | 中国网通       | 24022768 | 22.44 |
|    2 | CTC      | 中国电信       | 39444496 | 36.84 |
+------+----------+----------------+----------+-------+ ]]> computer_xu CDN与Cache http://blog.sina.com.cn/s/blog_544465b001000837.html#comment Wed, 21 Mar 2007 18:38:14 GMT+8 http://blog.sina.com.cn/s/blog_544465b001000837.html 全球IP地址库及中国IP地址库统计信息（1） http://blog.sina.com.cn/s/blog_544465b001000836.html

如对一下数据有异议，可查阅2007/01公布的最新CNNIC调查报告
    http://tech.sina.com.cn/i/2007-01-22/16341347347.shtml

**以下数据来源于VIACDN全球NIC数据挖掘系统V2.0 beta1数据库
中国国内未整理数据占中国国内IP总数据量的8.38%

全球各国IP地址数量
mysql> select country, sum(n) as total from iprange group by country order by total;
+---------+------------+
| country | total      |
+---------+------------+
| GD      |        256 |
| LC      |        256 |
| GW      |       1024 |
| VG      |       1024 |
| NU      |       1024 |
| LR      |       1024 |
| NF      |       1280 |
| GF      |       2048 |
| CF      |       2048 |
| KN      |       2048 |
| FM      |       2048 |
| GP      |       2048 |
| CD      |       2048 |
| BI      |       2304 |
| KI      |       3072 |
| MW      |       3072 |
| IO      |       3072 |
| PW      |       4096 |
| AI      |       4096 |
| ER      |       4096 |
| DJ      |       4096 |
| AS      |       4096 |
| AX      |       4096 |
| TM      |       4096 |
| TO      |       4352 |
| VU      |       6144 |
| BJ      |       6144 |
| LS      |       6400 |
| SC      |       7168 |
| TV      |       8192 |
| MR      |       8192 |
| NR      |       8192 |
| KY      |       8192 |
| CK      |       8192 |
| VA      |       8192 |
| SB      |       8704 |
| GM      |      10240 |
| WS      |      10496 |
| SR      |      11264 |
| MM      |      12288 |
| MP      |      12288 |
| TG      |      12288 |
| BT      |      12288 |
| ZM      |      12544 |
| SZ      |      13056 |
| BF      |      13056 |
| ML      |      16384 |
| GL      |      16384 |
| ET      |      16384 |
| GY      |      16384 |
| SL      |      17408 |
| AW      |      18432 |
| RS      |      20480 |
| MG      |      20480 |
| TJ      |      20480 |
| SM      |      20480 |
| MV      |      20992 |
| LA      |      22784 |
| YE      |      24576 |
| AD      |      24576 |
| PG      |      26368 |
| ZW      |      26880 |
| AG      |      28672 |
| HT      |      28672 |
| AO      |      28928 |
| MZ      |      30976 |
| LY      |      32768 |
| GA      |      33280 |
| BZ      |      33280 |
| FO      |      33792 |
| CM      |      36096 |
| AL      |      37120 |
| PF      |      39424 |
| NA      |      39680 |
| NC      |      43008 |
| IQ      |      43008 |
| SN      |      43264 |
| AF      |      47104 |
| GI      |      47104 |
| NP      |      51712 |
| HN      |      53504 |
| LI      |      55328 |
| SD      |      57344 |
| BS      |      57344 |
| CI      |      57344 |
| KH      |      57344 |
| MC      |      64576 |
| TZ      |      66560 |
| GU      |      67840 |
| BW      |      69632 |
| BM      |      72192 |
| PY      |      73728 |
| VI      |      76800 |
| RW      |      77824 |
| JM      |      80896 |
| MN      |      81920 |
| BB      |      82688 |
| UG      |      86272 |
| NI      |      89600 |
| FJ      |      91136 |
| GH      |      91136 |
| KG      |      95232 |
| CU      |      97280 |
| AM      |      98336 |
| SY      |     115712 |
| AN      |     118784 |
| UZ      |     120832 |
| AZ      |     133120 |
| TT      |     142080 |
| MO      |     144640 |
| MD      |     145664 |
| BH      |     147456 |
| BY      |     156672 |
| MU      |     159488 |
| OM      |     163840 |
| KE      |     171008 |
| BN      |     172544 |
| LB      |     186368 |
| MK      |     194560 |
| GE      |     196608 |
| DO      |     198400 |
| JO      |     201984 |
| GT      |     225024 |
| NG      |     230400 |
| QA      |     241664 |
| PS      |     241664 |
| BA      |     251904 |
| DZ      |     270080 |
| LK      |     284672 |
| LU      |     285952 |
| SV      |     302080 |
| BD      |     304640 |
| BO      |     320768 |
| MT      |     322560 |
| CY      |     366624 |
| UY      |     366848 |
| KZ      |     374272 |
| EC      |     397568 |
| AP      |     421120 |
| KW      |     448256 |
| PR      |     466944 |
| PK      |     484096 |
| MA      |     585984 |
| IS      |     589824 |
| TN      |     631040 |
| CS      |     655104 |
| PA      |     816640 |
| HR      |     860000 |
| PE      |     970496 |
| EE      |     975616 |
| SI      |     999450 |
| LV      |    1043264 |
| SK      |    1206272 |
| AE      |    1230848 |
| CR      |    1299200 |
| IR      |    1319424 |
| LT      |    1358208 |
| EG      |    1441024 |
| SA      |    1452544 |
| VN      |    1872640 |
| ID      |    2040064 |
| BG      |    2156032 |
| PH      |    2208000 |
| UA      |    2226752 |
| VE      |    2451968 |
| GR      |    2522880 |
| CO      |    2678016 |
| MY      |    3028992 |
| HU      |    3051648 |
| SG      |    3135744 |
| PT      |    3377472 |
| TH      |    3480320 |
| IE      |    3483712 |
| IL      |    3503808 |
| CL      |    3699200 |
| AR      |    4050432 |
| CZ      |    4323712 |
| RO      |    4717184 |
| NZ      |    4946176 |
| BE      |    5117056 |
| TR      |    6075328 |
| AT      |    6483936 |
| HK      |    6890240 |
| DK      |    7860256 |
| FI      |    8434560 |
| IN      |    8621312 |
| ZA      |   10596352 |
| PL      |   11093996 |
| RU      |   14770200 |
| MX      |   16261120 |
| SE      |   16326560 |
| TW      |   18498304 |
| NL      |   18627816 |
| ES      |   18984224 |
| BR      |   19269376 |
| NO      |   23156000 |
| IT      |   23938240 |
| CH      |   24234720 |
| AU      |   32415232 |
| FR      |   45987872 |
| KR      |   53325056 |
| CA      |   55994368 |
| DE      |   64520112 |
| GB      |   77439226 |
| CN      |  107059712 |
| EU      |  115887324 |
| JP      |  152803584 |
|         |  824230144 |** 未分配地址或保留地址占用
| Reserve | 1013426516 |** 未分配地址或保留地址占用
| US      | 1393696512 |
+---------+------------+

 

]]> computer_xu CDN与Cache http://blog.sina.com.cn/s/blog_544465b001000836.html#comment Wed, 21 Mar 2007 18:34:38 GMT+8 http://blog.sina.com.cn/s/blog_544465b001000836.html 最近在研究 BIND 9 fallback ip (1) http://blog.sina.com.cn/s/blog_544465b0010007ac.html 一直用网通的ADSL，有时候输入一个不存在的域名，IE会自动跳转到一个页面，一直不清楚是怎么实现的哈
 
最近在研究 BIND 9 的 view 功能，发现 view 功能有很多不合理的地方啊
 
1. 只能命中一个 view
2. 没有为 view 定义权重属性
3. 没有 fallback 功能
 
等有空了研究一下 BIND 9 的代码...
]]> computer_xu CDN与Cache http://blog.sina.com.cn/s/blog_544465b0010007ac.html#comment Sat, 27 Jan 2007 08:27:06 GMT+8 http://blog.sina.com.cn/s/blog_544465b0010007ac.html 关于 Squid 2.6 diskd http://blog.sina.com.cn/s/blog_544465b0010007ab.html 最近 diskd 部分的代码连续被patch了几个版本，但是就目前的修正来说，race 应该仍然存在，因此仍然不推荐使用 diskd，还是 aufs 吧~~
 
不过 diskd 的几个patch上去之后，只要负载不高，稳定性已经提高不少，要是负载比较高，还是不稳定
]]> computer_xu CDN与Cache http://blog.sina.com.cn/s/blog_544465b0010007ab.html#comment Sat, 27 Jan 2007 08:24:56 GMT+8 http://blog.sina.com.cn/s/blog_544465b0010007ab.html 面向CacheServer的基于Object的Load Balance Chains(Lighttpd+Squid) http://blog.sina.com.cn/s/blog_544465b00100073u.html 为什么需要 面向CacheServer的基于Object的Load Balance？
 
首先定义几个符号：
M 一个域名下所有内容的总字节数
Hot(M) 一天内被访问到的每一个不同Object的字节数加和
C 单台CacheServer的CacheDisk的总字节数
 
问题：当 Hot(M) > C 的时候，会出现什么样的后果？
答案：CacheServer在一天内的平均命中率将降低为 C/Hot(M)*100%
 
问题：当出现 Hot(M) > C 的时候，怎么办？
答案：
    1. 将 M 平均拆分为多个域名，用多组CacheServer服务不同域名
    2. 扩充 CacheDisk 提高 C
    3. 使用面向CacheServer的基于Object的Load Balance
 
 
面向CacheServer的基于Object的Load Balance的实现
简单可行的方案：基于Object Hash(Url)的Load Balance方案：Lighttpd+Squid
 
Lighttpd的mod_proxy可以实现基于Hash(Url)的负载均衡规则
采用Lighttpd架在Squid前面的这种链式结构会导致Squid在日志中无法记录真实的客户端IP地址，但是Squid Dev Team设计了一个X-Forwarded-For的HTTP Header，但是Customlog实现上有点小问题，不方便记录这个Header的值，因此需要对Squid进行一下Patch工作。
 
同时Lighttpd也有个小问题，不能把用户端传入的X-Forwarded-For传递给Squid，因此也需要做一下Patch工作。
 
X-Forwarded-For Header不属于RFC标准，最初是由Squid Development Team建议，我在squid follow_xff patch的文档中找到一段文字：
    Allowing or Denying the X-Forwarded-For header to be followed to
 find the original source of a request.
 
    Requests may pass through a chain of several other proxies before reaching us.  The X-Forwarded-For header will contain a comma-separated list of the IP addresses in the chain, with the rightmost address being the most recent. 
 
    If a request reaches us from a source that is allowed by this configuration item, then we consult the X-Forwarded-For header to see where that host received the request from.  If the X-Forwarded-For header contains multiple addresses, and if acl_uses_indirect_client is on, then we continue backtracking until we reach an address for which we are not allowed to follow the X-Forwarded-For header, or until we reach the first address in the list.  (If acl_uses_indirect_client is off, then it's impossible to backtrack through more than one level of
 X-Forwarded-For addresses.)
 
    The end result of this process is an IP address that we will refer to as the indirect client address.  This address may be treated as the client address for access control, delay pools and logging, depending on the acl_uses_indirect_client, delay_pool_uses_indirect_client and log_uses_indirect_client options.
 
    SECURITY CONSIDERATIONS:
 
        Any host for which we follow the X-Forwarded-For header can place incorrect information in the header, and Squid will use the incorrect information as if it were the source address of the request.  This may enable remote hosts to bypass any access control restrictions that are based on the client's source addresses.
 
帮助大家了解 X-Forwarded-For 的定义，重要的部分已经用黑体标示
]]> computer_xu CDN与Cache http://blog.sina.com.cn/s/blog_544465b00100073u.html#comment Fri, 12 Jan 2007 01:28:51 GMT+8 http://blog.sina.com.cn/s/blog_544465b00100073u.html Squid 2.6.6 Oknet Patch Release http://blog.sina.com.cn/s/blog_544465b0010006yc.html 奋斗到今天早上3：37，终于完成了对Squid 2.6.6的Patch工作
 
1. 可以使用 apache rotatelogs, cronolog 翻滚日志文件
2. customlog 对HTTP Header的记录功能
   原来有这个:
     %{header:separator element}>h
     %{header:separator element}<h
   现在我增加:
     %{header:separator index}>h
     %{header:separator index}<h
 
   例如: %{X-Forwarded-For:,0}>h
   是将 X-Forwarded-For 的值用 “,” 分段，然后取第一段
3. 修改了几个snmp的计数器改为 unsigned 的类型，这样在cachemgr.cgi上就不会再看到负数了
 
配置项目增加了好多，其间设置错了这个参数 miss_access ...
结果内容无法刷新... 后来发现是自己对miss_access的说明没有搞懂... 其实是squid.conf.default 里面的说明实在太不清晰了...我以为这个只对peer有效的。。。
 
最后写了这个到squid.conf:
miss_access allow all
 
才算是ok了
]]> computer_xu CDN与Cache http://blog.sina.com.cn/s/blog_544465b0010006yc.html#comment Fri, 29 Dec 2006 05:30:55 GMT+8 http://blog.sina.com.cn/s/blog_544465b0010006yc.html 推荐 Squid 2.6.5 http://blog.sina.com.cn/s/blog_544465b0010006p0.html Squid 2.6 的推出将许多在2.5上的非正式patch都融合了进来，并且作了大量的修正，但是仍然暴露出来非常多的问题，几个月下来已经修正了大量的bug，直到2.6.5之前系统还是非常不稳定的，不过现在好了2.6.5出来之后，之前的许多bug都得到了解决，特别是之前的多个memory leak方面的问题都解决了，因此现在偶也准备尝试2.6.5啦~~决定放弃2.5.14啦
 
不过还是推荐使用2.6.5的Daily auto-generated release的版本，相信再过几天2.6.6就会release的。
 
如果在这里看不到偶汇报2.6.5的问题那就是运行稳定啦，如果遇到任何关于2.6.5以及后续版本的问题，偶都会在这里更新的。
]]> computer_xu CDN与Cache http://blog.sina.com.cn/s/blog_544465b0010006p0.html#comment Tue, 05 Dec 2006 11:52:38 GMT+8 http://blog.sina.com.cn/s/blog_544465b0010006p0.html 关于 qla2xxx on Debian http://blog.sina.com.cn/s/blog_544465b00100067v.html 最近用qla2xxx的驱动遇到问题，debian的kernel在启动的时候无法加载：
 
QLogic Fibre Channel HBA Driver
qla2xxx 0000:00:01.0: Found an ISP2312, irq 9, iobase 0xf8aa6000
qla2xxx 0000:00:01.0: Configuring PCI space...
qla2xxx 0000:00:01.0: Configure NVRAM parameters...
qla2xxx 0000:00:01.0: Verifying loaded RISC code...
qla2xxx 0000:00:01.0: Firmware image unavailable.
qla2xxx 0000:00:01.0: Failed to initialize adapter
 
 
自己编译了最新版本的kernel之后同样出现如下信息：
 
QLogic Fibre Channel HBA Driver
qla2xxx 0000:02:01.0: Found an ISP2100, irq 10, iobase 0xf8826000
qla2xxx 0000:02:01.0: Configuring PCI space...
qla2xxx 0000:02:01.0: Configure NVRAM parameters...
qla2xxx 0000:02:01.0: Verifying loaded RISC code...
qla2xxx 0000:02:01.0: Firmware image unavailable.
qla2xxx 0000:02:01.0: Firmware images can be retrieved from: ftp://ftp.qlogic.com/outgoing/linux/firmware/.
qla2xxx 0000:02:01.0: Failed to initialize adapter
 
 
然后去上面的ftp下载了qla2300的firmware，但是不知道要丢哪里去，又Google了一下，发现需要丢到 /lib/firmware 目录。
 
         ISP               Firmware Filename
         ----------        -----------------
         21xx              ql2100_fw.bin
         22xx              ql2200_fw.bin
         2300, 2312, 6312  ql2300_fw.bin
         2322, 6322        ql2322_fw.bin
         24xx              ql2400_fw.bin
 
然后 update-initramfs -k all -u ，重起，发现仍然不能在启动内核之后自动加载qla2xxx的驱动
 
但是启动之后可以通过 rmmod qla2xxx; modprobe qla2xxx 加载驱动
 
QLogic Fibre Channel HBA Driver
PCI: Enabling device 0000:0f:03.0 (0150 -> 0153)
ACPI: PCI Interrupt 0000:0f:03.0[A] -> GSI 160 (level, low) -> IRQ 74
qla2xxx 0000:0f:03.0: Found an ISP2312, irq 74, iobase 0xf88f8000
qla2xxx 0000:0f:03.0: Configuring PCI space...
qla2xxx 0000:0f:03.0: Configure NVRAM parameters...
qla2xxx 0000:0f:03.0: Verifying loaded RISC code...
qla2xxx 0000:0f:03.0: Allocated (412 KB) for firmware dump...
qla2xxx 0000:0f:03.0: LIP reset occured (f8f7).
qla2xxx 0000:0f:03.0: Waiting for LIP to complete...
qla2xxx 0000:0f:03.0: LIP occured (f8f7).
qla2xxx 0000:0f:03.0: LOOP UP detected (2 Gbps).
qla2xxx 0000:0f:03.0: LIP reset occured (f7f7).
qla2xxx 0000:0f:03.0: LIP occured (f7f7).
qla2xxx 0000:0f:03.0: Topology - (Loop), Host Loop address 0x0
scsi4 : qla2xxx
qla2xxx 0000:0f:03.0:
 QLogic Fibre Channel HBA Driver: 8.01.07-k1
  QLogic QLA2340 -
  ISP2312: PCI-X (133 MHz) @ 0000:0f:03.0 hdma+, host#=4, fw=3.03.20 IPX
  Vendor: COMPAQ    Model: MSA1000           Rev: 4.48
  Type:   RAID                               ANSI SCSI revision: 04
scsi 4:0:0:0: Attached scsi generic sg4 type 12
  Vendor: COMPAQ    Model: MSA1000 VOLUME    Rev: 4.48
  Type:   Direct-Access                      ANSI SCSI revision: 04
 
怀疑 /lib/firmware 没有包含到 initramfs 中。
于是继续研究找到这里：
 
http://lists.debian.org/debian-boot/2006/08/msg01184.html
 
wget ftp://ftp.debian.org/debian/pool/non-free/f/firmware-nonfree/firmware-qlogic_*
 
dpkg -i firmware-qlogic_*
 
update-initramfs -k all -u
 
搞定一切~~
 
关键就是这个脚本 /usr/share/initramfs-tools/hooks/firmware_qlogic
 
仅仅把 firmware 丢到 /lib/firmware 是不成的~~
 
mkinitramfs 会调用 /usr/share/initramfs-tools/hooks/ 以及 /etc/initramfs-tools/hooks/ 下的Hooks
]]> computer_xu 奇怪问题大杂烩 http://blog.sina.com.cn/s/blog_544465b00100067v.html#comment Thu, 26 Oct 2006 06:02:28 GMT+8 http://blog.sina.com.cn/s/blog_544465b00100067v.html CDN建设方案大包干 http://blog.sina.com.cn/s/blog_544465b0010005ta.html 想搞CDN的找我哈
 
全套 F5 3DNS + BIGIP + Squid 的 HTTP CDN 解决方案，提供IP地址分配库
 
划分到省的 中国网通，中国电信，中国铁通，中国移动 IP地址库
 
全国机房选址，机房租用，带宽租用，一切帮你搞定！
 
最近又建了一个CDN，目前5个点，峰值流量2.6Gbps，装机最大容量7Gbps
 
DELL2850/2950 6+6+2+4+4=22台
 
------------------------------
 
update 一下
 
目前的情况是 DELL2850/2950 6+6+4+3+2+6=27台，装机最大容量9Gbps
 
现在峰值流量7.5Gbps了
]]> computer_xu CDN与Cache http://blog.sina.com.cn/s/blog_544465b0010005ta.html#comment Sat, 23 Sep 2006 06:45:31 GMT+8 http://blog.sina.com.cn/s/blog_544465b0010005ta.html Debian的网络问题 if:lo 变成了 if:lo_temp_temp http://blog.sina.com.cn/s/blog_544465b0010005s4.html 今天用FAI安装系统遇到 install grub 失败的错误，于是用了 daily 的 netboot.tar.gz 包，结果安装的时候遇到一次分区提示，需要按回车继续
 
安装完成之后，感觉一切很顺利，结果login进去发现 loopback 不见了，变成了 lo_temp_temp，有的机器上 lo 成了 eth0
 
研究了一会，很快将问题所定在 udev 上，但是偶对这个东西不熟悉，然后就找 Google 大叔帮助解决问题，耗了一下午的时间，搞定！
 
 
   vi /etc/udev/rules.d/z25_persistent-net.rules
   把含有 ATTRS{address} 的行都删除或者在行首插入“#”
   找到含有 SYSFS{address} 的行，把行尾的 NAME="eth" 按照顺序由上往下修改为
   NAME="eth0"
   NAME="eth1"
   NAME="eth2"
   NAME="eth3"
   完成修改后此文件应该是这样子：
--------------------------------------------------------------------------------
# This file was automatically generated by the /lib/udev/write_net_rules
# program, probably run by the persistent-net-generator.rules rules file.
#
# You can modify it, as long as you keep each rule on a single line.
# PCI device 0x14e4:0x164c (bnx2)
#SUBSYSTEM=="net", DRIVERS=="?*", ATTRS{address}=="00:18:8b:2f:9e:74", NAME="eth0"
# PCI device 0x14e4:0x164c (bnx2)
#SUBSYSTEM=="net", DRIVERS=="?*", ATTRS{address}=="00:18:8b:2f:9e:72", NAME="eth1"
# PCI device 0x8086:0x105e (e1000)
#SUBSYSTEM=="net", DRIVERS=="?*", ATTRS{address}=="00:15:17:0e:9e:30", NAME="eth2"
# PCI device 0x8086:0x105e (e1000)
#SUBSYSTEM=="net", DRIVERS=="?*", ATTRS{address}=="00:15:17:0e:9e:31", NAME="eth3"
# PCI device 14e4:164c (bnx2)
SUBSYSTEM=="net", DRIVER=="?*", SYSFS{address}=="00:18:8b:2f:9e:74", NAME="eth0"
# PCI device 14e4:164c (bnx2)
SUBSYSTEM=="net", DRIVER=="?*", SYSFS{address}=="00:18:8b:2f:9e:72", NAME="eth1"
# PCI device 8086:105e (e1000)
SUBSYSTEM=="net", DRIVER=="?*", SYSFS{address}=="00:15:17:0e:9e:30", NAME="eth2"
# PCI device 8086:105e (e1000)
SUBSYSTEM=="net", DRIVER=="?*", SYSFS{address}=="00:15:17:0e:9e:31", NAME="eth3"
--------------------------------------------------------------------------------
   然后存盘退出
   执行命令 update-initramfs -u
   然后重起机器
 
-----
 
后记：此问题在第2天之后，debian更新了udev的bug之后，得到解决。
]]> computer_xu 奇怪问题大杂烩 http://blog.sina.com.cn/s/blog_544465b0010005s4.html#comment Mon, 18 Sep 2006 11:55:54 GMT+8 http://blog.sina.com.cn/s/blog_544465b0010005s4.html 用Oprofile分析系统瓶颈 http://blog.sina.com.cn/s/blog_544465b001000558.html Oprofile是一款功能强大的系统分析工具
 
下面是基本用法：
 
opcontrol --init
opcontrol --vmlinux=/boot/vmlinux-`uname -r`
# 注意，这里是 vmlinux 哦，就是没有经过压缩的kernel文件
# 如果不需要分析kernel的内部操作可以用 --no-vmlinux
opcontrol --start-daemon
opcontrol --start
# 这里开始运行你自己的程序，如果你的程序已经在运行了，那么这里等待一段时间即可
opcontrol --dump
opcontrol --shutdown
 
 
如何查看分析结果：
 
opreport --exclude-dependent
 
opreport
 
opreport --symbols --image-path=/lib/modules/`uname -r`/kernel/
 
opreport --exclude-dependent --demangle=smart --symbols /usr/local/apache_1.3.34/bin/httpd 
 
opreport --demangle=smart --symbols /usr/local/apache_1.3.34/bin/httpd 
 
opreport /usr/local/apache_1.3.34/bin/httpd 
 
opannotate --source /usr/local/apache_1.3.34/libexec/libphp5.so > /tmp/libphp5.oprofile

opannotate --source --assembly /usr/local/apache_1.3.34/libexec/libphp5.so > /tmp/libphp5.oprofile

 
]]> computer_xu http://blog.sina.com.cn/s/blog_544465b001000558.html#comment Fri, 04 Aug 2006 08:52:08 GMT+8 http://blog.sina.com.cn/s/blog_544465b001000558.html F5 GTM 初步使用感受 http://blog.sina.com.cn/s/blog_544465b001000512.html 新版本的GTM相对老的3DNS，在系统结构与布局上更加合理
 
例如 Pool 现在是全局的啦，不会跟3DNS一样产生混乱（3DNS的pool在每个wideip下面是独立的，建立一个wideip就要建立一个pool，而且pool允许重名，这样在topology设置中很容易产生混乱）
 
Bind的版本从v8升级到v9，支持了view的功能
 
新增了强大的 Distributed Applications 功能
 
在Topology设置中，终于干掉了Java Applet哪个破玩意~~（偶非常不喜欢Java的东西，抱歉。。。）
 
新增加了几个Monitor的类型，探测更精确了
 
 
但是GTM好像舍弃了某些3DNS的功能：
 
在Pool中设置 Load Balance Method 的时候有 Preferred, Alternate, Fallback 三个选项，在3DNS的时候有一个设置可以修改他们的缺省值，但是在GTM中我却找不到这个在哪里设置，是我没有找到？还是取消了？
 
在新版本里面选择Virtual Server的时候，不能同时看到这个Virtual Server是属于哪个BIGIP了
 
 
其他新功能正在逐步挖掘中....系统还未正式上线...
]]> computer_xu 4,7层交换 http://blog.sina.com.cn/s/blog_544465b001000512.html#comment Fri, 28 Jul 2006 08:40:16 GMT+8 http://blog.sina.com.cn/s/blog_544465b001000512.html F5 GTM 系统初始化指南 Alpha Edition http://blog.sina.com.cn/s/blog_544465b001000511.html 最近拿到了F5 GTM，是F5 3DNS的下一代产品，本来以为很容易就能完成初始化的，可是在机房折腾了俩小时，都还没有搞定。。。
 
前面网络部分的初始化很顺利，跟BIGIP v9差不多，但是我把自己的BIGIP添加到GTM里面之后，GTM探测不到BIGIP的状态，Monitor始终报告unknown，也不能自动抓取Virtual Server。
 
去tech.f5.com下载了最新的9.2.2的文档，慢慢仔细研读了1个多小时，最后终于被偶攻克之~~~~~~~~~~~~~~~~~~
 
初始化步骤：
1a. 将笔记本连接到GTM的MGMT端口
1b. 将GTM的1.1端口连接到能访问internet的网络
1c. 设置笔记本的IP地址为192.168.1.100
1d. 在IE中打开 https://192.168.1.245
 
2a. 激活GTM License, 选择 'automatic' 方式, 使用1.1端口, 设置IP, 掩码, 网关, 点击 'next', 成功激活~
2b. 设置 hostname, timezone, reset password, ssh控制等
2c. 进入菜单: System --> General Properties
2d. 打开下拉菜单: Device --> NTP,DNS 分别设置 NTP server 跟 DNS server
2e. 打开下拉菜单: Global Traffic --> General 设置 Synchronization 控制
2f. 然后进入菜单: Network --> Trunks, VLANs, Self IPs, Routes 分别进行设置。
 
3a. 进入菜单: Global Traffic --> Listeners
3b. 将GTM的Self IP 作为 'Destination' 创建一个 Listener
3c. 进入菜单: Global Traffic --> Data Centers, 创建第一个 Data Center.
3d. 进入菜单: Global Traffic --> Data Centers --> Servers
3e. 首先添加当前的 GTM 设备，并且打开 'Link Auto Discovery'，添加完成后确认Monitor报告设备状态为 'Avaiable'.
3f. 然后添加其他的设备，在添加所有的 GTM 与 BIGIP 等设备的时候，请打开 'Virtual Server Auto Discovery' 与 'Link Auto Discovery' 选项。这个时候Monitor有可能会报告相关的设备状态为 'Unknown', 并且不能自动发现Virtual Server
3g. 这里需要注意,有可能这是9.2.3的bug, 添加BIGIP设备的时候, 输入IP地址的位置有两个输入框，"Address"与"Translation"，前面是BIGIP的公网IP，后面是内网IP，但是我发现当我输入了内网IP地址之后，在接下来的big3d_install运行的时候总是连接内网的IP，因此请暂时不要添加BIGIP的内网IP到GTM
3h. 通过SSH登录到当前的 GTM 设备，在命令行输入 'big3d_install' 然后按下 'ENTER' 键。
3i. 系统会提示找到很多F5的设备，并且会多次让你输入这些设备的密码，以便更新这些设备上的big3d系统来支持GTM的运转。
3j. 等待big3d_install程序运行结束，然后回到IE窗口刷新页面: Global Traffic --> Data Centers --> Servers
3k. 确认所有的设备Monitor状态都是 'Avaiable', 并且BIGIP设备都能自动抓取到Virtual Server.
3l. 这里Auto Link Discovery好像没有起作用，不知道是什么原因
3m. 这里big3d_install在支持较早版本的BIGIP设备的情况请查询ask.f5.com或者tech.f5.com.
4a. 进入菜单: Global Traffic --> ZoneRunner
4b. 打开下拉菜单: Zone List, 创建你的第一个Zone.
4c. 请使用缺省的View Name: external, 请以标准的互联网域名命名规则填写Zone Name, 并请在Zone Name的结尾添加一个"."
4d. 如果这是你第一台GTM，请设置Zone Type为Master，Records Creation Method 为 Manual, 其他设置同DNS Server配置，例如设置SOA等...
 
5a. 进入菜单: Global Traffic --> Topology, 创建 Topology 与 Regions
5b. 进入菜单: Global Traffic --> Wide IP --> Pool, 创建 Pool
5c. 进入菜单: Global Traffic --> Wide IP --> Rule, 创建 Rule
5d. 进入菜单: Global Traffic --> Wide IP, 创建 Wide IP
]]> computer_xu 4,7层交换 http://blog.sina.com.cn/s/blog_544465b001000511.html#comment Fri, 28 Jul 2006 07:58:46 GMT+8 http://blog.sina.com.cn/s/blog_544465b001000511.html Squid 2.6测试 http://blog.sina.com.cn/s/blog_544465b0010004r6.html 在Squid问世10周年之际，Squid2.6终于Release了
 
最近抽空把自己的rotatelogs的patch从2.5.14更新到了2.6
 
于是对Squid2.6进行了一个小小的测试
 
我的服务器是DELL2850, 146G*6，4G RAM
1，2两块盘的前半部分作了一个Raid1，后半部分作了一个Raid0
3，4，5，6做裸盘
这样我得到一个73G的Raid1, 146G*5的存储系统
73G安装系统剩下一个大的分区mount到/logs，用来存储日志
然后建立一个/data，在/data下建立1，2，3，4，5这样5个目录，分别mount那5个146G
 
首先测试的是diskd
 
diskd是每个datadir一个进程，因此在多CPU的系统上，能够充分发挥特性，但是一直不稳定，有很多关于diskd的bug都没有解决，这次首先测试了diskd，结果还是一样的存在bug，在高负载的情况下，非常不稳定，于是还是切换回了aufs
 
Squid2.6将epoll功能添加了进来，这下不用再自己用2.5打epoll patch了
customlog也内置了，唯一不爽的就是不能象apache那样用rotatelogs，所以自己写了个patch，也能工作，非常满意。
 
折腾了好久，2.6的配置文件有些变化，做反向加速的时候http_accel_*的配置都取消了，变成在http_port后面增加参数
 
http_port 80 transparnet vhost vport=80 这样来顶替以前的http_accel_*的设制
 
但是squid 2.6 Stable1还是存在bug，不过在daily source里面已经修正了此bug
如果你没有使用daily source，那么一定记得增加一个acl: always_direct allow all
 
从目前的测试结果来看，效率并未提升， 320Mbps 的最大速率
 
只是粗略测试了一下上述功能
 
]]> computer_xu CDN与Cache http://blog.sina.com.cn/s/blog_544465b0010004r6.html#comment Tue, 11 Jul 2006 13:55:27 GMT+8 http://blog.sina.com.cn/s/blog_544465b0010004r6.html