加载中…
个人资料
武剑锋的技术博客
武剑锋的技术博客
  • 博客等级:
  • 博客积分:0
  • 博客访问:178,749
  • 关注人气:221
  • 获赠金笔:0支
  • 赠出金笔:0支
  • 荣誉徽章:
评论
加载中…
新浪微博
访客
加载中…
博文
标签:

web

分布

反向代理

缓存

负载均衡

分类: 华尔街派VS硅谷派


前面几节描述的数据库、缓存等都是后台底层基础技术,本节转而描述一些在中台使用的技术。 本节中的Web服务器是广义的Web 服务器,既包括处理静态页面的传统HTTP服务器,也包括用来可作为反向代理的轻量级HTTP服务器,或者专门用来做反向代理的软件。


本节的内容是对Web服务器的调优、规划、部署的综述,以及为了提升系统性能,缩短访问延时的一些相关技术的记录。

 

——武剑锋

 

 

1. Web服务器内部的并行模式

 

Apache曾经是使用最普遍的Web服务器,但是由于其采用“多进程模型”,限制了并发连接数,对于试图处理海量用户的系统,近年来选用的并不多见。

 

阅读  ┆ 评论  ┆ 转载 ┆ 收藏 
标签:

对象数据访问

分布

swift

riakcs

ceph

it

分类: 华尔街派VS硅谷派


 

前文综述了关系数据库、NoSQL数据库以及缓存的情况,而在互联网应用中,还有另外一种存储服务需要抽象——对象数据访问服务。产生这种对象数据访问需求的原因是传统的文件系统接口、目录层次、基于主机账户的访问控制等文件元数据管理,对于许多密集访问的互联网应用,没有意义但是仍有巨大开销,为此,通过重新设计接口与存储,特别是经由分布式来打开扩展空间, 从而为海量文件提供大流量、高并发的存取服务,是必由之路。

 

——武剑锋

 

 

1、对象数据访问云服务

 

硅谷派在创业初期,往往租用云平台服务商提供的对象数据访问服务。这样可以在某些特别的推广期,多租用一些服务

阅读  ┆ 评论  ┆ 转载 ┆ 收藏 
标签:

memcached

redis

缓存

分布式

it

分类: 华尔街派VS硅谷派

前文介绍了NoSQL的相关内容,不过,还有一种中间路线——缓存。同理,为了应对大规模的访问,仍然需要分布的缓存。

——武剑锋

 

 

1. 分布式缓存的基本原理

 

缓存Cache是计算机体系结构中非常典型的一种设计理念,用于低成本提高大概率事件的性能。最早出现在中央处理器设计中,利用指令和数据在大多数情况下连续访问的特点,把存储在内存中的指令和数据缓存在中央处理器内部的指令Cache和数据Cache中,从而大幅度提升性能。

 

在互联网应用中,为了应对大量用户访问对数据库造成的压力,最直接的手段是在数据库与应用处理逻辑之间引入缓存。与在应用层内利用本机内存实现缓

阅读  ┆ 评论  ┆ 转载 ┆ 收藏 
标签:

nosql

分布

复制

切分

it

分类: 华尔街派VS硅谷派


有事务完整性需求或者大量关系计算的应用,会优先选用关系数据库系统。在遇到性能或者扩展问题时,业界也实现了诸如切分、缓存等许多方案。这些方案实际上搁置了一些关系数据库系统之前的设计特征,而在关系数据库系统与应用程序之间增加了一些功能。为此,有一些人,结合应用程序的特征,设计了新的数据库系统,在用户接口、数据模型方面做“减法”,在扩展和并发方面做“加法”。与之前的关系数据库系统对应,此类数据库系统通常称为 NoSQL系统。本文从NoSQL的分类、应用场景、分布式扩展、核心原理、应对未来的变化方式几个方面做了归纳总结。

 --武剑锋



1. NoSQL系统的分类与应用场景

 

根据数据模型的不同,NoSQL分为两大类:面向聚合

阅读  ┆ 评论  ┆ 转载 ┆ 收藏 
标签:

关系数据库

切分

netlog

flickr

pinterest

分类: 华尔街派VS硅谷派

虽然前一节谈了许多试图对应用透明的切分支持,但是有许多应用还是决定自行进行管理,以便达到更好的效果。本文给出Netlog、Flickr、pinterest、Instgram的数据库切分方案以及其应用程序的设计思想。

——武剑锋 


===== 

Netlog 采用唯一的数字$shardID来标识每一个切分,在初期采用

阅读  ┆ 评论  ┆ 转载 ┆ 收藏 
标签:

分布式

关系数据库

切分

it

分类: 华尔街派VS硅谷派

华尔街派VS硅谷派之二

关系类数据库的分布设计

近期,硅谷派的四大巨头:FacebookGoogleLinkedInTwitter公布其各自内部的MySQL团队合作起来,基于MySQL代码,搞出一个共同的分支:WebScaleSQL。来头很大,舆论哗然。本人暂时对此谨慎乐观,两点担心。首先,这么多牛人是否能持续融洽合作?其次,MySQL的拥有者Oracle,没有参与此事,是否会暗中使绊?但是,无论如何,可以看出,在支持超大规模用户和数据的应用环境下,对关系数据库的需求仍然存在。结合,近年来许多NoSQL系统奋战在支持SQLJoin处理、事务处理等方面的事实,也从一个侧面,验证了互联网行业对关系数据库的需求。

在研究WebScaleSQL设计之前,温故而知新,我把关于关系数据库分布式设计的一些内容,整理出来,供批评指正。

——武剑锋


与华尔街派系统在设计之处就必须支持大量用户不同,硅谷派的系统在创业之初,最发愁的

阅读  ┆ 评论  ┆ 转载 ┆ 收藏 
标签:

互联网金融

业务模式

技术架构

分析比较

it

分类: 华尔街派VS硅谷派


华尔街派VS硅谷派之一

业务模式对技术架构的影响

  

版权所有,欢迎转载 。

——剑锋

 

当今中国,互

阅读  ┆ 评论  ┆ 转载 ┆ 收藏 
标签:

ngix

modsecurity

bug

分类: 通用信息技术随笔
最近玩Ngix,性能非常好,即便SSL、WAF都开,并发很多用户,CPU使用率仍然很低。

不过如下一个Bug比较讨厌:
https://github.com/SpiderLabs/ModSecurity/issues/568
https://github.com/SpiderLabs/ModSecurity/pull/148

Mod Security不知何原因,在Content-Type中要把charset重复赋值一遍,而且这个赋值还有一个缺陷,字符串的最后一个字节没有赋结束符NULL,结果导致这个随机值在某些场合下会把浏览器前端搞晕。简单场景下,浏览器可能显示出乱码,而如果使用AJAX技术,那么还可能导致Javascript程序无法处理,出现不确定的现象。

可是官方给出的临时FIX存在问题,正式解决方案要在下一个正式版本才有。

我的同事黄成,给出了如下修改方案:

修改nginx/modsecurity/ngx_http_modsecurity.c中第618行,


ngx_snpr

阅读  ┆ 评论  ┆ 转载 ┆ 收藏 
标签:

it

分类: 通用信息技术随笔

最近上一个新系统,IE越用越慢,不得不研究javascript内存泄露的问题。惹不起,只能躲。


-WJF,2013年11月22日


Javascript的内存泄漏,不是太可怕。它只会悄悄的,慢慢的把你的浏览器拖的巨慢无比,让你愤怒的拍案而起,大骂微软出品的破烂浏览器危害社会。这一切有可能并不是浏览器的错,可能只是因为网页 上有些javascript 的内存泄漏罢了。
在科技日益发达今天,我们有必要武装自己,以及自己的浏览器,这样万一浏览器倒下了,还能知道到底是死在谁家的网页上面。下面这个Firefox插件是推荐给那些UI设计者或者开发 人员的:Leak Monitor


This extension pops up an alert dialog to warn chromeand extension developers about one particular type of leak. It warnswhen chrome windows close but leave other code pointing at theirJavaScript objects.

Works with:
         Fire

阅读  ┆ 评论  ┆ 转载 ┆ 收藏 
标签:

互联网金融

证券交易所

it

分类: 证券市场原理与实践
我也凑个热闹,就互联网金融与证券交易所的技术发展脉络与未来趋势乱讲几句。

-WJF,2013年11月22日

 

互联网金融是2013年最火热的词汇之一。一些互联网公司或者从第三方支付入手,或者利用通过互联网电子商务积累起来的庞大且精确的客户信息,基于所掌握的能够处理大量数据的信息技术,借助金融创新开放的时机,把互联网业务逐步拓展到了征信评级、小额贷款等基础金融服务方面,以及基金销售等理财服务方面。

 

近年来,全球各

阅读  ┆ 评论  ┆ 转载 ┆ 收藏 
  

新浪BLOG意见反馈留言板 电话:4000520066 提示音后按1键(按当地市话标准计费) 欢迎批评指正

新浪简介 | About Sina | 广告服务 | 联系我们 | 招聘信息 | 网站律师 | SINA English | 会员注册 | 产品答疑

新浪公司 版权所有