HTTP压缩对于纯文本内容可压缩至原大小的40％一下，从而提供60％以上的数据传输节约，虽然WEB服务器会因为压缩导致CPU占用的略微上升，但是 可以节约大量用于传输的网络IO。对于数据压缩带来的用户浏览速度提升（让页面符合8秒定律），这点总体负载5%-10%上升是非常值得的。毕竟通过数据 压缩会比通过不规范的HTML代码优化要方便得多。mod_gzip的安装：修改Makefile中的 apxs路径：然后make make install配置：mod_gzip+mod_phpLoadModule gzip_module modules/mod_gzip.so…AddModule mod_gzip.c…<IfModule mod_gzip.c>mod_gzip_on Yesmod_gzip_minimum_file_size 10 ---->>阅读完整内容

最近做的web2.0网站本身遇到一个大表(2000万rows左右)，因为对于performance，web本身可用性的考虑，必须想办法boost perf.这种情况应该都用partition来搞定了，这也符合分治等算法的思想，想办法降低问题本身的复杂度，然后在一个一个解决。mysql中一般到100万操作就有点麻烦了，index要好好的做。这里还遇到了一个文本检索问题，MyIASM storage engine里面有个full-text index，但是不知道它对于中文支持如何，而且不清楚它是怎么分词的，不大清楚后台逻辑，Mysql这种index limitation很多，很难scalable，所以基本上直接考虑用search engine那一套。直接上了lucene+solr+solrsharp.小表like还可以忽悠忽悠，大点就慢的如老牛……Partition通 ---->>阅读完整内容

YouTube的成长速度惊人，目前每天视频访问量已达1亿，但站点维护人员很少。他们是如何管理，以实现如此强大供应能力的？被Google收购后，又在走什么样的发展道路呢？转载一些相关的文章，参考学习一下原文: YouTube ArchitectureYouTube发展迅速，每天超过1亿的视频点击量，但只有很少人在维护站点和确保伸缩性。平台ApachePythonLinux(SuSe)MySQLpsyco，一个动态的Python到C的编译器lighttpd代替Apache做视频查看状态支持每天超过1亿的视频点击量成立于2005年2月于2006年3月达到每天3千万的视频点击量于2006年7月达到每天1亿的视频点击量2个系统管理员，2个伸缩性软件架构师2个软件开发工程师，2个网络工程师，1个DBA处理飞速增长的流量Java代码  while (true)   {      ---->>阅读完整内容

Facebook开源源代码下载   Facebook Open PlatformFacebook Open Platform is a snapshot of the infrastructure that runs Facebook Platform. It includes the API infrastructure, the FBML parser, the FQL parser, and FBJS, as well as implementations of many common methods and tags.Facebook的开放平台是一个快照的基础设施运行的Facebook的平台。它包括空气污染指数的基础设施， FBML分析器，分析器的FQL ，并FBJS ，以及实现许多共同的方法和标签。下载地址：http://developers.faceb ---->>阅读完整内容

Google是可伸缩性之王。每个人都知道Google是因为他们对大量，复杂信息的快速搜索，但是Google的技术并不只是在搜索领域闪闪发光。他们构建大型应用的平台方式能够让他们以惊人的竞争速度在网络规模应用上面大展拳脚。Google的目标一直是构建更高性能更高规模基础设施来支持他们的产品。他们怎么做到的呢？参考资料以及信息来源视频：在Google上构建大型系统 (Video: Building Large Systems at Google)Google实验室：Google文件系统 (Google Lab: The Google File System)Google实验室：MapReduce：在大规模集群上简化数据处理 (Google Lab: MapReduce: Simplified Data Processing on Large Clusters)Goog ---->>阅读完整内容

《亿万用户网站MySpace的成功秘密》　◎ 文 / David F. Carr   译 / 罗小平     增长的访问量给社区网络的技术体系带来了巨大挑战。MySpace的开发者多年来不断重构站点软件、数据库和存储系统，以期与自身的成长同步——目前，该站点月访问量已达400亿。绝大多数网站需要应对的流量都不及MySpace的一小部分，但那些指望迈入庞大在线市场的人，可以从MySpace的成长过程学到知识。用户的烦恼     Drew，是个来自达拉斯的17岁小伙子，在他的MySpace个人资料页上，可以看到他的袒胸照，看样子是自己够着手拍的。他的好友栏全是漂亮姑娘和靓车的链接，另外还说自己参加了学校田径队，爱好吉他，开一辆蓝色福特野马。     不过在用户反映问题的论坛里，似乎他的火气很大。“赶紧弄好这该死的收件箱！”他大写了所有单词。使用MySpace的用户个人 ---->>阅读完整内容

原文：Make sense of your site: tips for webpage design发表于：2009年3月16日星期一，上午9:28在 以前，当您收到用户的反馈，需要改动您的网站的时候，您可能需要对网页进行重新设计。现在，您可以在您的网站上进行一系列实验，让用户来决定哪种版本最 好，而不是只是跟着感觉走了。这里，我将向您介绍网站实验——同时运行同一网页的多种测试版本来了解哪一种网页方案更奏效。在开始实验之前，请您先为要做实验的部分设计出几种方案。实验的部分可以是一些小的改变，比如换掉一张图片，或者是大的改变，比如大面积调整您网站的布局或颜色方案。然后，您可以使用谷歌提供的免费工具—— 网站优化工具(中 文版)，通过向访问者自动展示网站的不同版本来测试这些不同方案。网站优化工具通过跟踪记录哪一种网站变化最能帮助您实现预定目标，从而能使您了解访问者 ---->>阅读完整内容

分析mixi.jp and Yeejee.com：用开源搭建的可扩展大型SNS网站总概关键点：1，Mysql 切分，采用Innodb运行2，动态Cache 服务器 –美国Facebok.com,中国Yeejee.com,日本mixi.jp均采用开源分布式缓存服务器Memcache3，图片缓存和加速Mixi目前是日本排名第三的网站，全球排名42，主要提供SNS服务：日记，群组，站内消息，评论，相册等等，是日本最大的SNS网站。Mixi从2003年12月份开始开发，由现在它的CTO – Batara Kesuma一个人焊，焊了四个月，在2004年2月份开始上线运行。两个月后就注册了1w用户，日访问量60wPV。在随后的一年里，用户增长到了21w，第二年，增长到了200w。到今年四月份已经增长到370w注册用户，并且还在以每天1.5w人的注册量增 ---->>阅读完整内容

虽然有那么多围绕着google的这样那样、令人眼花缭乱的传闻，Google依然需要解决那些常见的商业问题，例如报告财务情况，跟踪项目进度。但确实，Google经常使用一些非传统，同时高效率的方法去解决这些需求。Douglas Merrill 走上位于凤凰城的亚利桑那毕尔特摩尔度假酒店的一个演讲台时，他前额的发型依旧那么得有个性，就好像一位有那么点邋遢的大学教授。实际上，4月的这个早晨，他在这儿，是应当地的一个猎头公司（Phoenix Staffing）邀请，在一个早宴上，向一帮CIO们讲述他作为Google内部技术部门经理的工作。Google，这个带着那么些神秘色彩，却相当成功的，市价61亿美元的全球搜索引擎公司，绝对是全球公认数一数二的企业。可惜，Google总是选择性地讲述它那创新的信息管理架构（information management infrastru ---->>阅读完整内容

Facebook 的照片分享很受欢迎，迄今，Facebook 用户已经上传了150亿张照片，加上缩略图，总容量超过1.5PB，而每周新增的照片为2亿2000万张，约25TB，高峰期，Facebook 每秒处理55万张照片，这些数字让如何管理这些数据成为一个巨大的挑战。本文由 Facebook 工程师撰写，讲述了他们是如何管理这些照片的。旧的 NFS 照片架构老的照片系统架构分以下几个层：# 上传层接收用户上传的照片并保存在 NFS 存储层。# 照片服务层接收 HTTP 请求并从 NFS 存储层输出照片。# NFS存储层建立在商业存储系统之上。因为每张照片都以文件形式单独存储，这样庞大的照片量导致非常庞大的元数据规模，超过了 NFS 存储层的缓存上限，导致每次招聘请求会上传都包含多次I/O操作。庞大的元数据成为整个照片架构的瓶颈。这就是为什么 Facebook 主要 ---->>阅读完整内容