优点：增加服务器和HA机制，系统性 能及可用性得到保证 缺点：读写分离，增加程序难度，架 构变复杂，维护难度增加 技术点：负载均衡、DAL、数据库读 写分离

　　每个目标背后面临着技术、设计、维护等诸多方面的挑战。 而目标本身的期望值也会根据实际情况进行调整，这也意味着网站架构建设是个不 断调整的过程。

　　大型网站架构的目标与挑战 网站架构演变及其技术脉络 架构设计理论与原则 讨论及总结

　　关系数据库系统Data Buffer策略：就是数据库数据内存缓存器 ，其访问命中率决定数据库性能，可根据实际物理内存大小适 量增大，如：MySql建议buffer值为物理内存60-80%

　　应用服务器Cache包括：对象缓存（例如：对象线程安全，做 成单例），更新频率不大数据考虑缓存（如：基表数据、配置 文件信息），考虑使用线程池，对象池，连接池等 常见java解决方案：map\OSCache\EHCache等

　　完成原windows服务中业 务逻辑的wcf封装 服务调用失败，造 风险 成的控制流中断

　　■[Step3]技术点—数据库读写分离及DAL ■读写分离逻辑分批 ■负载均衡 ■失效转移（failover） ■数据库分区透明支持 ■两大实现模式：独立Proxy服务 器；单独API库文件

　　各个数据库厂商都有自己复制方案 常见通用方案：ETL、GoldenGate TJS…

　　说明 实现简单、有Cache缺乏灵活性，但对分区域（如构 建CDN方案）访问简单有效 HAProxy、Nginx、Apache、Lighttpd等 F5、NetScaler等 自己写代码某些情况下简单有效

　　优点：简单有效、维护方便 缺点：依然存在单点 技术点：客户端（浏览器）缓存、前端页面缓存、页面片段缓存、本地数据缓存/数据库缓存

　　技术点说明 根据HTTP协议特性，修改Header参数（Cache-Control、Expires、Pragma、LastModified、Etag），让浏览器来缓存页面（一些优秀开发框架会对此做透明的封装， 例如：Beetle）使用HTTP1.1协议，由于http pipelining技术特性，能够使用get请求的决不采取post 请求 为了节约带宽，压缩页面（Content-Encoding: gzip）；页面各个元素能“小”即“ 小”，例如：js包压缩，js合并，图片压缩等 会话状态信息采取Cookie代替传统使用服务器Sessions对象存储习惯做法；使用Ajax 实现页面局部刷新 如果可能，可采取浏览器插件技术突破浏览器功能限制，将原本在服务 器端运算，尽量迁到浏览器端。ActiveX/Applet/Flash/…. HTML5 最值得期待，她的出现必定改变整个Web世界

　　优点：异地缓存有效解决不同地方用户访问过慢 的问题；分库策略带来网站性能整体提升 缺点：成本大幅增加，架构进一步复杂化，也维 护难度进一步增大，架构开始臃肿了 技术点：CDN、分布式缓存、Shard分库

　　CDN(Content Delivery Network)内容分发网络 将网站的内容分发到最接近用户的网络“边缘”，使用户可以就近 获取，从而解决互联网网络拥挤的状况，提高用户访问的响应速度。 适合静态内容很多（如：静态页面、图片、视频等）及页面内容实 时性要求不高的网站，如：新闻类门户网站 CDN构建可以做的很简单，也可以很复杂，主要根据自己网站实际 情况而定

　　技术点说明 关系数据库系统（如：Oracle\MySql）Query Cache策略： 一般以sql为key来缓存查询结果，尽量不要拼sql，使用 PreparedStatement的“？”模式sql；Query Cache大小要 根据数据库系统具体情况合理设置，过大只会浪费内存，参考 值：128M

　　根本 原因 订单业务的处理是以使用windows服务 从数据库抓取数据的方式驱动

　　使用WCF服务，数据改抓为推； 构建基础模块，解耦调用方式。 保留windows服务，降低查询频率， 查缺补漏，处理失败、异常等情况。 使用消息队列，解耦服务依赖， 试点验证，选择合适的消息队列。

　　大型网站架构的目标与挑战 网站架构演变及其技术脉络 架构设计理论与原则 讨论及总结

　　本地缓存性能优秀，但容量有限，无伸缩性 采用分布式缓存方案突破容量限制，具备良好伸缩性；但分布式涉 及远程网络通信消耗其性能本地缓存来得优秀，并可涉及节点状态维 护及数据复制问题，其稳定性和可靠性是个挑战。 目前流行分布式缓存方案：memcached、membase、redis等， 基本上当前的NoSQL方案都可以用来做分布式缓存方案

　　优点：多数据中心，带来 更高质量区域服务体验；分 布式存储及计算架构有效解 决pb级数据量存储、检索及 计算性能问题 缺点：架构复杂、数据同 步、一致性及系统维护、技 能要求等成本十分高 技术点：分布式文件系统、 Map/Reduce、Key-Value 存储

　　能够让浏览器缓存的数据一定要缓存；浏览 器能够处理的运算，决不放在服务器端来处 理。

　　将hapoop集群里面的小文件合并成一个大文件hadoop公用wcf48数据导入方案原始文本导入hadoop集群服务导入导入windows服务主服务辅助服务监控合并文件49数据导入方案原始文本导入hadoop集群服务导入导入windows服务读取文本日志文件数据初步分析加工hive接口批量导入方法数据进入hadoop集群主服务主服务50数据导入方案原始文本导入hadoop集群服务导入导入windows服务主服务主服务文本文件数据hadoop数据渠道来源商品购买搜索关键字移动设备访问新注册用户51数据导入方案原始文本导入hadoop集群服务监控前一天文件是否全部入集群hadoop文件归档服务wcf前一天文件合并到历史文件辅助监控服务辅助监控服务导入导入windows服务全部入集群52数据导入方案数据流文本数据分析加工文件归档采集原始文本hadoop历史数据hadoop当天数据53统计分析方案hadoop分析愿景深度挖掘用户特征习惯建立用户模型深度挖掘用户特征习惯建立用户模型基于用户模型做好市场营销推广精准广告投放预警广告价值最大化hadoophadoop集群54统计分析方案hadoop分析模型凡客用户年龄层和购物习惯模型潜在购买用户模型商品价值效应模型hadoophadoop集群55统计分析方案1凡客用户年龄层和购物习惯模型从产品表获取商品属性用户年龄层商品属性年龄分类挖掘访问商品的用户信息56统计分析方案1凡客用户年龄层和购物习惯模型购物习惯冲动型购物理性购物挖掘长期参与各种促销活动下单用户挖掘用户访问频率挖掘不定期参与促销挖掘不定期参与促销活动极少下单用户57统计分析方案2潜在购买用户模型潜在购买用户特征加入收藏访问具体单品pv超过设定阀值访问单品页时间超过设定阀值加入购物车未下单58统计分析方案3商品价值效应模型商品价值地域月份性别年龄商品的访问量商品加入购物车数量商品的收藏次数59统计分析方案统计入口hivemapreducehadoophadoop集群95560统计分析方案hivehadoophadoop集群web界面hiveweb接口统计服务程序统计服务程序hivethrift服务weblog权限和调用日志wcf服务61统计分析方案存在风险hadoophadoop集群job程序无专人管理和优化hadoophadoop集群服务器硬盘空间需求部门临时性数据统计需求耗费时间需求部门临时性数据统计需求耗费时间管

　　■[Step4]技术点—分库 读写分离（简单有效，前面已介绍） 垂直分区博鱼体育官方网站