大并发量大数据量网站设计总结(一)-CFANZ编程社区

大并发量大数据量网站设计总结(一)

之前在JavaEye中提出过类似的，很多人都给了我些建议，我用了一周的时间进行了总结，巡查了些资料，总结了下，分享下自己的一些想法。
对于网站流量很大来说，好的架构设计以及从应用程序级别到系统级多了解些是很重要的，我从自己经历的项目以及JavaEye分享的以及资料总结的，和大家分享下：
1. 对于应用程序级方面来说
如果对于高访问量的话，一个重要的实现技术就是界面静态化，例如生成HTML文件，静态界面避免了每次对数据库的访问操作，并且提高了查询性能，目前知道的框架Fremarker，Velocity，举个实现方法例子
1.1 界面静态化

public static void crateHTML 
       (ServletContext context, 
        Map<String,Object> data, 
        String templatePath, 
        String targetHtmlPath) 
     {    
       Configuration freemarkerCfg = new Configuration();  
      //加载模版    
freemarkerCfg.setServletContextForTemplateLoading(context, "/");    
freemarkerCfg.setEncoding(Locale.getDefault(), "UTF-8");    
//指定模版路径    
    Template template = freemarkerCfg.getTemplate(templatePath,"UTF-8");    
    template.setEncoding("UTF-8");    
    //静态页面路径    
    String htmlPath = context.getRealPath("/html")+"/"+targetHtmlPath;    
   File htmlFile = new File(htmlPath);    
          Writer out = new BufferedWriter(new OutputStreamWriter(new FileOutputStream(htmlFile), "UTF-8"));    
          //处理模版      
          template.process(data, out);    
          out.flush();    
          out.close();    
     } 
ServletContext:例如Struts2中ServletActionContext.getServletContext()得到 
Map<String,Object> data : 模版的数据来源 
String templatePath : ftl所在的路径 
String targetHtmlPath : 最后生成静态页的路径

1.2 缓存的使用
      对于缓存的使用，需要根据具体的需求进行具体的配置，那些数据在界面经常被使用到，查询操作相对修改操作更频繁，如Hibernate框架中的一级二级缓存的使用，以及几个开源的基于J2EE缓存框架，如OSCache，JSC，EHCache，JCache等，了解更多的话可以参考http://developer.51cto.com/art/200807/83164.htm。缓存说简单点的话就是缓存对象，放在内存或硬盘中，即取即拿，提高了性能，但也带来内存的消耗。以OSCache缓存为例，OSCache的特性:
     1.2.1 缓存任意对象：可以不受限制的缓存JSP的一部分或是Http请求，任何的Java对象都可以被缓存。
      1.2.2 通过API可以完完全全的控制OSCache的任何特性。
      1.2.3 持久缓存：我们可以把认为重要的数据缓存到硬盘上。
      1.2.4 支持集群：集群缓存数据能被单个的进行参数配置，不需要修改代码。
      1.2.5 缓存记录的过期：你可以有最大限度的控制缓存对象的过期，包括可插入式的刷新策略（如果默认性能不需要时）。
OSCache可以有JSP应用，API应用以及CacheFilter的应用，分别的例子
   1.2.5.1 JSP应用：
<os:cache key="<%=myKey%>" cron="0 2 * * *" refresh="<%=needRefresh%>">
    
</os:cache>
将myKey标识的缓存内容在每天的凌晨2时自动刷新.如果needRefresh为true也会刷新(适合于更新内容的即时刷新).
1.2.5.2 API应用:
主要用到的GeneralCacheAdministrator的方法有
public Object getFromCache(String key) throws NeedsRefreshException; -- 从缓存中获取一个key标识的对象.
public Object getFromCache(String key, int refreshPeriod) throws NeedsRefreshException ; -- 从缓存中获取一个key标识的对象. refreshPeriod刷新周期,标识此对象在缓存中保存的时间(单位:秒)

public void putInCache(String key, Object content) -- 存储一个由Key标识的缓存对象.

public void putInCache(String key, Object content, String[] groups) -- 存储一个由Key标识的属于groups中所有成员的缓存对象.

public void flushEntry(String key) -- 更新一个Key标识的缓存对象.
public void flushGroup(String group) --更新一组属于groupr标识的所有缓存对象.
public void flushAll() -- 更新所有缓存.

public void cancelUpdate(String key) --- 取消更新只用于在处理捕获的NeedsRefreshException异常并尝试生成新缓存内容失效的时候.
public void removeEntry(String key) ---从缓中移除一个key标识的对象
public void clear() --- 清除所有缓存
1.5.2.3 CacheFilter的应用：
配置CacheFilter,在Web.xml中加入如下:

<filter> 
    <filter-name>CacheFilter</filter-name> 
    <filter-class>com.opensymphony.oscache.web.filter.CacheFilter</filter-class> 
    <init-param> 
        <param-name>time</param-name> 
        <param-value>600</param-value> 
    </init-param> 
    <init-param> 
        <param-name>scope</param-name> 
        <param-value>session</param-value> 
    </init-param> 
</filter> <filter-mapping> 
    <filter-name>CacheFilter</filter-name> 
    <url-pattern>*.jsp</url-pattern> 
</filter-mapping>

这个例子将在session范围缓存所有JSp10分钟.默认情况scope为application,时间为1小时. 可以参考http://code-chris.iteye.com/blog/294731
对于项目瓶颈问题，在优化方面可以使用例如AOP计算具体用时较长的时间，研究具体实际情况，找到哪些URL比较常使用比较耗时，分析SQL 监控日志查看用的最多的20条，最慢的10条。目前在应用程序级想到的就这几方面，目前在总结系统级例如集群，负载均衡等等，应用程序级方面的还需要集体的智慧

软件测试　e-test suite
基本上国外的都用这个，包括微软