首页 > 其他 > 详细

电商系统大访问量静态页优化架构

时间:2020-09-27 11:38:52      阅读:55      评论:0      收藏:0      [点我收藏+]

javashop电商系统中像买家端首页、商品详情页、店铺首页等这类页面有两个共同的特点,即访问量大,数据不常变动。对于这类页面,为了减轻前端服务器的压力,javashop将这些页面缓存到了Redis中,当用户访问这些页面时,服务器会通过OpenResty代理执行lua脚本访问Redis中缓存的静态页面信息。接下来,我们来详细的讲解下整个流程中所涉及到的技术点。

1、缓存静态页

缓存静态页的过程在javashop中是通过httpClient抓取前端服务器中的静态页内容放到redis中。

  1)抓取静态页信息

private String getHTML(String url, String type, int times) throws IOException {
    String html;
    // socket超时  connect超时
    RequestConfig requestConfig = RequestConfig.custom().setSocketTimeout(50000)
            .setConnectTimeout(50000)
            .build();
    CloseableHttpClient httpClient =HttpClients.custom().setDefaultRequestConfig(requestConfig).build();
    HttpGet httpGet = new HttpGet(url);
    httpGet.setHeader("Client-Type", type);
    CloseableHttpResponse response = httpClient.execute(httpGet);
    int status = response.getStatusLine().getStatusCode();

    if (status != 200) {
        html = EntityUtils.toString(response.getEntity(), "utf-8");

        debugger.log("生成静态页出错:静态页渲染服务返回" + status, "uri:" + url);
        debugger.log(html);
        if (times >= 4) {
            return ("create error ,return code is :" + status + ",url is :" + url);
        } else {
            times++;
            debugger.log(times + "次重试...");
            //重试时等待时间,在一段时间后重试   防止出现429(Too much connections in one mintue)问题 
            try {
                Thread.sleep(times * 1000);
            } catch (InterruptedException e) {
                logger.debug(e.getMessage());
            }


            html = getHTML(url, type, times);

            return html;
        }

    } else {

        if (times > 0) {
            debugger.log("重试成功");
        }
        html = EntityUtils.toString(response.getEntity(), "utf-8");
    }

    return html;
}

  2)存入redis

//生成消息
String url = getUrl(path, type);
//通过http 来获取html存储redis
String html = this.getHTML(url, type);
stringRedisTemplate.opsForValue().set(name, html);

2、访问静态页

OpenResty? 是一个基于 Nginx 与 Lua 的高性能 Web 平台,其内部集成了大量精良的 Lua 库、第三方模块以及大多数的依赖项。用于方便地搭建能够处理超高并发、扩展性极高的动态 Web 应用、Web 服务和动态网关。

OpenResty官网地址:http://openresty.org/cn/

下面我们着重介绍一下OpenResty是如何通过lua脚本访问redis的,以PC端静态页为例。

  1)首先我们准备好访问redis的lua脚本,代码如下

单机版:single_connector.lua

local request_uri = ngx.var.uri 
local redis = require "resty.redis"
local red = redis:new()

--red:set_timeout(10000) -- 1 sec

local ok, err = red:connect("ip", port)
if not ok then
    ngx.say("failed to connect: ", err)
    return
end

--如果设置了密码请打开注释,并填写密码
--local res, err = red:auth("password")
--    if not res then
--    ngx.say("failed to authenticate: ", err)
--    return
--end

local res, err = red:get(request_uri)
-- 请修改https://www.test.com 为实际配置域名或IP端口
if res == ngx.null then
    ngx.redirect("https://www.test.com/404.html")
   return
end

if not res then
    ngx.say("failed to get: " .. request_uri , err)
    return
end
red:set_keepalive(6000,1000)
ngx.say(res)

集群版:cluster_connector.lua

local request_uri = ngx.var.uri 
local config = {
    name = "testCluster",                   --rediscluster name
    -- enableSlaveRead = true,
    serv_list = {                           --redis cluster node list(host and port),
        { ip = "ip", port = port },
        { ip = "ip", port = port }
    },
    keepalive_timeout = 60000,              --redis connection pool idle timeout
    keepalive_cons = 300,                  --redis connection pool size
    connection_timout = 15000,               --timeout while connecting
    max_redirection = 5                     --maximum retry attempts for redirection
}

local redis_cluster = require "resty.rediscluster"
local red_c = redis_cluster:new(config)

-- 请修改https://www.test.com 为实际配置域名或IP端口
local v, err = red_c:get(request_uri)
if v == ngx.null then
    ngx.redirect("https://www.test.com/404.html")
   return
end

if err then
    ngx.log(ngx.ERR, "err: ", err)
else
    ngx.say(v)
end

注意:

redis配置注释掉bind 127.0.0.1、设置protected-mode 为no;否则通过lua连接redis出错

  2)在OpenResty中配置server路径  

 #新建静态页输出节点,content_by_lua_file为lua脚本实际路径。
   server {

        listen       80;
        server_name  localhost; 

        #pc端静态响应
        location /PC {
           default_type text/html;
           content_by_lua_file "/usr/local/openresty/nginx/conf/lua/single_connector.lua"; 

           #redis集群请使用此配置 
           #content_by_lua_file "/usr/local/openresty/nginx/conf/lua/cluster_connector.lua";  

        }

    }

 

电商系统大访问量静态页优化架构

原文:https://www.cnblogs.com/javashop-docs/p/13737920.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!