体系背景
问：修正一个网站的案牍需求多久？对于一个小型个人网站来说，估计很简单，几分钟就能修正完结并发布。但假如说要修正的是上百个网站的案牍呢？那估计就得需求产品提需求，研制排期开发，测验进行回归验证。由于触及的运用很多，而每个运用都有自己的研制需求，可能无法快速排期进行案牍修正。所以看似一个非常简单的需求，触及到的运用和部门比较多的时分，也就成了产品经理的恶梦。尤其是像京东商城这样的大型购物网站，你阅读过的每一个网页的背面都是有许多个事务体系在支撑，并由专门的研制团队来负责保护。而各事务体系为了能够坚持一致的网页风格，往往都会运用相同的页面头部和尾部，咱们称之为公共头尾。
比如上图，是现在京东网站一致在运用的页面尾部，假如想要修正尾部的案牍或许链接，那就需求去推进上百个体系和研制团队去排期修正并上线。为了处理这一问题，京东一致头尾办理体系就这样诞生了，根本上完成了五分钟修正京东全站公共头尾内容。
现在，一致头尾体系取得的成果如下：
体系整体架构规划
整个体系首要包括两部分，榜首部分是办理后台，首要用来办理京东的公共头尾文件和事务体系，装备事务体系与公共头尾文件的相关联系，并针对事务体系进行公共头尾文件的分发。第二部分是头尾客户端，首要用来获取事务体系依靠运用的头尾文件，然后解析烘托页面，将最新版别的头尾文件内容进行输出。而为了应对不同版别言语开发的事务体系，头尾客户端又分红Java客户端和Nginx客户端。Java客户端首要支撑Java言语开发的事务体系，不仅能够解析处理静态HTML，还支撑解析JSP/Velocity/FreeMarker/Thymeleaf等页面模板引擎。Nginx客户端则支撑了非Java言语开发的事务体系，完成了非Java体系的页面模板解析和烘托公共头尾的功用。
办理后台规划与完成
整个办理后台完成了前后端分离，后端负责供给HTTP接口，前端只负责页面烘托。办理后台依照模块区分，首要分为了三个模块，包括文件办理模块、运用办理模块和个人中心模块。
- 文件办理模块
供给公共头尾文件的保护功用，能够将公共头尾的HTML内容在办理后台进行创立保存，并针对公共头尾文件进行了版别操控，用户能够在办理后台对头尾文件进行编辑、发布和回滚等操作。
- 运用办理模块
供给事务体系的保护功用，用户能够在办理后台增加新运用，创立装备环境，增加事务体系依靠运用的公共头尾装备联系，查看运用信息以及事务运用接入的头尾客户端恳求信息。
- 个人中心模块
用来记录办理后台用户的各种操作日志，包括文件操作和运用操作，并供给操作日志查询功用。还针对公共头尾文件的发布操作进行上线批阅处理。
头尾客户端规划与完成
前边介绍的头尾办理后台现已完成了头尾文件创立保护与版别操控，而事务体系怎么依靠引证这些头尾文件，则是咱们下一步需求面对的问题。首要，咱们需求处理的问题便是怎么将头尾办理后台中创立的头尾文件分发到各事务体系中。现在首要有两种方法，分别是头尾体系Push方法和事务体系Pull方法。
- 头尾体系Push方法：
意味着需求将各事务体系中每一台服务器作为服务端，而头尾体系则作为客户端，头尾体系中的头尾文件有更新时，自动衔接各事务体系服务端，衔接成功后，将头尾文件的最新内容发送到事务体系。为了确保头尾体系客户端能够随时与各事务体系服务端树立衔接，需求事务体系监听固定端口，并时刻供给服务，不然就会有头尾文件push失利的危险。而现实环境是京东的事务体系很多，部署环境也是多种多样，还有不同的开发言语。假如要开发头尾服务端，首要就要处理跨言语的问题，京东现在常用的开发言语有Java、Js、Php、Golang和Lua，咱们就需求供给并保护五种言语的头尾服务端版别。并且由于事务体系监听的端口很多，头尾服务端发动时还会面对着端口被占用的危险，也同样会导致头尾服务端无法正常发动，从而无法更新头尾文件。可是该方法也有优点，便是只要在头文件有更新需求Push的时分，才树立衔接去Push，头尾文件不仅能够实时更新并生效，还能够节约服务器资源。
- 事务体系Pull方法：
该方法与头尾体系Push方法正好相反，将头尾体系作为服务端，能够处理因端口占用而导致无法发动的问题，但仍是会面对跨言语客户端版别的问题。可是咱们经过对事务体系进行调研分析，根本上一切的事务体系都会用到Nginx做为反向署理，这个Nginx就给了咱们一个支撑跨言语事务体系的可能。然后只需求开发一个Java版别的头尾客户端来给Java事务体系引进并Pull头尾文件。不过该方法也有缺陷，便是头尾客户端不知道头尾文件何时会更新，头尾客户端只能定时轮询头尾体系来查看头尾文件是否有更新，假如文件有更新，则拉取新的头尾文件内容。这样就会形成头尾文件不能实时更新，并且定时轮询也会消耗一定的服务器和网络资源。
最终经过归纳考虑，咱们挑选了事务体系Pull方法来进行头尾文件的分发。而为了处理事务体系跨言语的问题，咱们供给了两个版别的头尾客户端，即Nginx头尾客户端和Java头尾客户端，根本满意了一切事务体系的头尾文件拉取功用。可是事务体系怎么引证这些头尾文件，这儿就触及到一个SSI(服务端网页包括)技术。下面就介绍一下两种方法的头尾客户端怎么处理头尾文件的拉取和SSI问题。
- Nginx头尾客户端
该方法首要是利用了Nginx的SSI模块来完成头尾文件的拉取和SSI问题，ngx_http_ssi_module模块是Nginx中的一个过滤器，在经过它的响应中处理SSI（服务端包括）指令。现在用到的便是inclued指令，装备示例：
<!--# include file="/fragment/footer.html" -->
事务体系中的页面就经过该装备指令来引证头尾体系中保护的头尾文件，可是该装备指令需求服务器上真实存在这些文件，才能够被Nginx加载并替换。所以只靠该装备还无法引进头尾体系中装备的头尾文件，还需求将inclued指令引进的文件名称转换成URL，然后去头尾体系服务端恳求对应版别的头尾文件。所以这儿运用了Nginx的URL重写和反向署理装备来处理头尾文件的拉取问题。到这儿，其实一个完好的头尾文件SSI功用现已完成了，在事务体系拜访包括头尾文件的页面也现已能够完好展现了。
可是仍是存在一些问题，这儿的头尾文件恳求是用户阅读页面时被动触发的，并且仍是Nginx经过反向署理同步恳求的头尾文件，所以头尾体系的响应时刻就直接影响到了事务体系的页面加载时刻，假如头尾体系超时，则事务体系页面也会超时；并且事务体系（包括京东首页，商详页）的页面流量会全部打到头尾体系，这都是头尾体系无法接受的流量。所以咱们需求减少事务体系的恳求量，而这些头尾文件的内容本身改变的频率也不太高，所以能够经过Nginx来增加一级本地缓存proxy_cache。当用户阅读事务体系页面时，则优先恳求本地缓存的头尾文件,缓存时刻到期后，再去恳求头尾体系获取最新的头尾文件。经过Nginx署理缓存的装备，将成千上万的用户恳求量优化为每台事务体系的服务器缓存时刻内只恳求一次，大大减少了头尾体系的恳求压力。一同再经过proxy_cache_use_stale装备来降低事务体系对头尾体系的依靠危险，即便头尾体系呈现宕机问题，也不会影响事务体系的头尾文件加载展现。下面是Nginx客户端部分装备示例：
location ~ ^/fragment/ {
proxy_cache header_cache;
proxy_cache_key $uri;
proxy_cache_valid 200 1m;
proxy_cache_use_stale error timeout updating http_500 http_502 http_503 http_504;
proxy_cache_lock on;
proxy_cache_lock_timeout 1s;
proxy_connect_timeout 1s;
proxy_ignore_headers Set-Cookie Cache-Control;
proxy_hide_header Cache-Control;
proxy_hide_header Set-Cookie;
# 参阅头尾体系中装备，请注意区分测验环境和生产环境，回来的文件内容默认都是UTF-8编码内容，假如需求GBK编码内容需求在env后面拼接参数?charset=GBK
# 只需求替换{appId} {token} 和 {env}
rewrite ^/fragment/(.*) /open/fragment/$1/Nginx/$nginx_version/$server_addr/{appId}/{token}/{env} break;
proxy_set_header Accept-Encoding "";
add_header X-Cache-Status $upstream_cache_status;
proxy_pass http://xxx.jd.local;
}
- Java头尾客户端
前边介绍的Nginx方法客户端尽管现已处理了头尾文件的SSI问题，但由于Nginx的SSI进程是在用户拜访页面时才触发的，归于用户恳求进程中的同步调用，即便增加了本地缓存，但仍是会对页面的响应时刻有所影响。所以为了处理这一性能损耗问题，咱们专门开发了一个Java版别的头尾客户端，来完成头尾文件的SSI功用。头尾客户端的发动进程如下图：
首要需求事务体系引进Java头尾客户端依靠jar包，然后装备头尾体系中的运用ID、拜访令牌、环境标识以及需求解析的页面模板路径和模板文件后缀名。装备完结后，头尾客户端会跟从事务体系一同发动。在发动进程中，头尾客户端会首要将头尾体系中装备的头尾文件下载到事务体系服务器本地目录中，然后再发动一个异步线程去轮询恳求头尾体系并检测头尾文件更新状况，假如头尾文件有改变，则直接下载最新头尾文件到本地目录中。
头尾文件下载到本地后，头尾客户端会依据装备中的页面模板路径和后缀名去扫描加载一切包括SSI指令的模板文件到内存中，并创立这些模板文件的备份文件。然后依据加载到内存中的模板文件再去解析模板文件中的include指令，最终经过inclued指令装备的文件名称加载头尾文件内容进行替换，从而生成新的模板文件。模板解析完结后注册发动一个头尾文件观察者，专门用来监视头尾文件是否更新，假如有更新，再次解析内存中的模板内容生成新的模板文件。这一进程根本上是在事务体系发动时进行的，所以当用户恳求事务体系页面时，事务体系能够直接将这个模板文件进行回来，避免了在用户恳求进程中的SSI处理，根本完成了对事务体系性能的零损耗。
作者：京东零售曹志飞
来源：京东云开发者社区
