Pomelo Lee workspace

err_incomplete_chunked_encoding遭遇及修复

星期日, 一月 8th, 2017 | JAVA-and-J2EE | 没有评论

在chrome遭遇 err_incomplete_chunked_encoding 此错误

查看了下 nginx 并没有发现是其的错误

看了tomcat 是 request header is too large 的问题

修复之

1
2
3
4

<Connector port="8080" protocol="HTTP/1.1"
               connectionTimeout="20000"
               redirectPort="8443" maxHttpHeaderSize="65536" maxPostSize="4194304"  
               URIEncoding="UTF-8"/>

搞定

Tags: tomcat

nginx支持lua的编译配置及Nginx rewrite对post数据的影响

星期四, 十二月 8th, 2016 | JAVA-and-J2EE, linux | 没有评论

nginx+lua 可以很方便做限流,路由等其他配置很是方便

编译配置如下：
lua-nginx-module 是 openresty（集成nginx版本） 下的一个模块可以独立编译挂载
https://github.com/openresty/lua-nginx-module

Alternatively, ngx_lua can be manually compiled into Nginx:

1.Install LuaJIT 2.0 or 2.1 (recommended) or Lua 5.1 (Lua 5.2 is not supported yet). LuaJIT can be downloaded from the LuaJIT project website and Lua 5.1, from the Lua project website. Some distribution package managers also distribute LuaJIT and/or Lua.

2.Download the latest version of the ngx_devel_kit (NDK) module HERE.

3.Download the latest version of ngx_lua HERE.

4.Download the latest version of Nginx HERE (See Nginx Compatibility)

下载编译安装：
› Continue reading

Tags: lua, Nginx

理解java里一年中第多少周的定义

星期三, 十一月 23rd, 2016 | JAVA-and-J2EE | 没有评论

应用里需要按照周来定义工作量,用到一年的第多少周,如下定义：
美式：（java默认的方式）
1.以周日为一周的开始 （周日到周六）

2.以每年的1月1日为当年的 第一周

在国内还是比较习惯 以
1.周一 为一周的开始 即 （周一，周二，周三，周四，周五，周六，周日）

代码如下：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

public static void getWeek() {
	String today = "2016-12-31";  
	SimpleDateFormat format = new SimpleDateFormat("yyyy-MM-dd");  
	Date date = null;  
	try {  
	date = format.parse(today);  
	} catch (Exception e) {  
	 e.printStackTrace();  
	}    
	Calendar calendar = Calendar.getInstance();  
	//calendar.setFirstDayOfWeek(Calendar.MONDAY);  
	calendar.setTime(date); 
 
	System.out.println(calendar.get(Calendar.WEEK_OF_YEAR));  
}

输入结果：默认 为 2016年的 第53周，

如果以周一为一周的开始，则归入2017年的第1周.(因为2017年1月1日 为周日好巧呢.)

Tags: java

java 压缩文件夹成zip格式

星期五, 十一月 18th, 2016 | JAVA-and-J2EE | 没有评论

想用java 自动打包文件,由此来的此代码
› Continue reading

Tags: java, zip

no response “Installing Python packages” when letsencrypt-auto

星期一, 十一月 7th, 2016 | JAVA-and-J2EE, linux | 没有评论

延续https的时间的时候,遭遇no response “Installing Python packages”，卡在一直不动的解决方法

主要执行 三，四即可

一.重新配置pip的源文件

vim ~/.pip/pip.conf
 
[global]
index-url = http://mirrors.aliyun.com/pypi/simple/
 
[install]
trusted-host=mirrors.aliyun.com

› Continue reading

Tags: https, LetsEncrypt

踩坑tomcat8.5的cookie机制

星期六, 八月 20th, 2016 | JAVA-and-J2EE | 没有评论

tomcat升级到8.5版本

发现登录和退出报错，报错日志为下

[http-nio-8080-exec-20] 2016 Aug 20 12:04:49 WARN  WARN:187 - Handler execution resulted in exception
java.lang.IllegalArgumentException: An invalid domain [.i5a6.com] was specified for this cookie
        at org.apache.tomcat.util.http.Rfc6265CookieProcessor.validateDomain(Rfc6265CookieProcessor.java:181)
        at org.apache.tomcat.util.http.Rfc6265CookieProcessor.generateHeader(Rfc6265CookieProcessor.java:123)
        at org.apache.catalina.connector.Response.generateCookieString(Response.java:989)
        at org.apache.catalina.connector.Response.addCookie(Response.java:937)
        at org.apache.catalina.connector.ResponseFacade.addCookie(ResponseFacade.java:386)

网上已有哥们查看了tomcat的源码 总结规则如下：

domain规则如下
1、必须是1-9、a-z、A-Z、. 、- （注意是-不是_）这几个字符组成

2、必须是数字或字母开头 （所以以前的cookie的设置为.i5a6.com 的机制要改为 i5a6.com 即可）

3、必须是数字或字母结尾

解决之法： 升级处理cookie的domain的地方即可 由 （.i5a6.com 的机制要改为 i5a6.com ）搞定

Tags: tomcat

git常用使用简易教程

星期日, 七月 24th, 2016 | JAVA-and-J2EE | 没有评论

最简单 基本常用的信息 不怎么用记不得的指令 翻录保存

一：安装
下载 git OSX 版

下载 git Windows 版

下载 git Linux 版

二：创建新仓库
创建新文件夹，打开，然后执行

git init

以创建新的 git 仓库。

三：检出仓库
执行如下命令以创建一个本地仓库的克隆版本：

git clone /path/to/repository

如果是远端服务器上的仓库，你的命令会是这个样子：

git clone username@host:/path/to/repository

四：工作流
你的本地仓库由 git 维护的三棵“树”组成。第一个是你的 工作目录，它持有实际文件；第二个是 缓存区（Index），它像个缓存区域，临时保存你的改动；最后是 HEAD，指向你最近一次提交后的结果。

五：添加与提交
你可以计划改动（把它们添加到缓存区），使用如下命令：

git add <filename>
git add *
</filename>

这是 git 基本工作流程的第一步；使用如下命令以实际提交改动：

git commit -m "代码提交信息"

现在，你的改动已经提交到了 HEAD，但是还没到你的远端仓库。

六：推送改动
你的改动现在已经在本地仓库的 HEAD 中了。执行如下命令以将这些改动提交到远端仓库：

git push origin master

可以把 master 换成你想要推送的任何分支。

推送之前和之后 都记得 核查下对应的状态 指令

git status

如果你还没有克隆现有仓库，并欲将你的仓库连接到某个远程服务器，你可以使用如下命令添加：

git remote add origin <server>
</server>

如此你就能够将你的改动推送到所添加的服务器上去了。
› Continue reading

Tags: git

互联网公司的标准技术架构–BAT殊路同归

星期四, 六月 9th, 2016 | JAVA-and-J2EE | 没有评论

本文来源自微信群,记录下以后备用,作为提纲挈领之用.

大部分人对于BAT的技术有一种莫名的崇拜感，觉得只有非常牛逼和天才才能做出现在的这些系统，但经过前面两篇博文的分析，我们可以看到其实并没有什么神秘的力量和魔力融合在技术里面，而是业务的不断发展推动技术的不断发展，一步一个脚印，持续几年甚至十几年的发展，才能达到当前技术复杂度、先进性、牛逼度。

BAT解密（一）：聊聊技术发展的驱动力

BAT解密（二）：聊聊业务如何驱动技术发展

抛开BAT各自差异很大的业务，站在技术的角度来看，其实BAT的技术架构基本是一样的，再将视角放大，你会发现整个互联网行业的技术发展，最后都是殊途同归。

如果你正处于一个创业公司，或者正在成为另一个BAT的路上而拼搏，那么深入理解这种技术模式（或者叫技术结构、技术架构），对于自己的发展、公司的发展都大有裨益，你将不会再迷茫，你也不再会心里打鼓，CTO将对你刮目相看，CEO将奉你为神明 ：）

闲话不多说，有图有真相，看看互联网的标准技术架构是什么样子：

上面这张图基本上一网打尽了互联网技术公司的技术点，不同的公司只是在具体的技术实现上稍有差异，但不会跳出这个框架的范畴。

接下来我将逐一介绍每个技术点，包括为什么会有这些技术点，这些技术点的主要场景是什么，这些技术点将如何发展。

存储层技术剖析
1. SQL

即关系数据。前几年NoSQL火了一阵子，很多人都理解为NoSQL是完全抛弃关系数据，全部采用非关系型数据，但事实经过几年的试验后，大家发现关系数据不可能完全抛弃，NoSQL不是No SQL，而是Not Only SQL，即NoSQL是SQL的补充。

所以互联网行业也必须依赖关系数据，考虑到Oracle太贵，还需要专人维护，一般情况下互联网行业都是用MySQL、PostgreSQL这类开源数据库。这类数据库的特点是开源免费，拿来就用；但缺点是性能相比商业数据库要差较多。随着互联网业务的发展，性能要求越来越高，必然要面对一个问题：将数据拆分到多个数据库实例才能满足业务的性能需求（其实Oracle也一样，只是时间早晚的问题）。

数据库拆分满足了性能的要求，但带来了复杂度的问题：数据如何拆分、数据如何组合。这个复杂度的问题解决起来并不是那么容易，如果每个业务都去实现一遍，重复造轮子将导致投入浪费、效率降低，业务开发想快都快不起来。

所以互联网公司流行的做法是发展到一定阶段后，就会将这部分功能独立成中间件，例如百度的DBProxy、淘宝的TDDL。不过这部分的要求很高，将分库分表做到自动化和平台化，不是一件容易的事情，所以一般是很牛逼的公司才会做。典型的有：百度的DBProxy、淘宝TDDL。

如下是淘宝TDDL的结构图（来自果壳网）：

2. NoSQL

NoSQL首先体现在数据结构上与传统的SQL的不同，例如典型的Memcached的Key-value结构、Redis的复杂数据结构、MongoDB的文档数据结构；其次NoSQL无一例外的都会将性能作为自己的一大买点。

NoSQL的这两个特点很好的弥补了关系数据库的不足，因此在互联网行业NoSQL的应用基本上是基础要求，要是你听到一个号称自己是互联网公司却连NoSQL都没用，那基本上可以判断是挂羊头卖狗肉类型的。

由于NoSQL方案一般都会自己本身就提供集群的功能，例如Memcached的一致性hash集群、Redis 3.0的集群，因此NoSQL在刚开始应用的时候很方便，不像SQL分库分表那么复杂。一般公司也不会在开始的时候就考虑将NoSQL包装成存储平台，但如果公司发展很大，例如Memcached的节点有上千甚至几千的时候，NoSQL集群就很有意义了：首先是集中管理能够大大提升运维效率；其次是集中管理可以大大提升资源利用效率，2000台机器，如果利用率能提升10%，就是减少200台机器，一年几十万就节省出来了。

所以，NoSQL发展到一定规模后，一般都是走集群路线，当然要发展到这个阶段，一般也是很牛逼的公司才会这么做。

典型的有：Twitter的Twemproxy，豆瓣的BeansDB、腾讯TTC。

如下是Twemproxy的结构图：

3. 小文件存储

除了关系型的业务数据外，互联网行业还有很多用于展示的数据，例如淘宝的商品图片、商品描述；Facebook的用户图片，新浪微博的一条微博内容等等。这些数据具有3个典型特征：一是数据小，一般在1M一下；二是数量巨大，Facebook 2013年就达到了每天上传3.5亿张的照片；三是访问量巨大，Facebook每天的访问量超过10亿。

由于互联网行业基本上每个业务都会有大量的小数据，如果每个业务都自己去考虑如何设计海量存储和海量访问，效率自然会低，重复造轮子，投入浪费，自然而然的想法就是将小文件存储做成统一的和业务无关的平台。

和SQL和NoSQL不同的是，小文件存储不一定需要公司或者业务规模很大，基本上可以认为业务在起步阶段就可以考虑做小文件统一存储。得益于开源运动的发展和最近几年大数据的火爆，在开源方案的基础上封装一个小文件存储平台并不是太难的事情。例如HBase、Hadoop、Hypertable、FastDFS等都可以作为小文件存储的底层平台，只需要在这些开源方案三再包装一下基本上就可以用了。

典型的有：淘宝的TFS、京东JFS、Facebook的Haystack。

如下是淘宝TFS的架构：

开发层技术剖析
1. 开发框架

在系列文章的第2篇《BAT解密：业务如何驱动技术发展》中我们深入分析了互联网业务发展的一个特点：复杂性越来越高。复杂性增加的典型现象就是系统越来越多，不同的系统由不同的小组开发。如果每个小组用不同的开发框架和技术，将会带来很多问题，典型的问题有：

技术人员之间没有共同的技术语言，交流合作少

每类技术都需要投入大量的人力和资源和熟练精通

不同团队之间人员无法快速流动，人力资源不能高效的利用

所以，互联网公司都会指定一个大的技术方向，然后使用统一的开发框架，例如Java相关的开发框架SSH、SpringMVC、Play、Ruby的Ruby on Rails、PHP的ThinkPHP、Python的Django等等。使用统一的开发框架能够解决上面提到的各种问题，大大提升组织和团队的开发效率。

对于框架的选择，有一个总的原则：优选成熟的框架，避免盲目追逐新技术！为什么呢？

首先，成熟的框架资料文档齐备，各种坑基本上都有人踩过了，遇到问题很容易通过搜索解决

其次，成熟的框架受众更广，招聘时更加容易招聘到合适的人才

第三，成熟的框架更加稳定，不会出现大的变动，适合长期发展

以我亲身经历的一个反例为例：我们使用了Play 1作为Java开发框架，因为它是轻量级的Java开发框架，但没想到Play 2直接改为Scala语言开发，Play 1的架构演进停滞，而我们又不能切换为Play 2，结果就导致只能一直用Play 1，有新的需求只能自己开发。

2. 服务器

开发框架只是负责完成业务功能的开发，真正能够运行起来，给用户提供服务，还需要服务器配合。

独立开发一个成熟的web服务器，成本非常高；且业界又有那么多成熟的开源web服务器，所以互联网行业基本上都是拿来主义，挑选一个流行的开源服务器即可。牛逼一点的公司，可能会在开源服务器的基础上，结合自己的业务特点做二次开发，例如淘宝的Tengine，但一般公司基本上只需要将开源服务器摸透，优化一下参数，调整一下配置就差不多了。

选择一个服务器主要和开发语言相关，例如：Java的有Tomcat、Jboss、Resin等，PHP/Python的用Nginx，当然最保险的就是用Apache了，什么语言都支持。

有的人可能担心Apache的性能之类的问题，其实不用过早担心这个，等到你的业务真的发展到Apache撑不住的时候再考虑切换也可以，那时候你有的是钱，有的是人，有的是时间。

3. 容器

容器是最近几年年才开始火起来的，其中以Docker为代表，在BAT级别的公司已经有较多的应用，例如腾讯：腾讯万台规模的Docker应用实践；新浪微博：微博红包：大规模Docker集群实践经验分享等等。

传统的虚拟化技术是虚拟机，解决了跨平台的问题，但由于虚拟机太庞大，启动慢，运行时太占资源，在互联网行业并没有大规模的应用；而Docker的容器技术，虽然没有跨平台，但启动快，几乎不占资源，推出后立刻就火起来了，预计Docker类的容器技术将是技术发展的主流方向。

千万不要以为Docker只是一个虚拟化或者容器技术，它将在很大程度上改变我们目前的技术形势：

运维方式会发生革命性的变化：Docker启动快，几乎不占资源，随时启动和停止，基于Docker打造自动化运维、智能化运维将成为主流方式

设计模式会发生本质化的变化：启动一个新的容器实例代价如此低，将鼓励设计思路朝“微服务”的方向发展。

例如一个传统的网站包括登录注册、页面访问、搜索等功能，没有用容器的情况下，除非有特别大的访问量，否则这些功能开始时都是集成在一个系统里面的；有了容器技术后，一开始设计就可以将这些功能按照服务的方式设计，避免后续访问量增大时又要重构系统。

Tags: BAT, 互联网, 架构

量子恒道网站统计的关闭

星期日, 五月 8th, 2016 | JAVA-and-J2EE, linux | 没有评论

早就看到关闭的通知,一直等到过了五一,自己都还没有舍得撤下对应的统计代码,现在彻底看不到统计信息了,
只有去撤掉对应的信息了,也发个小短文聊以纪念感谢陪伴的那多年.

对应网站流量统计,大家知道的可能多是 google统计，百度统计，CNZZ统计等

在当CNZZ还不是很好的时候，选择了恒道，后来恒道又被阿里收购，逐渐淡出统计和数据分析的视野.

对于 量子恒道网站统计将于2016年4月30日正式下线 感觉奇怪又 觉得很正常.

不想多说什么，所有的持续都需要商业行为的支持，聊以纪念下,在大数据盛行的今日,应该有更多的用途.

后续的自己需要撤掉几个网站对应的统计信息.

Tags: 量子恒道

启用https的安全连接基于LetsEncrypt SSL的nginx配置

星期四, 五月 5th, 2016 | JAVA-and-J2EE, linux | 2 Comments

现在网站不是https都不好意思和别人说了,顺便也跟下潮流.

操作系统：Centos6.5版本

官方文档参考: let’s encrypt getting started

具体介绍就不废话了,知道是免费、时效是90天即可,记得及时自动续期就好.

一.系统环境配置

Git

1

yum -y install git

python 2.7 检查

1

/usr/bin/python -V #查看版本

安装编译需要的工具

1

yum install zlib-devel bzip2-devel openssl-devel xz-libs wget xz

安装 Python2.7.8
› Continue reading

Tags: https, LetsEncrypt, Nginx