My workspace in Internet,Focus on Internet Technology

kindle 安卓（Android） app把下载好的电子书放置

星期三, 2018-07-04 | Author: Lee | computer, 读书 | 没有评论

kindle 安卓（Android） app下载的电子书放在什么文件夹？

具体位置如下：/sdcard/Android/data/com.amazon.kindle/files/
或者是：Android\data\com.amazon.kindlefc\files\ 下

只要把对应的电子书（比如：斜杠创业家.mobi）放到这个位置就可以在kindle的软件中阅读了.

Tags: kindle

azkaban-web-server 邮件配置遭遇Connecting to SMTP server failed

星期三, 2018-06-27 | Author: Lee | Database, JAVA-and-J2EE, 大数据 | 2 Comments

azkaban-web-server 邮件配置遭遇Connecting to SMTP server failed

0.先说下使用的版本azkaban-web-server-3.45.0-10使用jdk1.8.151编译

1.启用azkaban的邮件配置在 azkaban.properties中定义发送邮箱

mail.sender=xx@qq.com
mail.host=smtp.exmail.qq.com
mail.user=xx@qq.com
mail.port=465
mail.password=xxxxxx
#job.failure.email=xx@qq.com
#job.success.email=xx@qq.com
mail.tls=true

2.配置job文件里配置接收邮箱地址

#file.job
type=command
command=sh /usr/local/bg/files/test.sh
working.dir=/usr/local/bg/files/job/working
notify.emails=xx@qq.com
failure.emails=xx@qq.com
success.emails=xx@qq.com

3.遭遇错误如下

ERROR [EmailMessage] [Azkaban] Connecting to SMTP server failed, attempt: 0
     javax.mail.MessagingException: Exception reading response;
     nested exception is:
     java.net.SocketTimeoutException: Read timed out
     at com.sun.mail.smtp.SMTPTransport.readServerResponse(SMTPTransport.java:2210)
     at com.sun.mail.smtp.SMTPTransport.openServer(SMTPTransport.java:1950)
     at com.sun.mail.smtp.SMTPTransport.protocolConnect(SMTPTransport.java:642)
     at javax.mail.Service.connect(Service.java:295)
     at azkaban.utils.EmailMessage.connectToSMTPServer(EmailMessage.java:226)
     at azkaban.utils.EmailMessage.retryConnectToSMTPServer(EmailMessage.java:236)
     at azkaban.utils.EmailMessage.sendEmail(EmailMessage.java:219)
     at azkaban.utils.Emailer.sendSuccessEmail(Emailer.java:231)

4.解决方式需要修改源码并重新编译之重新编译azkaban.utils.EmailMessage即可，
› Continue reading

Tags: azkaban, 大数据

Git没有记录你的Contributions的修复记

星期二, 2018-05-15 | Author: Lee | JAVA-and-J2EE, linux | 没有评论

1.可以通过git log 查看提交的用户不一致造成的，只要调整成一致的用户即可（主要是email地址）

2.全局指定用户信息（如果有不同的账号信息，见3配置，可能公司和个人不同的git账号）

git config --global user.email "你的邮件地址"
git config --global user.name "你的Git用户名"

3.配置指定的git项目的config文件从而使每个独立账号
修改（.git下的config文件）
新增内容如下：
[user]
name = 正确的用户名
email = 正确的邮件地址

4.git提交历史的恢复及修改错误的email（若很在意提交的email信息请谨慎执行，比如把公司的email信息带到了log中，本人已验证可以正确执行）
重新clone 一份操作
4.1复制粘贴脚本，并根据你的信息修改以下变量：旧的Email地址，正确的用户名，正确的邮件地址

#!/bin/sh
git filter-branch --env-filter '
OLD_EMAIL="旧的Email地址"
CORRECT_NAME="正确的用户名"
CORRECT_EMAIL="正确的邮件地址"
if [ "$GIT_COMMITTER_EMAIL" = "$OLD_EMAIL" ]
then
    export GIT_COMMITTER_NAME="$CORRECT_NAME"
    export GIT_COMMITTER_EMAIL="$CORRECT_EMAIL"
fi
if [ "$GIT_AUTHOR_EMAIL" = "$OLD_EMAIL" ]
then
    export GIT_AUTHOR_NAME="$CORRECT_NAME"
    export GIT_AUTHOR_EMAIL="$CORRECT_EMAIL"
fi
' --tag-name-filter cat -- --branches --tags

4.2按 Enter键执行脚本。

4.3用git log命令看看新 Git 历史有没有错误

4.4把正确历史 push 到 Git

git push --force --tags origin 'refs/heads/*'

删除此次的clone
5.现在已经完全记录了你的提交数（4不执行的话，下次提交才会生效）

Tags: git

Elasticsearch 启动报错参数配置处理参数配置

星期五, 2018-01-26 | Author: Lee | 大数据 | 3 Comments

1.elasticsearch-6.1.2的具体就不介绍了，详情可以去看Elasticsearch guide

2.为了主机可以访问虚拟机里的ES 开启外部访问

vi config/elasticsearch.yml
 
network.host: 0.0.0.0  #打开此注释，正式环境根据情况指定IP

3.启动elasticsearch报如下错误

./bin/elasticsearch -d

[2018-01-26T03:06:12,987][ERROR][o.e.b.Bootstrap ] [sA_Y-N7] node validation exception
[3] bootstrap checks failed
[1]: max file descriptors [4096] for elasticsearch process is too low, increase to at least [65536]
[2]: max number of threads [3884] for user [hadoop] is too low, increase to at least [4096]
[3]: max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]

针对上述错误修改如下：

vi /etc/security/limits.conf
 
* soft nofile 65536
* hard nofile 65536
* soft nproc  4096
* hard nproc  4096

vi /etc/security/limits.d/20-nproc.conf
 
*          soft    nproc     4096
root       soft    nproc     unlimited

vi /etc/sysctl.conf
 
vm.max_map_count=655360

使其生效

sysctl -p

退出shell，重进生效，然后启动ok了

可以访问 http://192.168.1.188:9200/ 查看

Tags: Elasticsearch, 大数据

几种常见的分布式锁的策略优缺点及对应处理

星期二, 2017-12-19 | Author: Lee | JAVA-and-J2EE | 没有评论

在微信朋友圈看到的文章总结的很好,记录下以便翻阅.自己主要是以redis做分布式锁实现.

前言

随着互联网的发展，各种高并发、海量处理的场景越来越多。为了实现高可用、可扩展的系统，常常使用分布式，这样避免了单点故障和普通计算机cpu、内存等瓶颈。

但是分布式系统也带来了数据一致性的问题，比如用户抢购秒杀商品多台机器共同执行出现超卖等。有些同学容易将分布式锁与线程安全混淆，线程安全是指的线程间的协同。如果是多个进程间的协同需要用到分布式锁，本文总结了几种常见的分布式锁。

基于数据库

悲观锁—事务

比如用户抢购秒杀商品的场景，多台机器都接收到了抢购的请求，可以将获取库存、判断有货、用户付款、扣减库存等多个数据库操作放到一个事务，这样当一台机器与数据库建立链接请求了抢购商品这个事务，另外的机器只能等这个机器将请求完成才能操作数据库。在实际应用场景中，常常库存与交易是两个独立的系统，这时的事务是一个分布式事务，需要用到两段式、三段式提交。

优点：是比较安全的一种实现方法。

缺点：在高并发的场景下开销是不能容忍的。容易出现数据库死锁等情况。

乐观锁—基于版本号

乐观锁常常用于分布式系统对数据库某张特定表执行update操作。考虑线上选座的场景，用户A和B同时选择了某场次电影的一个座位，都去将座位的状态设置为已售。

设想这样的执行序列：
1、用户A判断该座位为未售状态；
2、用户B判断该座位为未售状态；
3、用户A执行update座位为已售；
4、用户B执行update座位为已售。

这样会出现同一个座位售出两次的情况，解决方案是在这张数据库表中增加一个版本号的字段。执行操作前读取当前数据库表中的版本号，在执行update语句时将版本号放在where语句中，如果更新了记录则说明成功，如果没有更新记录，则说明此次update失败。

加了乐观锁的执行序列：
1、用户A查询该座位，得到该座位是未售状态，版本号是5；
2、用户B查询该座位，得到该座位是未售状态，版本号是5；
3、用户A执行update语句将座位状态更新为已售，版本号更新为6；
4、用户B执行update语句时此时这个座位的记录版本号为6，没有版本号为5的这个座位的记录，执行失败。

优点：乐观锁的性能高于悲观锁，并不容易出现死锁。

缺点：乐观锁只能对一张表的数据进行加锁，如果是需要对多张表的数据操作加分布式锁，基于版本号的乐观锁是办不到的。

› Continue reading

Tags: redis, 分布式锁

git忽略整个文件夹及移除已经提交的文件

星期五, 2017-12-08 | Author: Lee | JAVA-and-J2EE, linux | 没有评论

一些自动编译的class文件也会提交到git上,每次都有文件去提交很影响代码回查.

如下操作使其不再提交,只要把其列入ingore中.

1.在项目的根目录（跟.git文件夹所在目录同层）建立.gitignore文件，在里面声明即可.

内容如下：

#ignore these files
*.class
classes/
target/
build/

2.如果之前文件已提交过，则需要先清除原文件（文件夹加-r即可），针对特定文件做清理如下

$ git rm *.class
$ git rm -r classes/

3.最后git add .gitignore 再git commit -m “ignore” 即可

Tags: git

JAVA中正确使用的单例模式常用写法（6种写法）

星期六, 2017-11-04 | Author: Lee | JAVA-and-J2EE | 没有评论

单例模式老生常谈的一种模式,也是实际项目代码中比较常用的一种模式了.

文中做了6种方法，实际用的最多的也就 4.5两种，其实6是最完美的但是感觉别捏呢，不像个类,用的也并不多.

1.懒汉式，线程不安全

public class Singleton {
    private static Singleton instance;
    private Singleton (){}
    public static Singleton getInstance() {
     if (instance == null) {
         instance = new Singleton();
     }
     return instance;
    }
}

2.懒汉式，线程安全 (BUT.效率差)

public static synchronized Singleton getInstance() {
    if (instance == null) {
        instance = new Singleton();
    }
    return instance;
}

3.双重检验锁

public static Singleton getSingleton() {
    if (instance == null) {                         //Single Checked
        synchronized (Singleton.class) {
            if (instance == null) {                 //Double Checked
                instance = new Singleton();       //非原子操作
            }
        }
    }
    return instance ;
}

问题：new Singleton非原子操作
1.给 instance 分配内存
2.调用Singleton 的构造函数来初始化成员变量
3.将instance对象指向分配的内存空间（执行完这步 instance 就为非 null 了）

解决办法 JDK1.5以前的版本会有问题， JDK1.5后用volatile关键字(立即可见及禁止指令重排序优化)来修饰变量.通过DCL(double checked locking)实现同步

public class Singleton {
    private volatile static Singleton instance; //这里为 volatile
    private Singleton (){}
    public static Singleton getSingleton() {
        if (instance == null) {                         
            synchronized (Singleton.class) {
                if (instance == null) {       
                    instance = new Singleton();
                }
            }
        }
        return instance;
    }  
}

上面三种的写法基本上在项目中没有什么实用价值，下面的三种才是比较常用的

› Continue reading

Tags: java, 单例模式

Search

理解java里一年中第多少周的定义 - 1104 views
java 压缩文件夹成zip格式 - 1258 views
java捕获kill信号来处理程序信息 - 3901 views
双hash减少用户名冲突JAVA版 - 2123 views
java中byte转换的注意事项 - 2329 views
通过dns解析获取域名的ip地址 - 6524 views
java生成唯一ID,相对唯一（15位和32位）的简单实现 - 11707 views
java中需要转义的正则表达式符号 - 8704 views

文章分类

ajax (9)
algorithm-learn (2)
Android (6)
as (3)
computer (48)
Database (27)
disucz (4)
enterprise (1)
erlang (2)
flash (4)
html5 (13)
ios (4)
JAVA-and-J2EE (115)
linux (93)
mac (6)
movie-music (11)
pagemaker (35)
php (45)
Uncategorized (5)
unity (1)
webgame (15)
wordpress (29)
work-other (1)
体味生活 (40)
大数据 (3)
游戏开发 (9)
爱上海 (19)
读书 (4)
软件 (3)

Pomelo Lee workspace