centos7通配ssl域名使用snap的certbot版本的lets-encrypt记录

星期日, 七月 25th, 2021 | computer, linux | 没有评论

之前直接使用脚本的形式现在已经不支持了,需要使用snap的模式

1.安装snap

sudo yum install epel-release -y
 
sudo yum install snapd
 
sudo systemctl enable --now snapd.socket
 
sudo ln -s /var/lib/snapd/snap /snap
 
sudo snap install core
 
sudo snap refresh core

2.移除历史的版本certbot

 
sudo yum remove certbot

3.Install Certbot

 
sudo snap install --classic certbot
 
sudo ln -s /snap/bin/certbot /usr/bin/certbot

› Continue reading

Tags: , , ,

Elasticsearch技术使用(ES): 索引别名Aliases问题

星期四, 七月 8th, 2021 | JAVA-and-J2EE, 大数据 | 没有评论

业务问题#

业务需求是不断变化迭代的,也许我们之前写的某个业务逻辑在下个版本就变化了,我们可能需要修改原来的设计,例如数据库可能需要添加一个字段或删减一个字段,而在搜索中也会发生这件事,即使你认为现在的索引设计已经很完美了,在生产环境中,还是有可能需要做一些修改的,需要添加映射字段或者需要修改字段类型等等。

数据库中我们可以直接修改原来的表设计语句,前提是需要做好数据迁移。但是在 Elasticsearch 中就没那么简单了。尽管可以增加新的类型到索引中,或者增加新的字段到类型中,但是不能添加新的分析器或者对现有的字段做改动。如果你那么做的话,结果就是那些已经被索引的数据就不正确,搜索也不能正常工作。针对这个问题必须重新建立索引。

别名定义#

重新建立索引的问题是必须更新应用中的索引名称,索引别名就是用来解决这个问题的!

假设我们有个学生的原始索引 student_index_v1,我们给它起个别名 student_index,程序中也是用别名 student_index 进行搜索,当我们的业务需求发生改变需要修改索引的时候,我们重新创建个索引 student_index_v2,同时将别名 student_index 指向新的索引 student_index_v2,同时将 student_index_v1 的数据迁移到新的 student_index_v2,这样我们就可以做到在零停机下从旧索引切换到新索引。

索引别名就像一个快捷方式或软连接,可以指向一个或多个索引,也可以给任何一个需要索引名的API来使用,而且别名不能与索引同名。

别名带给我们极大的灵活性,允许我们做下面这些:

在运行的集群中可以无缝的从一个索引切换到另一个索引。
给多个索引分组。
给索引的一个子集创建视图。

别名管理#

别名还可以映射到某个索引也可以映射到多个索引。别名还可以与筛选器关联,筛选器将在搜索和路由值时自动应用,别名不能与索引同名。

Elasticsearch 中有两种方式管理别名: _alias 用于单个操作, _aliases 用于执行多个原子级操作。
› Continue reading

Tags: ,

ssh连接好用的工具electerm或xshell

星期五, 七月 2nd, 2021 | JAVA-and-J2EE, linux, mac, work-other | 没有评论

1.xshell基本上是window下常用的工具了,可以使用家庭版和学校版本免费

家庭或者学校版快速地址:https://www.netsarang.com/zh/free-for-home-school/

2.开源且使用起来还不错的electerm,支持linux, mac, win常用的三端

electerm is a terminal/ssh/sftp client(linux, mac, win) based on electron/ssh2/node-pty/xterm/antd/subx and many other libs.

下载地址:https://electerm.github.io/electerm/

Tags:

Lambda架构和Kappa架构之常用的大数据处理架构

星期四, 六月 3rd, 2021 | 大数据 | 没有评论

首先我们来看一个典型的互联网大数据平台的架构,如下图所示:

111

在这张架构图中,大数据平台里面向用户的在线业务处理组件用褐色标示出来,这部分是属于互联网在线应用的部分,其他蓝色的部分属于大数据相关组件,使用开源大数据产品或者自己开发相关大数据组件。

你可以看到,大数据平台由上到下,可分为三个部分:数据采集、数据处理、数据输出与展示。

数据采集

将应用程序产生的数据和日志等同步到大数据系统中,由于数据源不同,这里的数据同步系统实际上是多个相关系统的组合。数据库同步通常用 Sqoop,日志同步可以选择 Flume,打点采集的数据经过格式化转换后通过 Kafka 等消息队列进行传递。

不同的数据源产生的数据质量可能差别很大,数据库中的数据也许可以直接导入大数据系统就可以使用了,而日志和爬虫产生的数据就需要进行大量的清洗、转化处理才能有效使用。
数据处理

这部分是大数据存储与计算的核心,数据同步系统导入的数据存储在 HDFS。MapReduce、Hive、Spark 等计算任务读取 HDFS 上的数据进行计算,再将计算结果写入 HDFS。

MapReduce、Hive、Spark 等进行的计算处理被称作是离线计算,HDFS 存储的数据被称为离线数据。在大数据系统上进行的离线计算通常针对(某一方面的)全体数据,比如针对历史上所有订单进行商品的关联性挖掘,这时候数据规模非常大,需要较长的运行时间,这类计算就是离线计算。

除了离线计算,还有一些场景,数据规模也比较大,但是要求处理的时间却比较短。比如淘宝要统计每秒产生的订单数,以便进行监控和宣传。这种场景被称为大数据流式计算,通常用 Storm、Spark Steaming 等流式大数据引擎来完成,可以在秒级甚至毫秒级时间内完成计算。

数据输出与展示

大数据计算产生的数据还是写入到 HDFS 中,但应用程序不可能到 HDFS 中读取数据,所以必须要将 HDFS 中的数据导出到数据库中。数据同步导出相对比较容易,计算产生的数据都比较规范,稍作处理就可以用 Sqoop 之类的系统导出到数据库。

› Continue reading

Tags: , ,

centos7或者windows下部署gitbook

星期四, 五月 13th, 2021 | JAVA-and-J2EE, linux | 没有评论

1.使用node版本为12版本,14版本会有问题降低版本保平安

node网站地址:https://nodejs.org/en/download/

win下地址:https://nodejs.org/dist/latest-v12.x/node-v12.22.1-x64.msi

linux下的版本: https://nodejs.org/dist/latest-v12.x/node-v12.22.1-linux-x64.tar.xz

2.解压及配置路径

tar -xJf node-v12.22.1-linux-x64.tar.xz -C /usr/local/lib/
 
cd /usr/local/lib
 
mv node-v12.22.1-linux-x64/ nodejs

3.配置环境变量

vi /etc/profile
 
export PATH=/usr/local/lib/nodejs/bin:$PATH
 
source /etc/profile

测试npm命令信息,输入npm -v查看npm的版本

4.利用npm 安装gitbook-cli

 npm install -g gitbook-cli

gitbook –version查看版本信息,执行时会自动安装gitbook

遭遇错误注释掉对应的文件中的 polyfills.js

  //fs.stat = statFix(fs.stat)
  //fs.fstat = statFix(fs.fstat)
  //fs.lstat = statFix(fs.lstat)

› Continue reading

Tags: ,

JAVA使用HikariCP开启执行批量执行插入数据

星期五, 四月 30th, 2021 | JAVA-and-J2EE | 没有评论

1.使用HikariConfig配置如下: 开启批量处理

#mysql config
jdbcUrl=jdbc:mysql://localhost:3306/xxx?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull&useSSL=false&serverTimezone=Asia/Shanghai
username=root
password=root
driverClassName=com.mysql.cj.jdbc.Driver
dataSource.cachePrepStmts=true
dataSource.prepStmtCacheSize=250
dataSource.prepStmtCacheSqlLimit=2048
dataSource.useServerPrepStmts=true
dataSource.useLocalSessionState=true
dataSource.rewriteBatchedStatements=true
dataSource.cacheResultSetMetadata=true
dataSource.statementsPerBatch=5000
#dataSource.cacheServerConfiguration=true
#dataSource.elideSetAutoCommits=true
dataSource.maintainTimeStats=false
dataSource.useCursorFetch=true
autoCommit=true
maximumPoolSize=10

2.使用批量执行语句

 
String sql ="INSERT INTO MyTable(ColA, ColB, ColC) VALUES (?, ?, ?)";  //ok batch
sql ="INSERT INTO MyTable(ColA, ColB, ColC) VALUE (?, ?, ?)";  //no batch only Inserting one record at a time
queryRunner.batch(,
        new Object[][] {
            {"A1", "B1", "C1"},
            {"A2", "B2", "C2"},
            {"A3", "B3", "C3"}});

小结:因为使用了 VALUE 不是 VALUES而无法批量生效,一直跟踪debug才发现,浪费了半天时间囧.

解决国内下载vscode慢的方法

星期四, 四月 22nd, 2021 | computer, linux | 没有评论

1.更新对应的cdn域名即可 vscode 官网访问地址:https://code.visualstudio.com/

把原来的:

https://az764295.vo.msecnd.net

替换成

https://vscode.cdn.azure.cn

如下:VSCodeUserSetup-x64-1.55.2.exe国内快速下载地址

https://vscode.cdn.azure.cn/stable/3c4e3df9e89829dce27b7b5c24508306b151f30d/VSCodeUserSetup-x64-1.55.2.exe

比如下载地址是:

https://az764295.vo.msecnd.net/stable/3c4e3df9e89829dce27b7b5c24508306b151f30d/code_1.55.2-1618307277_amd64.deb

更换成:

https://vscode.cdn.azure.cn/stable/3c4e3df9e89829dce27b7b5c24508306b151f30d/code_1.55.2-1618307277_amd64.deb

2.体验国内下载飞一般的速度^-^.

Tags:

解决vi不能使用鼠标右键复制粘贴的问题

星期四, 四月 22nd, 2021 | linux | 没有评论

使用最新版本的deepin 20.2的版本,使用vi编辑文件时,发生无法使用鼠标右键复制和粘贴功能,很是不方便。

一使用粘贴就会进入可视插入的模式,解除此模式也很简单 使用 :set mouse=v 即可

##在可视模式下使用鼠标搞定
:set mouse=v
 
###启动了所有模式,这样就屏蔽了鼠标右健功能
:set mouse=a

Tags: ,

centos7下yum安装PHP 7.4, 7.3 & 7.2 & 7.1

星期二, 三月 9th, 2021 | linux, php | 没有评论

centos7下yum安装PHP 7.4, 7.3 & 7.2 & 7.1

1.系统为centos7.9

2.使用yum安装 命令如下:

  sudo yum install epel-release
 
  sudo rpm -Uvh http://rpms.famillecollet.com/enterprise/remi-release-7.rpm

2.1:安装php版本

  ## Install PHP 7.4 
  yum --enablerepo=remi-php74 install php
 
  ## Install PHP 7.3 
  yum --enablerepo=remi-php73 install php
 
  ## Install PHP 7.2 
  yum --enablerepo=remi-php72 install php
 
  ## Install PHP 7.1 
  yum --enablerepo=remi-php71 install php

2.2 安装php相关常用扩展(Modules)

	### For PHP 7.4
yum --enablerepo=remi-php74 install php-xml php-soap php-xmlrpc php-mbstring php-json php-gd php-mcrypt
 
### For PHP 7.3
yum --enablerepo=remi-php73 install php-xml php-soap php-xmlrpc php-mbstring php-json php-gd php-mcrypt
 
### For PHP 7.2
yum --enablerepo=remi-php72 install php-xml php-soap php-xmlrpc php-mbstring php-json php-gd php-mcrypt
 
### For PHP 7.1
yum --enablerepo=remi-php71 install php-xml php-soap php-xmlrpc php-mbstring php-json php-gd php-mcrypt

2.3 支持mysql及php-fpm

  ## For PHP 7.4 
  yum --enablerepo=remi-php74 install php-fpm mysqlnd
 
  ## For PHP 7.3 
  yum --enablerepo=remi-php73 install php-fpm mysqlnd
 
  ## For PHP 7.2 
  yum --enablerepo=remi-php72 install php-fpm mysqlnd
 
  ## For PHP 7.1 
  yum --enablerepo=remi-php71 install php-fpm mysqlnd

2.4 查看更多可安装的模块

› Continue reading

Tags: , ,

deepin升级后无法进入图形界面的处理办法

星期四, 一月 28th, 2021 | computer, linux | 没有评论

一直升级都很正常,今天遭遇无法进入图形界面

解决如下:

ssh连接进入命令行界面:

	sudo apt-get install deepin-appstore
	##注意移除data数据即可
	sudo apt-get remove deepin-appstore-data
	sudo apt-get install dde
	sudo reboot

重启后进入搞定

Tags:

Search

文章分类

Meta