Page 4 of 53« First...23456...102030...Last »
« Previous Entries Next Entries »

解决yum安装docker慢，更换阿里源

星期五, 2022-09-16 | Author: Lee | JAVA-and-J2EE, linux | 没有评论 377 views 

1、yum install -y yum-utils
2、yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
3、yum install docker-ce

Tags:

2022年mac下还能使用flash的浏览器

星期三, 2022-08-10 | Author: Lee | computer, flash | 没有评论 865 views

flash停止支持已经好几年了，现在市面上常用的chrome等浏览器都已经无法找到开启的模式了

算是彻底封死了启用的可能。

但是但是 还是有需要使用的地方，比如 比较老的OA系统，上传文件就需要flash，咋办呢只有找个还能用的浏览器。

推荐下 360的极速浏览器 安装后依然可以使用flash，下载地址：

mac版本地址：https://browser.360.cn/ee/mac/

主站windows等地址：https://browser.360.cn/

其他的找了一圈，都无法使用，就别浪费时间了，推荐360浏览器.

Tags: ,

设置系统及myslq时区信息，避免程序时间不配置

星期五, 2022-07-29 | Author: Lee | JAVA-and-J2EE, linux | 没有评论 432 views

起因程序用了 date 做查询判断，因系统及mysql不一致，导致插入到数据库的时间和系统时间有差距

造成查询失误，重复插入的问题,故需要调成一致即可.

timedatectl set-timezone "America/New_York"
 
##在[mysqld]区域中加上
vim /etc/my.cnf 
default-time_zone = '-4:00'
###或者##
default-time_zone = 'America/New_York'
 
#/etc/init.d/mysqld restart ##重启mysql使新时区生效

Tags: ,

关于如何解决mysql库名大写导致大小写敏感参数报错的问题

星期一, 2022-07-25 | Author: Lee | linux | 没有评论 758 views

网上很多都是说明mysql表大小写参数的控制，如果库名是大写，调整此参数会造成找不到数据库，切记.

调整方法：调整成敏感，再都转换成小写部分.

lower_case_table_names

表示表名是否大小写敏感，可以修改。

lower_case_table_names = 0时，mysql会根据表名直接操作，大小写敏感。

lower_case_table_names = 1时，mysql会先把表名转为小写，再执行操作。

注意此处有一个大问题

当设置了大小写不敏感的时候。。。此时库名是大写的。。。会产生找不到库的错误

这是因为 设置大小写不敏感 mysql去找库的时候 就会变成小写的名字去找。。。

然而 此时 数据目录中 数据库目录 还是大写的。。此时就报错了。。。

Tags:

zip命令行加解密文件夹及文件

星期五, 2022-07-22 | Author: Lee | computer, linux | 没有评论 526 views

不加密：

zip -r t.zip t

加密：

zip -r -P'密码' t.zip t

解密（不论是否加密都一样）

unzip t.zip

如果是加密文件，之后会输入密码，当然也可以一步到位：

unzip -P'密码' t.zip

前端项目package.json中dependencies和devDependencies包版本的说明

星期二, 2022-05-24 | Author: Lee | ajax, pagemaker, 前端 | 没有评论 802 views

1、dependencie 配置当前程序所依赖的其他包。

2、devDependencie 配置当前程序所依赖的其他包，比如一些工具之类的配置在这里

主要是^大版本不变，只更新后面的小版本，以防止不兼容的情况

"dependencies":{ 
	"ace-builds": "^1.4.9",
    "antd": "^3.26.15",
    "axios": "^0.19.0",
    "bootstrap-datepicker": "^1.8.0"
}
 
"devDependencies": {
    "@babel/cli": "7.4.3",
    "@babel/core": "7.4.3",
    "@babel/plugin-proposal-class-properties": "7.4.0",
    "@babel/plugin-proposal-optional-chaining": "^7.9.0",
    "@babel/plugin-syntax-dynamic-import": "7.2.0"
}

^表示第一位版本号不变，后面两位取最新的

~表示前两位不变，最后一个取最新

*表示全部取最新

Tags:

mac电脑远程连接window软件microsoft-remote-desktop

星期一, 2022-05-02 | Author: Lee | mac | 没有评论 728 views

1.公司跳板机时windows，需要在mac装个远程连接工具，还时微软官方出的最稳定，记录下下载地址。microsoft-remote-desktop

2.官方下载及简介地址

https://docs.microsoft.com/en-us/windows-server/remote/remote-desktop-services/clients/windows

https://docs.microsoft.com/en-us/windows-server/remote/remote-desktop-services/clients/remote-desktop-mac
直接mac app store地址：https://apps.apple.com/app/microsoft-remote-desktop/id1295203466?mt=12

可惜的是国内无法下载不支持此地区，如果您有北美账号可以直接下载

3.使用Bate版本（国内可用）

下载地址：https://aka.ms/rdmacbeta

当前版本：
Version 10.7.7 (1990)
Apr 27, 2022 at 05:46
82.68 MB

直连地址：https://install.appcenter.ms/orgs/rdmacios-k2vy/apps/microsoft-remote-desktop-for-mac/distribution_groups/all-users-of-microsoft-remote-desktop-for-mac

Tags:

Java 开发常用的 Linux命令比较全

星期三, 2022-04-27 | Author: Lee | JAVA-and-J2EE, linux | 没有评论 454 views

Linux关机,重启

# 关机
shutdown -h now
 
#或者
 
init 0 
 
# 重启
shutdown -r now
 
#或者 更常用
 
reboot

查看系统,CPU信息

# 查看系统内核信息
uname -a
 
# 查看系统内核版本
cat /proc/version
 
# 查看当前用户环境变量
env
 
cat /proc/cpuinfo
 
# 查看有几个逻辑cpu, 包括cpu型号
cat /proc/cpuinfo | grep name | cut -f2 -d: | uniq -c
 
# 查看有几颗cpu,每颗分别是几核
cat /proc/cpuinfo | grep physical | uniq -c
 
# 查看当前CPU运行在32bit还是64bit模式下, 如果是运行在32bit下也不代表CPU不支持64bit
getconf LONG_BIT
 
# 结果大于0, 说明支持64bit计算. lm指long mode, 支持lm则是64bit
cat /proc/cpuinfo | grep flags | grep ' lm ' | wc -l

建立软连接

ln -s /usr/local/jdk1.8/ jdk

rpm相关

 
# 查看是否通过rpm安装了该软件
rpm -qa | grep 软件名

› 继续阅读

Tags:

mac下jdk多版本切换（jdk8与jdk11,jdk17）

星期五, 2022-04-22 | Author: Lee | JAVA-and-J2EE, mac | 没有评论 1,377 views

1.jdk8一直是公司应用的主力，还时要在开发机器上保留双版本（支持到2030，果然是长寿版本）

官方下载地址：https://www.oracle.com/java/technologies/downloads/#java8-mac

2.下载安装jdk11（支持到2026年）

官方下载地址：https://www.oracle.com/java/technologies/downloads/#java11-mac

最新的已经到jdk18了，jdk17（支持到2024年）

国内快速下载地址：清华镜像：https://mirrors.tuna.tsinghua.edu.cn/Adoptium/
华为镜像站：版本比较少 https://repo.huaweicloud.com/java/jdk/

更多地址可以参考：centos下jdk11及jdk8的环境变量配置

3.配置编辑.bash_profile文件 cd到用户目录

根据自己的路径调整 在 /Library/Java/JavaVirtualMachines 下

# 设置 jdk 8
JAVA_8_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_331.jdk/Contents/Home
# 设置 jdk 11
JAVA_11_HOME=/Library/Java/JavaVirtualMachines/zulu-11.jdk/Contents/Home
 
 
#alias命令动态切换JDK版本
alias jdk8="export JAVA_HOME=$JAVA_8_HOME"
alias jdk11="export JAVA_HOME=$JAVA_11_HOME"
 
export JAVA_HOME="/usr/libexec/java_home"
#最后安装的版本，这样当自动更新时，始终指向最新版本
PATH=$PATH:$JAVA_HOME/bin
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JAVA_HOME PATH CLASSPATH
export PATH="/usr/bin:/bin:/usr/sbin:/sbin:/usr/local/bin:${JAVA_HOME}:${JAVA_HOME}/bin"

3. source ~/.bash_profile 文件使其生效

通过输入jdk8便可以切换到jdk1.8
输入jdk11便可以切换到jdk11

Tags: ,

日志中台不重不丢的实现架构及问题处理

星期三, 2022-04-20 | Author: Lee | JAVA-and-J2EE, 大数据 | 没有评论 797 views

可以参考实现自己公司的日志中台 来源：百度Geek说

导读：日志数据的生命周期包含日志采集、接入、传输、应用等各个环节。数据的稳定性对于公司报表建设、决策分析、转化策略效果都有至关重要的影响。全文旨在介绍百度日志中台当前的现状，公司内部应用推广情况。尤其在数据准确性的建设上，进行深入的探讨。数据产生到最终业务应用中各个环节的稳定性建设，包括：数据上报时效性优化、接入持久化的思考、数据流式计算过程中的不重不丢建设等。

一 简述
1.1 中台定位
日志中台是针对打点数据的一站式服务，实现打点数据的全生命周期管理，只需简单开发就能快捷完成日志数据采集、传输、管理以及查询分析等功能，适用于产品运营分析、研发性能分析、运维管理等业务场景，帮助APP端、服务端等客户探索数据、挖掘价值、预见未来。

1.2 接入情况
日志中台已覆盖了厂内大多数重点产品，其中包括：百度APP全打点、小程序、矩阵APP等，接入方面收益如下：

接入情况：几乎覆盖了厂内已有APP，小程序，创新孵化APP，以及厂外收购APP
服务规模：日志条数 几千亿 条/天，高峰QPS 几百万/秒，服务稳定性 99.9995 %

1.3 名词解释
客户端：指用户可以直接使用的软件系统，通常部署在用户手机或PC等终端设备上。例如百度APP、小程序等。
服务端：用于响应客户端发起的网络请求的服务，通常部署在云服务器上。
日志中台：此处特指端日志中台，包括端日志全生命周期的能力建设。包括打点SDK / 打点server/ 日志管理平台等核心组件。
打点SDK：负责打点日志的采集、封装、上报等功能。根据不同的日志生产端，分为APP端SDK、H5端SDK，根据场景区分为通用点位SDK、性能SDK、小程序SDK等，用户根据需求可以集成不同的SDK。
打点server：日志接收服务端，是日志中台服务端最核心的模块。
特征/模型服务：日志中台将需要进行策略模型计算的点位信息实时转发给下游<策略推荐中台>。特征/模型服务是<策略推荐中台>的入口模块。

1.4 服务全景图
日志服务主要包括基础层、管理平台、业务数据应用、产品支撑几个层面。围绕着各个层级，在2021.6月，制定&发布了百度客户端日志上报规范。
基础层：支持了APP-SDK、JS-SDK，性能SDK、通用SDK，满足各类打点需求的快速接入场景。依托大数据基础服务，将打点数据分发至各个应用方。
平台层：管理平台支持数据元信息管理、维护，并控制打点生命全周期环节。在线层面支持数据的实时、离线转发、并依托合理的流量控制、监控保证服务稳定性在99.995%。
业务能力：日志打点数据输出至数据中心、性能平台、策略中台、增长中台等，有效助力产品决策分析、端质量监控、策略增长等领域。
业务支持：覆盖重点APP、新孵化矩阵APP，横向通用组件方面。

二、日志中台核心目标
如前文介绍，日志中台承载着百度内所有APP日志打点、站在数据生产的最前沿，在保证功能覆盖全、接入快速&灵活的基础上，面临的最重要核心挑战是数据的准确性。整个数据从产出、日志中台接入处理、下游应用，一切数据质量问题需要日志中台承载。而数据的准确性可以拆解为2部分：
不重：保证数据严格意义的不重复。需要防止系统层面的各种重试、架构异常恢复导致的数据重复问题；
不丢：保证数据严格意义的不丢失。需要防止系统层面的故障、代码层面bug等导致的数据丢失问题。
而做到系统层面的近乎100%的不重不丢，需要面临较多的难题。

2.1 日志中台架构
接入日志中台打点数据从端上生产至在线服务到最终（实时/离线）转发至下游，需要经过如下几个环节：

数据应用方式不同，有以下集中类型：
实时
准实时流（消息队列）：供下游数据分析使用，特点：较高（min）时效性，需要严格意义的数据准确。典型应用：研发平台、trace平台；
纯实时流（RPC代理）：供下游策略应用，特点：秒级时效性，允许一定程度的数据丢失。典型应用：推荐架构。
离线：离线大表，所有日志全集，特点：天级/小时级时效性，需要严格意义的数据准确。
其他：需要一定时效性和准确率

2.2 面临的问题
从上面日志中台架构来看，存在如下问题：
巨型模块：打点server承载了所有的数据处理逻辑，功能耦合严重：
功能多：接入&持久化、业务逻辑处理、各种类型转发（rpc、消息队列、pb落盘）；
扇出多：有10+个业务扇出流，通过打点server转发。
直接对接消息队列：从业务视角看，存在发送消息队列消息丢失风险，且无法满足业务不重不丢要求。
业务无等级划分：
核心业务与非核心业务架构部署耦合
相互迭代、相互影响

三、不重不丢实现
3.1 数据不丢的理论基础

3.1.1 唯2丢失数据理论
端：由于移动端的客观环境影响，如白屏、闪退、无法常驻进程、启动周期不确定等因素，导致客户端消息会存在一定概率丢失
接入层：由于服务器不可避免的存在故障（服务重启、服务器故障）的可能性，也存在一定的数据丢失概率
计算层：接入点之后，基于流式框架，建设需要严格意义的保证数据不重不丢。

3.1.2 日志中台架构优化方向
数据接入层面：
先持久化数据，后业务处理的原则
降低逻辑复杂度
下游转发层面：
实时流类：严格意义不丢失
高时效类：保证数据时效，允许可能存在的部分丢失
资源隔离：将不同业务的部署进行物理隔离，避免不同业务相互影响
区分优先级：按照业务对不同数据诉求，区分不同类型

3.2 架构拆解
基于日志中台现状分析，结合日志打点服务的唯2理论，我们针对日志中台对现有架构进行问题拆解和架构重构。

3.2.1 打点server服务拆解（优化接入层数据丢失）
基于以上不重不丢的理论，日志接入层进行了如下几个方面的建设，尽可能做到数据不重不丢。
日志优先持久化：尽可能降低接入点因服务器故障等原因导致的数据丢失问题；
巨型服务拆解：接入点应该秉承简单、轻量的思路建设，避免过多业务属性导致的服务稳定性问题；
灵活&易用：在不重不丢的同时，基于业务需求特点，设计合理的流式计算架构。

› 继续阅读

Tags:

Page 4 of 53« First...23456...102030...Last »
« Previous Entries Next Entries »

Search

相关文章

热门文章

最新文章

文章分类

标签云

Links

Meta