符十三郎

linux启动过程 开机自检，加载BIOS 读取ＭＢＲ Boot Loader　grub引导菜单 加载kernel内核 init进程依据inittab文件夹来设定运行级别 init进程执行rc.sysinit 启动内核模块 执行不同运行级别的脚本程序 执行/etc/rc.d/rc.local 执行/bin/login程序，启动mingetty,进入登录状态 ha和nginx的区别 Nginx优点： 工作在网络7层之上，可针对http应用做一些分流的策略，如针对域名.目录结构，它的正规规则比HAProxy更为强大和灵活，所以，目前为止广泛流行。 Nginx对网络稳定性的依赖非常小，理论上能ping通就能进行负载功能。 Nginx安装与配置比较简单，测试也比较方便，基本能把错误日志打印出来。 可以承担高负载压力且稳定，硬件不差的情况下一般能支撑几万次的并发量，负载度比LVS小。 Nginx可以通过端口检测到服务器内部的故障，如根据服务器处理网页返回的状态码.超时等，并会把返回错误的请求重新提交到另一个节点。 不仅仅是优秀的负载均衡器/反向代理软件，同时也是强大的Web应用服务器。L ...

安装 yum install mariadb mariadb-server.x86_64 -y 关闭网络端口 vim /etc/my.cnf skip-networking=1 netstat -antlpe | grep mysql # 查看Mariadb使用的端口 systemctl restart mariadb 初始化mysql_secure_installation # 输入新密码 所有都选择yes 使用mysql -u root -p #密码 SHOW DATABASES; #查看存在的库 CREATE DATABASE linux; #新建name库 USE linux; #使用name库 SHOW TABLES; #显示已有表格 CREATE TABLE name （ #有一个空格 username varchar(10) not null, password varchar(30) not null, age varchar(3) ); #新建表格 DESC n ...

Elastic Stack-基础概念 基础概念 elastic stack = elasticsearch + logstash + kibana + beats elasticsearch：基于java，是个开源分布式搜索引擎。它的特点是：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源自动搜索负载等。 logstash：基于java，是一个用于收集，分析和存储日志的工具。 kibana：局域node.js。用于汇总，分析和搜索重要数据日志。 beats：是一款采集系统监控数据的代理agent，是在被监控服务器上以客户端形式运行的数据收集器的总称。可以直接把数据发送给elasticsearch或者通过logstash发送给elasticsearch。然后进行后续的数据分析活动。 packetbeat：网络数据包分析 filebeat：用于监控、收集服务器日志文 metricbeat：用于收集各项服务的指标 winlogbeat：用于监控，收集windows系统的日志信息

1、阿里开源软件： DataX ​ DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 2、Apache开源软件： Sqoop Sqoop(发音:skup)是一款开源的工具，主要用于在HADOOP(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递，可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。（摘自百科） 3、Kettle开源软件：水壶（中文名） Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，绿色无需安装，数据抽取高效稳定。 Kettle 中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出。 Kettle这个ETL工具集，它允许你管理来自不同数据库的数据，通过提供一个图形 ...

前言本篇博客完整的记录了zk及kafka完整安装过程，并协同开发将java应用日志，直接输出至kafka集群，随后通过logstash的kafka input插件进行主题消费，并通过正则进行数据结构化，最后输出到es集群（es集群通过k8s采用eck模式进行安装），数据结果则使用kibaka进行展示，默认关闭selinux及防火墙，系统优化已提前做完； 部署环境介绍 平台 IP 主机名 ECK版本 ZK版本 Kafka版本 CentOS Linux release 7.7.1908 192.168.6.10 DEVOPSSRV01 ELK:7.10.1 3.6.2 2.5.0 CentOS Linux release 7.7.1908 192.168.6.39 DBSRV01 ELK:7.10.1 3.6.2 2.5.0 CentOS Linux release 7.7.1908 192.168.6.45 TSSRV02 ELK:7.10.1 3.6.2 2.5.0 ZooKeeper集群安装与配置安装并配置JDK1.8环境1234567891011121 ...