1.Canal-adapter1.1.4集成Elasticsearch7.8.0排坑指南及在本地环境运行canal-adapter项目
2.springboot安装及配置？
3.CentOS7搭建企业级ELK日志分析系统
4.docker-compose快速部署elasticsearch-8.x集群+kibana

Canal-adapter1.1.4集成Elasticsearch7.8.0排坑指南及在本地环境运行canal-adapter项目

       在集成canal的源码过程中，我遇到了众多问题，编译尽管网上有诸多解答，源码但质量不尽如人意。编译于是源码，我下载源码进行本地编译，编译qt数独源码逐一排查，源码总结出以下要点：

       以下是编译常见问题：

       1、如何使canal-adapter1.1.4支持ES7系列？

       2、源码常见错误信息

       3、编译canal-adapter1.1.4支持的源码具体版本号范围

       问题一：让canal-adapter支持ES7系列

       首先，下载canal对应版本的编译源码到本地，使用编码工具打开。源码由于canal1.1.4最高支持的编译版本是6.4.3，在canal-adapter的源码elasticsearch模块中，引用的ES版本号为6.4.3，因此需要将ES的依赖版本号升起来。

       修改完毕后，重新编译项目，会发现有几处代码编译报错。因为不同版本的ES的代码语法有所不同，只需要稍作改动即可。

       代码编译通过后，修改canal-adapter下的launcher模块中的application.yml文件，修改后的示例如下：

       修改完配置文件后，接下来配置数据库与ES索引的对应关系。位于elasticsearch模块下的资源文件目录下的es文件夹下，默认有3个文件。为了方便演示，先删除了两个文件。

       然后在ES中创建相应的mapping结构，用于将数据库数据同步到ES中。

       完成上述步骤后，即可启动canal-adapter本地项目。

       问题二：关于常见的报错信息

       canal-adapter在使用过程中，通常会遇到很多报错。以下逐一为大家解答：

       采坑点之一：在本地运行前一定先在maven的root模块下安装，安装完毕后再运行CanalAdapterApplication启动类。

       如果没有先安装直接运行，单机网站源码会出现报错，提示找不到OuterAdapter类的实现类。

       通过报错信息可以发现，当前提示是ESAdapter这个类找不到。根据抛出异常代码所在行通过源码打断点进一步排查，发现找不到target目录下的plugin目录下面的jar包。

       有两种方式可以解决这个问题，第一种是在canal-adapter项目的launcher模块下的main方法下面新建文件夹canal-adapter/plugin，将编译后的es的jar包放进去，然后修改源码中关于本地文件加载的路径。

       另外一种方法就是，运行前还是先使用maven的install安装一下。

       采坑点之二：报错信息Config dir not found

       在本地调试过程中，发现有报错Config dir not found。通过报错行打断点进一步排查，发现是项目启动完毕后在执行数据初始化阶段没有找到配置文件所导致的异常。

       这个问题也比较好解决，我们可以在canal-adapter的launcher模块的配置文件中新建一个叫es的文件夹，把elasticsearch模块下的es文件夹拷贝过来，即可解决这个问题。

       采坑点之三：报错Elasticsearch exception [type=index_not_found_exception, reason=no such index [XXXX]]

       这个问题，大家可以检查一下ES里面对应的索引名称是否存在，索引的mapping结构是否已经创建；当然，可能还有其他情况下导致出现这个问题，暂时没有遇到。

       采坑点之四：报错Not found the mapping info of index: XXX

       这个问题从报错信息来看，总感觉像是ES中索引的Mapping结构没有创建好。我用多种方式进行mapping结构的创建，可一直报错。

       根据报错堆栈信息，通过打断点的方式进一步排查，我们会看到在ESConnection类的行有这样一些被注释了的代码。

       这也正是canal-adapter1.1.4为什么不支持ES7以上的版本了。我们只需要将这些被注释的代码打开即可解决这个问题。

       通过上述代码的改造，我们可以对改完后的内容进行测试，全量同步数据和增量同步数据。

       canal-adapter为我们提供了全量同步数据的bbicci共振源码接口，我们在canal-adapter的launcher模块的com.alibaba.otter.canal.adapter.launcher.rest目录下可以看到有一个类叫做CommonRest，其里面提供全量同步数据的方法和条件同步数据的方法。

       直接使用postman发送如下请求即可完成数据的全量同步，效果如下，同时，如果数据库当前表的数据发生变更，canal-adapter也能及时监听到并同步到ES中。

       关于canal-adapter配置文件的，大家可以参考一下官网文档：github.com/alibaba/cana...

       另外还有一个网上经常提到的name: es6和es7，通过观察源码，在adapter1.1.4版本中，直接使用es即可。

       如上，canal-adapter1.1.4在本地运行起来了，并且全量同步数据和增量同步数据都已触发并生效。

       通过kibana也可以查询到对应的数据了。

       最后，这个项目在本地编译后在target目录下会生成一个canal-adapter的文件夹，这个文件夹可以拷贝出来直接运行。

       在windos和linux都可以运行。我这边编译后，在本地直接运行bat文件，程序正常并且可以正常全量同步数据和增量同步数据。

       不过遇到很奇怪的一个问题，将编译后的文件放在linux系统运行，则会不同的刷错误日志如下。

       暂时还未解决当前问题。不过我这边在目前的实际应用场景中，使用不到adapter，因为它的使用场景比较有效，对数据有较高的要求。

       这个问题在github上提了issues。

       地址：canal-adapter在本地环境可正常运行，编译后在服务器上运行出错；· Issue # · alibaba/canal

springboot安装及配置？

       SpringBoot教程第篇：整合elk，搭建实时日志平台

       这篇文章主要介绍springboot整合elk.

       elk简介

       elk下载安装

       elk下载地址：

       建议在linux上运行，elk在windows上支持得不好，另外需要jdk1.8的支持，需要提前安装好jdk.

       下载完之后：安装，exe查源码以logstash为栗子：

       配置、启动Elasticsearch

       打开Elasticsearch的配置文件：

       修改配置:

       network.host=localhost

       network.port=

       它默认就是这个配置，没有特殊要求，在本地不需要修改。

       启动Elasticsearch

       启动成功，访问localhost:,网页显示：

       配置、启动logstash

       在logstash的主目录下：

       修改log4j_to_es.conf如下：

       input{

       log4j{

       mode="server"

       host="localhost"

       port=

       }

       }

       filter{

       #Onlymatcheddataaresendtooutput.

       }

       output{

       elasticsearch{

       action="index"#TheoperationonES

       hosts="localhost:"#ElasticSearchhost,canbearray.

       index="applog"#Theindextowritedatato.

       }

       }

       修改完配置后启动：

       ./bin/logstash-fconfig/log4j_to_es.conf

       终端显示如下：

       访问localhost:

       证明logstash启动成功。

       配置、启动kibana

       到kibana的安装目录：

       默认配置即可。

       访问localhost:，网页显示：

       证明启动成功。

       创建springboot工程

       起步依赖如下：

       log4j的配置，／src/resources/log4j.properties如下：

       log4j.rootLogger=INFO,console

       #forpackagecom.demo.elk,logwouldbesenttosocketappender.

       log4j.logger.com.forezp=DEBUG,socket

       #appendersocket

       log4j.appender.socket=org.apache.log4j.net.SocketAppender

       log4j.appender.socket.Port=

       log4j.appender.socket.RemoteHost=localhost

       log4j.appender.socket.layout=org.apache.log4j.PatternLayout

       log4j.appender.socket.layout.ConversionPattern=%d[%-5p][%l]%m%n

       log4j.appender.socket.ReconnectionDelay=

       #appenderconsole

       log4j.appender.console=org.apache.log4j.ConsoleAppender

       log4j.appender.console.target=System.out

       log4j.appender.console.layout=org.apache.log4j.PatternLayout

       log4j.appender.console.layout.ConversionPattern=%d[%-5p][%l]%m%n

       打印log测试：

       在kibana实时监控日志

       打开localhost::

       Management=indexpattrns=addnew:

       点击discovery:

       springboot配置文件总结

       springboot本身支持多种灵活的配置方式，为开发springboot程序带来了很大的灵活性和扩展性，但是同时由于太灵活，经常会导致明明配置了相关属性，却没有生效。

       本文总结了springboot配置文件的原理以及多个配置文件生效的顺序。

       springboot配置文件支持灵活的路径，以及灵活的文件名，用一个变量表达式总结如下：

       部分源码如下：

       当满足上述变量表达式的配置文件有多个时，会有一个配置的优先级。假设

       上面每个条件组合起来，则最多有配置文件如下，且顺序从上到下：

       获取属性时，按从上到下的顺序遍历由上述文件生成的属性资源对象PropertySource，如果遇到匹配的key直接返回。

       总结一下：就是如果同一个key的属性只出现一次，则直接取该值即可。如果同一个key的属性出现多次，则取顺序靠前的属性资源对象。另外其中每个文件都是可选的。

       需要注意的一点是：如果在同一个location下配置了多个文件名一样的文件，则只会取一个，比如在classpath:/，有如下两个文件application.yml：

       则只会根据classloader的classpath列表，选取第一个出现的文件。因为springboot加载配置文件时最底层是养殖门户源码使用的下面的方法：

       这两个方法只会获取classloader类的ucp属性里面第一个匹配到的值。如果对springboot自身的机制不满意，想获取所有的classpath:/路径下面的applicaiton.yml文件，可以使用下面的方法：

       本文总结了springboot配置文件的原理以及多个配置文件生效的顺序。如果存在增加了配置文件或者在配置文件里面增加了属性却没有生效，可以参考上面的springboot配置文件表达式和配置文件生效顺序进行排查。

       后面还会有一篇文章讨论基于springboot配置原理如何实现自定义的配置读取方式。

springboot插件安装（JBLSpringBootAppGen）

       插件安装

       在应用springboot工程的时候；一般情况下都需要创建启动引导类Application.java和application.yml配置文件，而且内容都是一样的；为了便捷可以安装一个IDEA的插件JBLSpringBootAppGen在项目上右击之后可以自动生成启动引导类Application.java和application.yml配置文件。

       使用

       新建任意一个maven工程，右击工程，选择JBLSpringBootAppGen

       是否添加application.properties文件

       点击OK，工具会自动帮忙创建

SpringBoot配置文件详解（告别XML）

       快速学会和掌握SpringBoot的核心配置文件的使用。

       SpringBoot提供了丰富的外部配置，常见的有：

       其中核心配置文件我们并不陌生，主要以Key-Value的形式进行配置，其中属性Key主要分为两种：

       在application.properties添加配置如下：

       ①添加数据源信息

       在application.propertis添加配置如下：

       ①添加认证信息，其中socks.indentity.*是自定义的属性前缀。

       ②添加随机值，其中spring.test.*是自定义的属性前缀。

       使用方法：@ConfigurationProperties(prefix="spring.datasource")

       使用说明：提供Setter方法和标记组件Component

       如何验证是否成功读取配置？答：这里可以简单做个验证，注入MyDataSource，使用Debug模式可以看到如下信息：

       使用方法：@Value("spring.datasource.*")

       使用说明：提供Setter方法和标记组件Component

       注意事项：@Value不支持注入静态变量，可间接通过Setter注入来实现。

       关于两者的简单功能对比：

       显然，前者支持松绑定的特性更强大，所以在实际开发中建议使用@ConfigurationProperties来读取自定义属性。

       SpringBoot默认会加载这些路径加载核心配置文件，按优先级从高到低进行排列：具体规则详见ConfigFileApplicationListener

       如果存在多个配置文件，则严格按照优先级进行覆盖，最高者胜出：

       举个简单的例子，例如再上述位置都有一个application.properties，并且每个文件都写入了server.port=xx（xx分别是，，，），在启动成功之后，最终应用的端口为：。图例：

       如果想修改默认的加载路径或者调改默认的配置文件名，我们可以借助命令行参数进行指定，例如：

       YAML是JSON的一个超集，是一种可轻松定义层次结构的数据格式。

       答：因为配置文件这东西，结构化越早接触越规范越好。这里推荐阅读阮一峰老师写的YAML语言教程，写的很简单明了。

       引入依赖：在POM文件引入snakeyaml的依赖。

       使用说明：直接在类路径添加application.yml即可。

       例如下面这两段配置是完全等价的：

       ①在application.yml配置数据源:

       ②在application.properties配置数据源：

       在项目的实际开发中，我们往往需要根据不同的环境来加载不同的配置文件。例如生产环境，测试环境和开发环境等。此时，我们可以借助Profiles来指定加载哪些配置文件。例如：

       温馨提示：如果spring.profiles.active指定了多个配置文件，则按顺序加载，其中最后的优先级最高，也就是最后的会覆盖前者。

       使用方法：

       使用Maven插件打包好项目，然后在当前路径，执行DOS命令：java-jardemo.jar--server.port=，在控制台可看到应用端口变成了。

       实现原理：

       默认情况下，SpringBoot会将这些命令行参数转化成一个Property，并将其添加到Environment上下文。

       温馨提示：

       由于命令行参数优先级非常之高，基本高于所有常见的外部配置，所以使用的时候要谨慎。详见PropertySource执行顺序。

       关闭方法：

       如果想禁用命令行属性，可以设置如下操作：springApplication.setAddCommandLineProperties(false)

Springboot配置logback

       因为logback其他配置尚好理解，本文只说明比较少用，但是却起关键作用的两个子节点。

       1、依赖：

       实际开发中我们不需要直接添加该依赖，你会发现spring-boot-starter其中包含了spring-boot-starter-logging，SpringBoot为我们提供了很多默认的日志配置，所以，只要将spring-boot-starter-logging作为依赖加入到当前应用的classpath，则“开箱即用”。

       2、日记的等级

       日志级别从低到高分为TRACEDEBUGINFOWARNERRORFATAL

       3、配置

       这里对日志框架的支持有两种配置方式，一般来讲我们倘若不是要较复杂的需求，可以直接在?application.yml?配置文件配置下即可：

       application.properties或?application.yml?（系统层面）

       参考网站：

       logback-spring.xml（自定义文件方式）

       参考网站：

       4、彩色打印

       参考：

       5、@Slf4j注解

       安装lombok插件，在需要打印的类名上加上该注解即可

       替代下面语句的编写

       privateLoggerlogger=LoggerFactory.getLogger(this.getClass());

       6、打印不出json的问题

       不是打印不出而是正确的要加一个占位符{ }，如下

       log.info("hospital{ }",JSON.toJSONString(hospitalEntity2));

       7、log存放文件路径定义

       最关键的两个节点，你可以理解之前的property、appender嵌套property只是一些定义好的变量，真正定义方法怎么去运用这些变量是这两个节点所要做的。

       1、子节点--root

       root节点是必选节点，用来指定最基础的日志输出级别，只有一个level属性，不区分大小写，默认是DEBUG。

       可以包含零个或多个元素，标识这个appender将会添加到这个loger（理解root为一个全局的loger）。

       举例子：

       上图这是我定义好的文件输出的appender节点，对应下图的appender-ref节点，ref对应appender的name属性，上面说到root节点好比一个方法，所以现在这个方法的意思是全局打印等级为INFO，而且四个appender变量都执行，即正常的控制台输出和warn、info、error的三个文件输出，可以到对应的控制台和日志文件里面看到的确有日志。反之倘若我们level定为Debug，或者去除name为“WARN”的appender则是输出Debug以上等级的日志，WARN.log日志文件也不会再有日志打印进去。

       2、子节点--loger

       loger用来设置某一个包或者具体的某一个类的日志打印级别、以及指定appender，也就是只管辖指定的区域的日志输出规则。loger仅有一个name属性，一个可选的level和一个可选的addtivity属性。

       注意：这里说的上级就是root节点

       name:用来指定受此loger约束的某一个包或者具体的某一个类。

       level:用来设置打印级别，大小写无关：TRACE,DEBUG,INFO,WARN,ERROR,ALL和OFF，还有一个特俗值INHERITED或者同义词NULL，代表强制执行上级的级别。如果未设置此属性，那么当前loger将会继承上级的级别。

       addtivity:是否向上级loger传递打印信息。默认是true。

       举例子：

       控制com.dudu.controller.LearnController类的日志打印，打印级别为“WARN”;

       additivity属性为false，表示此loger的打印信息不再向上级传递;

       指定了名字为“console”的appender;

       这时候执行com.dudu.controller.LearnController类的login方法时，先执行loggername="com.dudu.controller.LearnController"level="WARN"additivity="false",

       将级别为“WARN”及大于“WARN”的日志信息交给此loger指定的名为“console”的appender处理，在控制台中打出日志，不再向上级root传递打印信息。

       注意：

       当然如果你把additivity=”false”改成additivity=”true”的话，就会打印两次，因为打印信息向上级传递，logger本身打印一次，root接到后又打印一次。

       四、配合多环境

       据不同环境（prod:生产环境，test:测试环境，dev:开发环境）来定义不同的日志输出，在logback-spring.xml中使用springProfile节点来定义，方法如下：

       文件名称不是logback.xml，想使用spring扩展profile支持，要以logback-spring.xml命名

       可以启动服务的时候指定profile（如不指定使用默认），如指定prod的方式为：

       java-jarxxx.jar–spring.profiles.active=prod

       关于多环境配置可以参考

       SpringBoot干货系列：（二）配置文件解析

CentOS7搭建企业级ELK日志分析系统

       部署Elasticsearch

       在部署Elasticsearch之前，请确保已部署好JDK环境。

       部署方式包括：使用yum、rpm、离线安装。离线安装部署过程如下：

       下载离线安装包

       解压并创建data和logs目录

       修改配置文件

       使用vim命令编辑elasticsearch.yml文件。

       JVM配置

       根据需求修改JVM属性，在elasticsearch-env文件中编辑。

       ES_JAVA_HOME配置

       确保ES可以正确识别Java环境。

       创建elk用户

       避免使用root用户启动ES，新建一个elk用户。

       启动elasticsearch

       执行启动命令，注意处理可能出现的报错并查看机器限制，修改限制后再次启动。

       浏览器验证

       切换elk用户启动ES后，在浏览器中输入[nodeip]:验证，显示集群健康检查结果表示成功。

       部署head插件

       通过GitHub下载Elasticsearch-head，给es用户elk目录权限，完成配置、安装和启动。

       索引管理

       通过Head插件可以查看和操作索引信息，包括关闭/开启索引，创建新索引等操作。

       数据管理

       使用RESTful接口管理索引

       PUT或POST方法创建索引，GET方法查询文档，PUT方法更新文档，DELETE方法删除文档。

       示例操作

       创建歌曲索引，查询、更新和删除歌曲信息。

       数据浏览

       使用Head插件查看索引、类型、字段和数据信息。

       部署logstash

       部署在被收集日志的服务器上，使用yum、rpm或离线包安装。

       部署kibana

       使用yum、rpm或离线安装kibana，配置环境变量，通过浏览器访问验证。

       实战演示elk-logstash收集nginx日志

       部署软件，配置启动文件和pipelines，访问生成日志，查看日志内容。

       实战演示filebeat采集多个日志

       使用filebeat采集并发送日志至ES或logstash，配置并启动服务，验证传输。

       部署metricbeats

       通过yum、rpm或源码包安装metricbeats，监控服务器性能数据。

       启用xpack安全验证、部署cerebro可视化界面

       生成证书、配置节点、启动集群，设置用户密码，通过cerebro界面进行可视化管理。

docker-compose快速部署elasticsearch-8.x集群+kibana

       在GitHub上，你可以找到我的资源库，那里详细整理了我欣宸的所有原创作品，包括配套的源码：github.com/zq/blog...

       本文将引导你通过docker-compose快速部署Elasticsearch 8.x版本的集群，并配合Kibana使用。特别提示，如果你使用的是Linux系统，请注意配置文件的编写。接下来，我们将一步步启动应用并进行验证，包括设置不带密码的集群和确保其正常运行。

       在学习的道路上，你并不孤单，欣宸原创的内容将全程陪伴你。让我们一起探索和实践，让技术助力你的成长。