博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
在Windows平台下Elasticsearch同步MySql数据库
阅读量:4988 次
发布时间:2019-06-12

本文共 1879 字,大约阅读时间需要 6 分钟。

 

我是用ElasticSearch的版本是

mysql的数据是5.7的,其实这个关系不大。

logstash版本是

ElasticSearch的插件  ,现在加压好了,直接放在ElasticSearch目录下面就好了,这不强制。

这个是mysql的数据库连接驱动程序 

因为使用了ElasticSearch这个插件所以还需要安装,因为需要用的npm

 

 

 

1:先启动ElasticSearch 

安装ElasticSearch的插件,直接双击/bin/ElasticSearch.bat ,启动成功后:http://127.0.0.1:9200/

 

 

2:安装,启动ElasticSearch插件

运行head需要借助grunt命令,因此需要安装grunt。所以先要安装nodejs,双加exe就可以了。然后cmd命令,node -v,如果出现版本号,说明安装成功。

然后安装grunt,npm install -g grunt  -cli ,如果在不行,就cd到nodejs的安装目录下执行这个命令。

grunt安装好了之后,在cd到你解压好的这个目录下面(和bin同级的那个目录)执行npm install,这里如果失败了请参考:https://blog.csdn.net/qq3401247010/article/details/78742524

启动 cd到你解压的head目录下,bin同级,执行npm run start ,执行成功后 :http://localhost:9100/

 

3,首先在logstash目录下面建一个lib,把你现在的mysql的连接驱动jar包放进去

建一个sql文件,我的是建jdbc.sql,里面是你要同步的数据表的sql语句,

SELECT

id,
sys_log_level,
project_name,
function_name,
sys_log_msg,
create_time
FROM
log_sys
ORDER BY
create_time DESC

 

这些东西都准备好了之后,修改logstash的配置文件,不是config文件夹下面的那个。上面的图中看得到就是logstash.conf

input {	tcp {		port=>5549	}	jdbc{		jdbc_connection_string => "jdbc:mysql://192.168.2.104:33060/ygsc_scm?useSSL=false&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull"		jdbc_user => "tt"		jdbc_password => "2344WsL1JrUntER2Zns32WmGwr"		jdbc_driver_library => "lib\mysql-connector-java-5.1.18-bin.jar"		jdbc_driver_class => "com.mysql.jdbc.Driver"		jdbc_paging_enabled => "true"		jdbc_page_size => "50000"		statement_filepath => "jdbc.sql"		schedule => "* * * * *"		type => "jdbc"	}}output {	elasticsearch {		index => "testdb"		document_type => "%{type}"		hosts => ["localhost:9200"] 	}}

  

 这些logstash的准备工作都做好了之后,修改logstash 文件夹下Gemfile文件,将source改为:https://gems.ruby-china.org,然后进入logstash的bin目录,执行logstash-plugin install logstash-input-jdbc 这里如果有问题,请参考:https://blog.csdn.net/yowrhihoil/article/details/79568743,安装插件然后进入bin目录下执行logstash.bat -f  ogstash.conf,就可以启动起来了。

 

后面会把这启动项目做成服务的那种。就不用每次点击bat或者输入命令来启动了。

 

转载于:https://www.cnblogs.com/yangkangIT/p/9318949.html

你可能感兴趣的文章
C - 继续畅通工程 最小生成树
查看>>
centos7 更换jdk版本
查看>>
Android开发训练之第五章第七节——Transmitting Network Data Using Volley
查看>>
Java基础知识强化之集合框架笔记01:集合的由来与数组的区别
查看>>
Java基础知识强化之IO流笔记71:NIO之 NIO的(New IO流)介绍
查看>>
Android(java)学习笔记31:泛型高级之通配符
查看>>
Eclipse 修改workspace默认的字符集为 utf-8
查看>>
laravel artisan 工具心得
查看>>
软工作业 4:结对项目之词频统计——基本功能
查看>>
linux vim vi编辑时撤销输入操作
查看>>
java utils
查看>>
maven打包
查看>>
CSS
查看>>
初学springboot, 如何快速使用maven搭建springboot项目呢
查看>>
POJ 3380 最大流
查看>>
iOS学习之 plist文件的读写
查看>>
写的一些推广方法 拿出来分享下
查看>>
【公告】CSDN个人空间将于2014年4月20日全新改版上线
查看>>
C#:MVC打印PDF文件
查看>>
在学习mybatis中的接口是发生错误Type interface com.souvi.ibatis.xxxMapper is not known to the MapperRegistry...
查看>>