logstash 只能同步增加的數據,不能同步更新和刪除的數據
按照老師配置mysql.conf,啟動后發現可以全部同步mysql表數據,但是之后mysql做更新和刪除操作,并沒有同步到es,請問是哪里的問題?謝謝回復!
input?{? ????jdbc?{ ????????jdbc_driver_library?=>?"D:\softwares\study\ES\logstash-6.5.3\mysql-connector-java-8.0.18.jar" ????????jdbc_driver_class?=>?"com.mysql.jdbc.Driver" ????????jdbc_connection_string?=>?"jdbc:mysql://localhost:3306/dev?useUnicode=true&serverTimezone=GMT&useSSL=false&characterEncoding=utf8" ????????jdbc_user?=>?"root" ????????jdbc_password?=>?"123abc" ????????schedule?=>?"*?*?*?*?*" ????????clean_run?=>?true ????????statement?=>?"select?*?from?user?where?update_time?>?:sql_last_value?and?update_time?<?now()?ORDER?BY?update_time?desc;" ????????} } output?{?? ????elasticsearch?{???? ????????hosts?=>?["http://localhost:9200"] ????????index?=>?"eslog" ????????document_id?=>?"%{id}"???? ????????#index?=>?"%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}"???? ????????#user?=>?"elastic"???? ????????#password?=>?"changeme"?? ????} }
2021-06-09
是必須要有update_time這個字段才能同步更新嗎 其他能同步更新不
2020-09-22
會更新的。主要是sql語句要修改下:
SELECT * FROM?blog?WHERE?update_time > date_add(:sql_last_value, interval 8 hour) AND update_time<date_add(NOW(), interval 8 hour) ORDER BY?update_time desc
2020-04-09
會更新的,logstash是按每分鐘更新, 如果你就直接修改數據庫 沒有把時間設置大于 logstash同步時間,就會出現不同步情況!