logstash 只能同步增加的數據,不能同步更新和刪除的數據
按照老師配置mysql.conf,啟動后發現可以全部同步mysql表數據,但是之后mysql做更新和刪除操作,并沒有同步到es,請問是哪里的問題?謝謝回復!
input?{?
????jdbc?{
????????jdbc_driver_library?=>?"D:\softwares\study\ES\logstash-6.5.3\mysql-connector-java-8.0.18.jar"
????????jdbc_driver_class?=>?"com.mysql.jdbc.Driver"
????????jdbc_connection_string?=>?"jdbc:mysql://localhost:3306/dev?useUnicode=true&serverTimezone=GMT&useSSL=false&characterEncoding=utf8"
????????jdbc_user?=>?"root"
????????jdbc_password?=>?"123abc"
????????schedule?=>?"*?*?*?*?*"
????????clean_run?=>?true
????????statement?=>?"select?*?from?user?where?update_time?>?:sql_last_value?and?update_time?<?now()?ORDER?BY?update_time?desc;"
????????}
}
output?{??
????elasticsearch?{????
????????hosts?=>?["http://localhost:9200"]
????????index?=>?"eslog"
????????document_id?=>?"%{id}"????
????????#index?=>?"%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}"????
????????#user?=>?"elastic"????
????????#password?=>?"changeme"??
????}
}
2021-06-09
是必須要有update_time這個字段才能同步更新嗎 其他能同步更新不
2020-09-22
會更新的。主要是sql語句要修改下:
SELECT * FROM?blog?WHERE?update_time > date_add(:sql_last_value, interval 8 hour) AND update_time<date_add(NOW(), interval 8 hour) ORDER BY?update_time desc
2020-04-09
會更新的,logstash是按每分鐘更新, 如果你就直接修改數據庫 沒有把時間設置大于 logstash同步時間,就會出現不同步情況!