-
Logstash-Filter配置
查看全部 -
Logstash的輸入和輸出配置
查看全部 -
處理流程
input：可以從file 、Redis 、beats、kafka等讀取數據
filter ：gork(表達式，簡單理解為基于正則的，可以將非格式化數據轉化成格式化數據的語法)、mutate（可以對結構化的數據的字段進行增刪改查）、drop、date
output ：可以向stdout 、elasticsearch 、Redis、kafka等中輸出
查看全部 -
簡介 data shipper （不是輕量級的，會比beats占用更多的資源，但是功能強大）
ETL的概念：Extract 對數據進行提取、Transform 轉換、Load 對外的輸出
logstash 是一個開源的，服務端的數據處理流，可以同時從多個數據源提取數據、轉換數據、最后把數據放到你要存儲的地方
查看全部 -
packetbeat
查看全部 -
Packbeat運行命令
查看全部 -
packetbeat.interfaces.device: 指定網卡，lo0:表示是本地網卡localhost，在linux上，你可以指定為any，表示所有的
packetbeat.protocols.http: 表示抓取http協議包
send_request:true 表示記錄下http的request內容，默認為false
include_body_for: 設置抓取的格式
output.console:
? ? ? pretty: true? ?beat的輸出配置
查看全部 -
Packetbeat簡介
查看全部 -
使用Filebeat存儲nginx日志：
1.修改filebeat的配置，nginx.yml，修改內容如下：
-?input_tyep:?stdin output.console: ????pretty:?true
2.使用Filebeat收集nginx日志，命令：
head -n 2 ~/Downloads/nginx_logs/nginx.log|./filebeat -e -c nginx.yml
3.執行后效果
查看全部 -
Filebeat Module?
對于社區常見需求進行配置封裝增加易用性 ：
例如 Nginx 、Apache 、 MySQL 的日志
封裝內容：
filebeat.yml配置、ingest node pipeline 配置、kibana dashboard
查看全部 -
Filebeat +Elasticserch Ingest Node
查看全部 -
Filebeat Filter配置
查看全部 -
filebeat filter 的處理能力
input 時處理：
include_lines : 達到某些條件的時候，讀入這一行
exclude_lines ：達到某些條件的時候，不讀入這一行
exclude_files：當文件名符合某些條件的時候，不讀取這個文件
output 前處理 --Processor
drop_event ：讀取到某一條，滿足了某個條件，不輸出
drop_fields ：讀取到某一條，滿足了某個條件，不輸出這個字段
Decode_json_fields ：把這條數據里面符合json格式的字段，去做json的解析
Include_fields ：加入一些字段，或者是只想取數據里面的某一些字段
查看全部 -
Filebeat 輸出配置
查看全部 -
Filebeat配置
查看全部
舉報