亚洲在线久爱草,狠狠天天香蕉网,天天搞日日干久草,伊人亚洲日本欧美

為了賬號安全,請及時綁定郵箱和手機立即綁定

日志壓縮資源消耗優化: Linux CGroup 的使用

標簽:
Linux

我们有一个系统,本身压力比较大,平常 CPU 占用率在 60% 左右。在整点之后的日志压缩时,CPU 占用率更是飙到来 80%,造成系统 Load 经常报警,烦不胜烦。

CPU 占用率监控


Load 监控

使用 top 命令查看后发现,gzip 压缩进程占用 CPU 资源过多,于是想到了利用 CGroup 来限制日志压缩进程的资源占用。具体脚本如下所示:

#!/bin/bash##log_gzip_cg_path="/cgroup/cpu/log_limit"if [ ! -d "$log_gzip_cg_path" ]; then
    echo "mkdir $log_gzip_cg_path"
    mkdir "$log_gzip_cg_path"else
    echo "$log_gzip_cg_path already exists"fiecho 20000 | sudo tee "$log_gzip_cg_path"/cpu.cfs_quota_uswhile truedo
    sleep 3s    # find the pid of grep program
    gz_pid=$(ps aux | grep gzip | grep -v find | grep -v grep | awk '{print $2}')    if [ -n "$gz_pid" ]; then
        # check if duplicate, then jump
        if [ "$gz_pid" = "$prev_pid" ]; then
            continue
        fi
        # else add gz_pid to cpu control group: log_gzip
        prev_pid=$gz_pid;        echo "gzip pid: "$gz_pid
        echo $gz_pid | sudo tee -a "$log_gzip_cg_path"/tasks    fidone

这个脚本首先在 /cgroup/cpu 下创建了一个组 log_limit ,用于设置提供给压缩进程的 CPU 占用率,这里限制 CPU 使用率上限为 20%。

由于日志压缩程序是由 crontab 定时执行的,进程 pid 是经常变化的,所以我们轮询检查 gzip 进程是否存在,若存在则将其 pid 放入 log_limit 组中。

优化前后的 CPU 使用率和 Load 监控对比,如下图所示。我们在11:50的时候开启优化,12点和13点的日志在压缩时,CPU占用率峰值明显低于9到11点时的峰值。Load 监控也是如此。


优化前后 CPU 使用率监控


优化前后系统 Load 监控

CGroup 用法可以看文章:DOCKER基础技术:LINUX CGROUP,通俗易懂。



作者:albon
链接:https://www.jianshu.com/p/7c9c1caa4397

點擊查看更多內容
TA 點贊

若覺得本文不錯,就分享一下吧!

評論

作者其他優質文章

正在加載中
  • 推薦
  • 評論
  • 收藏
  • 共同學習,寫下你的評論
感謝您的支持,我會繼續努力的~
掃碼打賞,你說多少就多少
贊賞金額會直接到老師賬戶
支付方式
打開微信掃一掃,即可進行掃碼打賞哦
今天注冊有機會得

100積分直接送

付費專欄免費學

大額優惠券免費領

立即參與 放棄機會
微信客服

購課補貼
聯系客服咨詢優惠詳情

幫助反饋 APP下載

慕課網APP
您的移動學習伙伴

公眾號

掃描二維碼
關注慕課網微信公眾號

舉報

0/150
提交
取消