log 삭제용으로 tmpwatch를 사용 해 보았습니다.

tmpwatch의 install

$ sudo yum install tmpwatch

cron 설정

$ crontab -l
0 1 * * * /home/ansible/bin/del_scouter_data.sh

del_scouter_data.sh

#!/bin/sh
 
set -Ceu
 
tmpwatch -m 8640 /home/ansible/scouter/scouter/server/database

scouter의 disk를 늘렸으므로 약 1년, 8640시간까지 log를 삭제하지 않도록 변경

Scouter-Slack Noti 플러그 인 추가

• 개요: Scouter에서 지정한 수준의 오류가 발생하면 Slack에 통보시키는 플러그 인
• 순서:
  • Scouter-Slack플러그 인 파일을 Scouter서버 lib폴더에 카피
  • 플러그 인 파일:scouter-plugin-server-alert-slack.jar

cp ~/tmp/scouter-plugin-server-alert-slack.jar /[scouter home]/server/lib/

• 아래의 의존 라이브러리를 Scouter서버 lib폴더에 카피
  • httpclient-4.5.2.jar  link
  • httpcore-4.4.4.jar   link
  • gson-2.6.2.jar        link
  • commons-codec-1.9.jar        link
  • commons-logging-1.2.jar      link

• cp ~/tmp/lib/*.jar /[scouter home]/server/lib/

• /[scouter home]/server/conf/scouter.conf에 Slack 설정 추가

# External Interface (Slack)
ext_plugin_slack_send_alert=true
ext_plugin_slack_debug=true
ext_plugin_slack_level=2            # log level (0 : INFO, 1 : WARN, 2 : ERROR, 3 : FATAL) - default 0
ext_plugin_slack_webhook_url=https://hooks.slack.com/services/T1D6ZTXGD/1234/123
ext_plugin_slack_channel=#alert         # #Channel or @user_id
ext_plugin_slack_botName=scouter
ext_plugin_slack_icon_emoji=:computer:
ext_plugin_slack_icon_url=https://www.test.com/header_logo.png
ext_plugin_slack_xlog_enabled=true
 
ext_plugin_elapsed_time_threshold=2500      # 응답시간 알림 기준치(ms)
ext_plugin_gc_time_threshold=5000           # GC Time의 알림 기준치(ms)
ext_plugin_thread_count_threshold=300       # Thread Count 알림 기준값

• 참고 페이지：https://github.com/scouter-project/scouter-plugin-server-alert-slack
• Scouter 서버 재부팅
• 정상 확인: /[scouter home] /server/logs/server-[yyymmdd] .log에서 아래와 같은 로그가 있으면 정상

20170919 14:01:57 Scouter Server Version 1.7.3 2017-08-19 14:14 GMT
  ____                  _
 / ___|  ___ ___  _   _| |_ ___ _ __
 \___ \ / __/   \| | | | __/ _ \ '__|
  ___) | (_| (+) | |_| | ||  __/ |
 |____/ \___\___/ \__,_|\__\___|_|
 Open Source S/W Performance Monitoring
 Scouter version 1.7.3
20170919 14:01:58 Load Account Group File
20170919 14:01:58 Load Account File
20170919 14:01:58 Load Account Group File
20170919 14:01:58 udp listen 0.0.0.0:6100
20170919 14:01:58       udp_host=0.0.0.0
20170919 14:01:58       udp_port=6100
20170919 14:01:58       udp_buffer=65535
20170919 14:01:58       udp_so_rcvbuf=4194304
20170919 14:01:58 Load Account File
20170919 14:01:58       tcp_port=6100
20170919 14:01:58       cp_agent_so_timeout=60000
20170919 14:01:58       cp_client_so_timeout=8000
20170919 14:01:58 [BuiltInPlugin]scouter.plugin.server.alert.slack.SlackPlugin=>counter
20170919 14:01:58 [BuiltInPlugin]scouter.plugin.server.alert.slack.SlackPlugin=>object
20170919 14:01:58 [BuiltInPlugin]scouter.plugin.server.alert.slack.SlackPlugin=>alert
20170919 14:01:58 [BuiltInPlugin]scouter.plugin.server.alert.slack.SlackPlugin=>xlog

Scouter Agent 설정

• Scouter의 최신 버전을 다운로드:https://github.com/scouter-project/scouter/releases(서버, Agent파일이 함께 다운로드.)
• 적절한 곳에 압축 풀기
• conf파일을 편집:[scouter agent home]/conf/scouter.conf

trace_interservice_enabled=true
net_collector_ip=test서버             # Scouter 서버(Collector 서버)의 ip(dns)
obj_name=apcoin_9090
trace_http_client_ip_header_key=X-Real-IP
hook_method_patterns=jp.test.billing.*.*,org.springframework.data.redis.core.RedisTemplate.opsFor*        # Profile 페이지에서 보여주는 패키지
hook_method_exclude_patterns=jp.test.billing.common.*.*                                                   # Profile 페이지에서 보이지 않는 패키지

참고 페이지 : https://github.com/scouter-project/scouter/blob/master/scouter.document/main/Configuration.md

주의

Scouter 서버와 Agent, Scouter 클라이언트의 버전이 맞지 않을 경우 Profile 페이지의 상세 내용이 보이지 않을 수 있으므로 최신판으로 갱신 시 서버, Agent, 클라이언트를 모두 하시는 것을 추천

새로운 클라이언트를 만드는 방법

1. 기존 클라이언트를 복사하고 새로운 클라이언트 이름에 오른쪽 버튼을 클릭하여

3. "패키지 내용 표시"를 선택

4. Contents/Eclipse/scouter.ini를 편집

5. @user.home/.scouter_new_real 등 새로운 환경의 이름으로 함

-startup
../Eclipse/plugins/org.eclipse.equinox.launcher_1.3.201.v20161025-1711.jar
--launcher.library
../Eclipse/plugins/org.eclipse.equinox.launcher.cocoa.macosx.x86_64_1.1.401.v20161122-1740
-data
@user.home/.scouter_new_real
-vmargs
-Xms128m
-Xmx768m
-XX:+UseG1GC
-Dosgi.requiredJavaVersion=1.8
-XstartOnFirstThread
-Dorg.eclipse.swt.internal.carbon.smallFonts

6. 클라이언트를 시작하면 .scouter_new_real 파일이 사용자 홈 디렉토리에 생성됨

Scouter구성

• Scouter서버:Collector서버
• Agent：java、host

Scouter서버 설치/개시

• 최신판을 다운로드:https://github.com/scouter-project/scouter/releases(서버, Agent파일이 함께 다운로드.)

• 압축 파일 해제

  

• 시작/정지

/[scouter home]/server/startup.sh
/[scouter home]/server/stop.sh

Scouter 서버 업그레이드

• Scouter서버 최신판을 다운로드:https://github.com/scouter-project/scouter/releases(서버, Agent파일이 함께 다운로드)
• 기존 서버의 conf파일을 백업

cp /[scouter home]/server/conf/scouter.conf ~/tmp/backup/

• 최신판을 기존 Path에 덮어쓰기
• 백업한 conf파일을 원위치

cp ~/tmp/backup/scouter.conf /[scouter home]/server/conf/

• Scouter서버 재기동

scouter가 설치된 서버의 BurstBalance가 줄어들고 있을 때 실행

scouter 데이터베이스 삭제 및 다시 시작

# 서버 접속
  
 
[test server]$ /home/test/scouter2/server/removeScouterDatabase.sh

removeScouterDatabase.sh

#!/bin/sh
source ~/.bash_profile
 
cd /home/test/scouter2/server/
 
pid=`ps -ef | grep java | grep "scouter-server-boot.jar" | grep -v 'grep' | awk '{print $2}'`
 
 
if [ "$pid" = '' ]; then
  echo "No process"
else
  kill -9 $pid
fi
 
rm -rf /home/test/scouter2/server/database/*
 
sleep 10
 
./startup.sh

startup.sh

#!/usr/bin/env bash

#LDAP_KEY="ESR-BIGBROTHER-SPARTY"
#LDAP_KEY="ESR-BIGBROTHER-VITAMIN"
#LDAP_KEY="STAFFALL" # this doesn't work

nohup java -Xmx1024m -classpath ./scouter-server-boot.jar scouter.boot.Boot ./lib > nohup.out &

#nohup java -Xmx1024m -classpath ./boot.jar scouter.boot.Boot ./lib > nohup.out &
sleep 1
tail -100 nohup.out

{Scouter install directory}  /server/conf/scouter.conf

Xlog 보관기간, Purge 설정
# 로그 보존 기간

log_keep_days=90

# Disk 사용률이 80%를 넘으면 오래된 로그를 삭제한다

mgr_purge_disk_usage_pct=80

Scouter Agent (AP 서버)

{Scouter install directory}  /agent.java/conf/scouter.conf

Xlog Sampling 설정 - 4단계로 나누어 Xlog의 Profile 로그를 Sampling 해서 남길 수 있다.
Sampling 의 %는, Step 마다 설정할 수 있습니다.
Sampling 설정해도, Xlog의 chart에는 도트가 표시됩니다.(Profile 로그만 Sampling됩니다.)
이 서비스는 0.3초 미만의 PRC의 Xlog Profile 로그는 Disk에 남기지 않는 설정을 하여 AP 전체를 Scouter로 모니터링합니다

##### [XLog Sampling] #####
xlog_sampling_enabled=true
xlog_sampling_only_profile=true
xlog_sampling_step1_ms=300
xlog_sampling_step1_rate_pct=0
xlog_sampling_step2_ms=1000
xlog_sampling_step2_rate_pct=100
xlog_sampling_step3_ms=1000
xlog_sampling_step3_rate_pct=100
xlog_sampling_over_rate_pct=100

히스토리

해당 설정들보다 Scouter Server에 어딘가의 세션이 가득 남아서 그것이 Scouter Server 로그를 반복적으로 참조하다 보니 Read가 증가하고 폭주했던 기억이 있네요.

아까 xlog에 기록하는 횟수를 줄여봤어요.
30msec 이하로 설정
그래도 iowait이 내려가지 않았어요