기록's

개요

보안을 위해 프로그램용 IAM 사용자나 역할에 터치되는 권한에서 S3 삭제 권한을 제외합니다.

(프로그램에서 S3로 파일 삭제하는 처리가 있는 경우 S3 삭제 권한을 제한하지 않습니다.)

설정

버킷에 액세스할 정책 작성

예 : test-alpha

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Action": [
                "s3:ListAllMyBuckets"
            ],
            "Resource": [
                "*"
            ],
            "Effect": "Allow"
        },
        {
            "Action": [
                "s3:*"
            ],
            "Resource": [
                "arn:aws:s3:::test-alpha",
                "arn:aws:s3:::test-alpha/*"
            ],
            "Effect": "Allow"
        }
    ]
}

프로그램용 IAM 사용자 역할에 정책 어태치

예: 정책명 : deny_delete-s3

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Action": [
                "s3:Delete*"
            ],
            "Effect": "Deny",
            "Resource": "*"
        }
    ]
}

기록

Redis Cluster 내부 서버 간 통신 할 때 사용하는 포트 1700X (17001, 17002 등등) 오픈하여

서로 통신 및 정상으로 돌아간 적이 있었다.

EC2에서의 디스크 확장

Linux 디스트리뷰션 혹은 EC2의 가상화 형식에 따라 수행하는 내용이 다르다.

어떤 인스턴스 타입이 어느 가상화 형식에 대응하고 있는지는 → Amazon Linux AMI 인스턴스 타입 매트릭스

시작 중인 인스턴스가 어느 형식인지 알고 싶다면 Management 콘솔에서 인스턴스를 선택하고 Description 탭의 Virtualization 항목을 본다.

공통

볼륨 타입에 standard 이외를 사용하고 있는 경우는 재부팅하지 않고 디스크를 확장할 수 있게 되었습니다.

단, 변경 후 6시간이 지나지 않으면 같은 볼륨은 확장할 수 없다.

Standard 이외

AWS 매니지먼트 콘솔에서

1. 대상 볼륨을 선택하고

2. Modify Volume 변경하고 싶은 크기를 입력

3. in-use -optimizing (xx%) --> in-use - completed (100%)

Standard

AWS 매니지먼트 콘솔에서

1. 서버 셧다운

2. 스냅샷 생성

3. 볼륨을 작성 (정지한 서버와 같은 AZ로 작성할 것!)

4. 현재 볼륨을 디태치

5. 새로 작성한 볼륨을 어태치, 디바이스가 다르니 주의

1. CentOS 6 (paravirtual) /dev/sda
2. CentOS 6 (HVM) /dev/xvda
3. CentOS 7 (HVM) /dev/sda1

6. 서버 부팅

CentOS 7 / AmazonLinux2

CentOS 7의 AMI는 거의 HVM이므로 (적어도 여기에서 기동하고 있는 CentOS 7의 인스턴스는 모두 HVM)

PV냐 HVM이냐의 차이점을 신경 쓸 필요는 없어요

새로운 볼륨을 어태치하여 부팅한 타이밍에 이미 용량이 확장되어 있는 경우가 있습니다.

그런 경우는 아무것도 안해서 문제 없어요. (어떤 조건으로 그렇게 되는지는 미확인입니다. 볼륨 타입 또는 인스턴스 타입이 무엇인가였을 때라고 생각합니다.)

볼륨 어태치까지 완료하고 인스턴스를 기동한 뒤 아래 명령을 실행해 주세요.

2TB 이상의 확장은 반드시 gpt로 변환 후 실행할 것.

https://aws.amazon.com/ko/premiumsupport/knowledge-center/ec2-centos-convert-mbr-to-gpt/

https://docs.aws.amazon.com/ko_kr/AWSEC2/latest/UserGuide/recognize-expanded-volume-linux.html

GPT로 변환한 후에는 gdisk 설치 필요

yum install gdisk

export LANG="en_US.UTF-8" && growpart /dev/xvda 1
xfs_growfs /

※ 디스크 타입 스탠다드, gp2 모두 확장 가능합니다.

CentOS7계열(t3,m5 최신 인스턴스)

[root ~]# export LANG="en_US.UTF-8" && growpart /dev/nvme0n1 1
CHANGED: partition=1 start=2048 old: size=419428319 end=419430367 new: size=461371359,end=461373407
[root ~]# xfs_growfs /

CentOS6

CentOS 6의 인스턴스에는 PV와 HVM 두 종류가 있으며 그에 따라 작업이 다릅니다.

- PV

AWS 매니지먼트 콘솔에서 볼륨 확장을 실시하고, 이하의 순서를 서버에서 실시한다.

덧붙여 서비스 정지는 발생하지 않는다.

1. 디스크 용량이 확장되었는지 확인한다.

infra-misc-3 # lsblk
NAME MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
xvde 202:64   0  150G  0 disk /

2. 인식용량 확인

infra-misc-3 # df -h
Filesystem      Size  Used Avail Use% Mounted on
/dev/xvde       119G   90G   23G  81% /
tmpfs           7.4G     0  7.4G   0% /dev/shm

3. 확장 명령어를 실시한다.

infra-misc-3 # resize2fs /dev/xvde
resize2fs 1.41.12 (17-May-2010)
Filesystem at /dev/xvde is mounted on /; on-line resizing required
old desc_blocks = 8, new_desc_blocks = 10
Performing an on-line resize of /dev/xvde to 39321600 (4k) blocks.
The filesystem on /dev/xvde is now 39321600 blocks long.

4. 인식용량 확인

infra-misc-3 # df -h
Filesystem      Size  Used Avail Use% Mounted on
/dev/xvde       148G   90G   51G  65% /
tmpfs           7.4G     0  7.4G   0% /dev/shm

- HVM

HVM 형식의 가상화의 경우 GPT로 구성되어 있기 때문에 디스크 파티션부터 만지지 않으면 안 됩니다.

서버 재부팅이 필요합니다.

참고. Resize base XenServer 6.0 partition - Server Fault

1. 부팅하고 gdisk 명령어를 실행합니다.

 # gdisk /dev/xvda
GPT fdisk (gdisk) version 0.8.10
 
Partition table scan:
  MBR: protective
  BSD: not present
  APM: not present
  GPT: present
 
Found valid GPT with protective MBR; using GPT.
 
Command (? for help): x
 
Expert command (? for help): e
Relocating backup data structures to the end of the disk
 
Expert command (? for help): m
 
Command (? for help): d
Using 1
 
Command (? for help): n
Partition number (1-128, default 1):
First sector (34-125829086, default = 2048) or {+-}size{KMGTP}:
Last sector (2048-125829086, default = 125829086) or {+-}size{KMGTP}:
Current type is 'Linux filesystem'
Hex code or GUID (L to show codes, Enter = 8300):
Changed type of partition to 'Linux filesystem'
 
Command (? for help): w
 
Final checks complete. About to write GPT data. THIS WILL OVERWRITE EXISTING
PARTITIONS!!
 
Do you want to proceed? (Y/N): y
OK; writing new GUID partition table (GPT) to /dev/xvda.
Warning: The kernel is still using the old partition table.
The new table will be used at the next reboot.
The operation has completed successfully.

2. 서버를 재부팅하여 파일 시스템 리사이즈를 실행한다.

resize2fs /dev/xvda1

Ubuntu 14.0.4

대수는 적지만, 현시점에서 몇개의 Ubuntu 14.04 인스턴스가 존재함

HVM 형식으로 파일 시스템은 EXT4 입니다. parted 명령으로 파티션을 확장한 후 resize2fs를 사용하여 리사이즈합니다.

parted /dev/xvda
 
GNU Parted 2.3
Using /dev/xvda
Welcome to GNU Parted! Type 'help' to view a list of commands.
(parted) p
Model: Xen Virtual Block Device (xvd)
Disk /dev/xvda: 42.9GB
Sector size (logical/physical): 512B/512B
Partition Table: msdos
Number  Start   End     Size    Type     File system  Flags
 1      8225kB  16.1GB  16.1GB  primary  ext4         boot
(parted) resizepart 1
Warning: Partition /dev/xvda1 is being used. Are you sure you want to continue?
Yes/No? Yes
End?  [16.1GB]? 42.9GB
(parted) p
Model: Xen Virtual Block Device (xvd)
Disk /dev/xvda: 42.9GB
Sector size (logical/physical): 512B/512B
Partition Table: msdos
Number  Start   End     Size    Type     File system  Flags
 1      8225kB  42.9GB  42.9GB  primary  ext4         boot
(parted) q
Information: You may need to update /etc/fstab.

resize2fs /dev/xvda1

Amazon Linux 1

- 증가된 디스크 크기 확인

＃ df -h
＃ lsblk

- 파티션의 확장

＃ growpart /dev/xvda 1

- 파일 시스템 확장

＃ resize2fs /dev/xvda1
＃ df -h

Alibaba CentOS 7

- 증가된 디스크 크기 확인

＃ df -h
＃ lsblk

-growpart 설치

# yum install cloud-utils-growpart

- 파티션의 확장

＃ growpart /dev/vda 1

- 파일 시스템 확장

＃ resize2fs /dev/vda1
＃ df -h

Windows

https://docs.aws.amazon.com/ko_kr/AWSEC2/latest/WindowsGuide/recognize-expanded-volume-windows.html

MBR의 2TB 제한을 우회하기 위해 MBR에서 GPT로 변환하는 방법

https://aws.amazon.com/jp/premiumsupport/knowledge-center/ec2-centos-convert-mbr-to-gpt/

redash BI툴로 오픈소스이다.

bitnami 버전의 설치와 SMTP 세팅방법이다.

다운로드

wget https://bitnami.com/redirect/to/1471031/bitnami-redash-8.0.0-14-linux-x64-installer.run

권한 변경

chmod 755 bitnami-redash-8.0.0-14-linux-x64-installer.run

설치

/root/bitnami-redash-8.0.0-14-linux-x64-installer.run

[root ]# /root/bitnami-redash-8.0.0-14-linux-x64-installer.run
----------------------------------------------------------------------------
Welcome to the Bitnami Re:dash Stack Setup Wizard.

----------------------------------------------------------------------------
Select the components you want to install; clear the components you do not want
to install. Click Next when you are ready to continue.

Re:dash : Y (Cannot be edited)

Is the selection above correct? [Y/n]: y

----------------------------------------------------------------------------
Installation folder

Please, choose a folder to install Bitnami Re:dash Stack

Select a folder [/opt/redash-8.0.0-14]:

----------------------------------------------------------------------------
Create Admin account

Bitnami Re:dash Stack admin user creation

Your real name [User Name]: admin

Email Address [user@example.com]: test@naver.com

Password :
Please confirm your password :
Do you want to configure mail support? [y/N]: y

----------------------------------------------------------------------------
Configure SMTP Settings

This is required so your application can send notifications via email.

Default email provider:

[1] GMail
[2] Custom
Please choose an option [1] : 1

----------------------------------------------------------------------------
Configure SMTP Settings

This data is stored in the application configuration files and may be visible to
others. For this reason, it is recommended that you do not use your personal
account credentials.

GMail address []: test@gmail.com   ### <-- gmail 주소 입력 --> 

GMail password :   ### <-- Gmail 패스워드 입력 중요!! -->
Re-enter :
----------------------------------------------------------------------------
Web Server Port

Choose a port that is not currently in use, such as port 81.

Apache Web Server Port [81]: 18080

----------------------------------------------------------------------------
Hostname that will be used to configure Re:dash. If this value is incorrect, you
may be unable to access your Re:dash installation from other computers.

Hostname [123.123.123.123]: redash-0

----------------------------------------------------------------------------
Setup is now ready to begin installing Bitnami Re:dash Stack on your computer.

Do you want to continue? [Y/n]: y

----------------------------------------------------------------------------
Please wait while Setup installs Bitnami Re:dash Stack on your computer.

 Installing
 0% ______________ 50% ______________ 100%
 #########################################

----------------------------------------------------------------------------
Setup has finished installing Bitnami Re:dash Stack on your computer.

웹서버 학인

ps -ef | grep apache

Redash 시작 & 중지 스크립트

redash 시작 스크립트 
/opt/redash-8.0.0-14/ctlscript.sh start
재시작
/opt/redash-8.0.0-14/ctlscript.sh restart
중지
/opt/redash-8.0.0-14/ctlscript.sh stop

간단하게 OS에서 메일 테스트

mail test@gmail.com
subject : test
test 입니다

Ctrl+D 로 마지막으로 전송

파이썬을 통한 메일 테스트
python mailingTest.py

# -*- coding: utf-8 -*-
import smtplib
smtp = smtplib.SMTP('smtp.gmail.com', 587)
#smtp = smtplib.SMTP('smtp.googlemail.com', 465)
smtp.ehlo()
smtp.starttls()
smtp.login('test@gmail.com','password')
smtp.sendmail('test@gmail.com',
              'test2@gmail.com',
              'Subject: redash smtp test!')
smtp.quit()

apache port 변경

/opt/redash-8.0.0-14/apache2/conf/httpd.conf

Listen 80 -> 18080 포트 변경
ServerName syf-redash-0.cocone:18080 로 변경

환경변수 REDASH_HOST 에 포트 추가

vi ./apps/redash/htdocs/.env

Redash 설치 및 세팅 할 때 Docker Compose으로 사용

sudo yum remove docker docker-common docker-selinux docker-engine
sudo yum install -y yum-utils device-mapper-persistent-data lvm2
sudo yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
sudo yum -y install docker-ce docker-ce-cli containerd.io
sudo yum install -y --setopt=obsoletes=0 docker-ce docker-ce-selinux
sudo systemctl start docker && sudo systemctl enable docker
export VER="1.23.1"
sudo curl -L https://github.com/docker/compose/releases/download/${VER}/docker-compose-$(uname -s)-$(uname -m) -o /usr/local/bin/docker-compose
sudo chmod +x /usr/local/bin/docker-compose
sudo usermod -aG docker $USER
newgrp docker
 
sudo yum -y update
curl -sL https://rpm.nodesource.com/setup_12.x | sudo bash -
sudo yum install -y nodejs
 
git clone https://github.com/getredash/redash.git
cd redash
npm install
npm run build

<-- 처음 docker로 등록시 SQL 쿼리 이슈 발생할 경우
sqlalchemy.exe 오류 발생시 (테이블이 정상적으로 생성되지 않은 경우)
sqlalchemy.exc.ProgrammingError
ProgrammingError: (psycopg2.ProgrammingError) relation “organizations” does not exist
LINE 2: FROM organizations
^
[SQL: ‘SELECT organizations.updated_at AS organizations_updated_at, organizations.created_at AS organizations_created_at, organizations.id AS organizations_id, organizations.name AS organizations_name, organizations.slug AS organizations_slug, organizations.settings AS organizations_settings \nFROM organizations \nWHERE organizations.slug = %(slug_1)s \n LIMIT %(param_1)s’] [parameters: {‘slug_1’: ‘default’, ‘param_1’: 1}] (Background on this error at:)
-->


docker-compose -f docker-compose.yml run --rm server create_db
docker-compose -f docker-compose.yml up

docker-compose.yml

SMTP 메일링 서비스는 AWS SES 사용

# This configuration file is for the **development** setup.
# For a production example please refer to getredash/setup repository on GitHub.
version: "2.2"
x-redash-service: &redash-service
  build:
    context: .
    args:
      skip_frontend_build: "true"
  volumes:
    - .:/app
x-redash-environment: &redash-environment
  REDASH_LOG_LEVEL: "INFO"
  REDASH_REDIS_URL: "redis://redis:6379/0"
  REDASH_DATABASE_URL: "postgresql://postgres@postgres/postgres"
  REDASH_RATELIMIT_ENABLED: "false"
  #REDASH_MAIL_SERVER: "localhost"
  #REDASH_MAIL_PORT : "25"
  #REDASH_MAIL_USE_TLS : "false"
  #REDASH_MAIL_USE_SSL : "false"
  #REDASH_MAIL_USERNAME: "None"
  #REDASH_MAIL_PASSWORD : "None"
  #REDASH_MAIL_DEFAULT_SENDER: "test@naver.com"
  REDASH_MAIL_SERVER: "email-smtp.ap-northeast-2.amazonaws.com"
  REDASH_MAIL_PORT : "587"
  REDASH_MAIL_USE_TLS : "true"
  #REDASH_MAIL_USE_SSL : "true"
  REDASH_MAIL_USERNAME: "AWS Access key"
  REDASH_MAIL_PASSWORD : "AWS Secret key"
  REDASH_MAIL_DEFAULT_SENDER: "test@naver.com"
  REDASH_ENFORCE_CSRF: "true" 
  REDASH_HOST : "ec2-3-37.amazonaws.com:5000"
  #REDASH_MAIL_DEFAULT_SENDER: "redash@example.com"
  #REDASH_MAIL_SERVER: "email"
  #REDASH_ENFORCE_CSRF: "true"
services:
  server:
    <<: *redash-service
    command: dev_server
    depends_on:
      - postgres
      - redis
    ports:
      - "5000:5000"
      - "5678:5678"
    environment:
      <<: *redash-environment
      PYTHONUNBUFFERED: 0
  scheduler:
    <<: *redash-service
    command: dev_scheduler
    depends_on:
      - server
    environment:
      <<: *redash-environment
  worker:
    <<: *redash-service
    command: dev_worker
    depends_on:
      - server
    environment:
      <<: *redash-environment
      PYTHONUNBUFFERED: 0
  redis:
    image: redis:3-alpine
    restart: unless-stopped
  postgres:
    image: postgres:9.5-alpine
    # The following turns the DB into less durable, but gains significant performance improvements for the tests run (x3
    # improvement on my personal machine). We should consider moving this into a dedicated Docker Compose configuration for
    # tests.
    ports:
      - "15432:5432"
    command: "postgres -c fsync=off -c full_page_writes=off -c synchronous_commit=OFF"
    restart: unless-stopped
    environment:
      POSTGRES_HOST_AUTH_METHOD: "trust"
  email:
    image: djfarrelly/maildev
    ports:
      - "1080:80"
    restart: unless-stopped

AWS SES에서 초대할 메일 계정 확인 후 redash에서 다시 초대 필요

Amazon EC2 API Tools

Amazon EC2 API Tools

EC2의 API에서 AWS를 조작하는 명령 군. ZIP형식으로 제공되고 있으므로 다운로드하면 된다.

인스톨과 설정

설정 방법은 다음이 참고가 된다.

Mac에서 Amazon EC2 API Tools를 설정하고 서버 작업 엔지니어 블로그

CentOS 6

이하 misc-0의 서버의 infra사용자 용으로 설정한 순서.

OpenJDK설치

# yum install java-1.7.0-openjdk

/home/infra/. zshrc.mine작성 or추가

## for PATH(Amazon EC2 API Tools)
# PATH
export JAVA_HOME=/usr/lib/jvm/jre-1.7.0
export EC2_HOME=/opt/ec2-api-tools
export PATH=$PATH:$EC2_HOME/bin
# for cocone
export EC2_PRIVATE_KEY=~/.ssh/infra-nopass
export EC2_CERT=/etc/opt/aws/cert-EFVEAY3M6SP534EPHFN26RJMLOBGBHEY.pem
export AWS_ACCESS_KEY=hogehoge
export AWS_SECRET_KEY=hogefoobar

설정 읽기

# source ~/.zshrc

 Mac

다음은 Mac의 경우 설치 사례.

해동한 디렉토리(ec2-api-tools-<version>)을~/work/ec2-api-tools에 상징적 링크한다(버전 선택하기 쉬우므로)

다운로드하고 임의의 장소에 해동

. bashrc가. zshrc대로 이하를 추가

## for PATH(Amazon EC2 API Tools)
# PATH
export JAVA_HOME=/System/Library/Frameworks/JavaVM.framework/Home
export EC2_HOME=~/work/ec2-api-tools
export PATH=$PATH:$EC2_HOME/bin
export EC2_PRIVATE_KEY=~/.ssh/hoge
# for cocone
export EC2_CERT=~/work/test/dev/aws/cert-EFVEAY3M6SP534EPHFN26RJMLOBGBHEY.pem
export AWS_ACCESS_KEY=hogehoge
export AWS_SECRET_KEY=hogefoo

보조 툴

aws/aws-cli

zsh의 보완 옵션 등의 Python패키지

AWS의 관리

Python의 라이브러리 boto에서 API을 조작 함으로써 관리합니다.

ec2-api-tools의 셋업은 이쪽를 참조하십시오.

aws-cli

링크

• aws/aws-cli
• What Is the AWS Command Line Interface? - AWS Command Line Interface
• AWS Command Line Interface(awscli)를 쓰고 봤구-전 RX-7 타기 적당한 나날

설치

pip에서 설치할 수 있다.pip은 easy_install로 설치.CentOS6의 순서는 이하.

1. easy_install설치. aws-cli로 simplejson이 필요하고 거기서 python-devel이 필요한 게 모두 설치.# source ~/.zshrc
2. # yum install --enablerepo=epel python-setuptools python-devel gcc
3. pip설치# source ~/.zshrc
4. # easy_install pip
5. aws-cli의 설치
6. # pip install awscli

설정

이하의 설정은 사내 서버 구축 시에 환경의 설치한 것으로 기본적으로 불요.

zsh의 경우는 이하에서 보완이 유효하다.로그인마다 필요한. zshrc.mine등에 기술하는 것이 좋다.

# source /usr/bin/aws_zsh_completer.sh

설정 파일은 임의의 장소에 설치하고 실행 시 환경 변수에 세트 하기로 유효하다.다음은 aws_backup사용자의 설정.

/etc/awscli.conf로 저장

[default]

aws_access_key_id=AKIAJBHACT5123

aws_secret_access_key=+E38Z7f0pY/CxNECMT5gu123

region=ap-northeast-1

실행시에 다음과 같이 사용.

#

# aws s3 ls

       CreationTime Bucket

       ------------ ------

2013-09-17 11:03:13 naver-backup

2013-07-25 17:52:07 naver-s3test



. zshrc.mine에 다음을 지정한다.

# for aws-cli

source /usr/bin/aws_zsh_completer.sh

export AWS_CONFIG_FILE=/etc/awscli.conf

boto라이브러리

문서

• boto: A Python interface to Amazon Web Services
• 사용 가능한 어트리뷰트나 메소드는 소스를 보는 편이 빠른지도

설치

설치는 pip에서 실시합니다.

CentOS의 경우 pip은 EPEL의python-pip패키지를 설치합니다.

# yum install --enablerepo=epel -y python-pip

설치 후 pip명령을 사용할 수 있게 됩니다.

다만 패키지로 설치한 경우는 pip-python이 pip명령에 해당합니다.

pip이 쓰게 되면boto를 설치한다.

# pip-python install boto

paramiko라이브러리도 일각에서 필요하므로 설치한다.

# pip-python install paramiko

boto설정 파일을 준비합니다.파일은 다음 중 하나입니다.

• /etc/boto.cfg
• /.boto
• 사카이 변수BOTO_CONFIG파일 경로를 풀 패스로 설정한 대상 파일

내용은 다음.

[Credentials]

aws_access_key_id       = hoge

aws_secret_access_key   = hogehoge



[Boto]

ec2_region_name         = ap-northeast-1

ec2-region-endpoint     = ec2.ap-northeast-1.amazonaws.com

http_socket_timeout     = 5

#!/bin/sh
ap=`hostname`

for i in {1..20} ; do

    healthStatus=`curl -LI http://localhost:55001/health -o /dev/null -w '%{http_code}' -s`
    echo "[$ap] health status : $healthStatus"

    if [ "200" == "$healthStatus" ]; then
        break
    fi

    sleep 5
done