티스토리

KK_Ryong

검색하기

블로그 홈

KK_Ryong

kk-young.tistory.com/m

까먹을까봐

구독자: 0

방명록 방문하기

주요 글 목록

KAFKA // RDS oracle>postgre kafka docker-compose.yml (test용) services: kafka: image: bitnami/kafka:3.7.0 container_name: KafkaContainer ports: - '9092:9092' # Kafka 컨테이너 내부에서 9092 포트로 수신 environment: # 기본 설정 - KAFKA_AUTO_CREATE_TOPICS_ENABLE=true - KAFKA_BROKER_ID=0 - KAFKA_NODE_ID=0 # KRaft 단일 노드 설정 - KAFKA_PROCESS_ROLES=controller,broker - KAFKA_CONTROLLER_QUORUM_VOTERS=0@kafka:9093 .. 공감수 0 댓글수 0 2025. 3. 12.
AWS Log EC2 to S3 .sh (이전 30일 치) 기존에 있는 로그 30일치 업로드 시 #!/bin/sh for day in {30..1}; do BASE_DT=$(date -d "$day days ago" +%Y-%m-%d) SOURCE_DIR=/app/server/was-tomcat-9.0.83/logs/ S3_BUCKET=hm-shopby-logs S3_PATH=s3://$S3_BUCKET/was-access-log/year=${BASE_DT:0:4}/month=${BASE_DT:5:2}/day=${BASE_DT:8:2} UPLOAD_LOG=/app/aws-cli/util/log/was-access-log.$BASE_DT.log INST_ID=$(ec2-metadata -i | awk -F' ' '{pr.. 공감수 0 댓글수 0 2024. 11. 1.
AWS Log EC2 to S3 .sh #! /bin/sh BASE_DT=`date +%Y%m%d -d -1days` SOURCE_DIR=/app/server/was-tomcat-9.0.83/log/ S3_BUCKET=hm-shopby-logs S3_PATH=s3://$S3_BUCKET/service-log/year=${BASE_DT:0:4}/month=${BASE_DT:4:2}/day=${BASE_DT:6:2} UPLOAD_LOG=/app/aws-cli/util/log/service.log.$BASE_DT INST_ID=`ec2-metadata -i | awk -F' ' '{print $2}'` S3_FILE_LIST=() S3_LS_RESULT=`/app/aws-cli/bin/aws s3 ls $S3_PATH/$INST_ID --profi.. 공감수 0 댓글수 1 2024. 10. 28.
Scouter 설치 및 Slack 연동 server java 11 버전 기준 sigar 종속성 때문에 2.20 최신 버전으로 설치 할 것 1.server 설치 (java 11) 2.agent 설치 (java 17) ■■■■■■■scouter 서버용■■■■■■■■ wget https://github.com/scouter-project/scouter/releases/download/v2.20.0/scouter-all-2.20.0.tar.gztar -xvf scouter-all-2.15.0.tar.gz cd scouter ---------------------------------------------- vi startup.sh #!/usr/bin/env bash nohup java -Xmx768m -classpath ./scouter-serve.. 공감수 0 댓글수 0 2024. 9. 9.
S3 비용 최적화 검색 GB 당 비용이 스토리지 클래스 및 수명주기 적용자주 접근 하지 않는 버킷 폴더에 지능형 계층화로 변경1달 이상 접근 하지 않을 자료의 경우는 Standard-IA 로 전환 버킷 - 관리 - 수명 주기에서 설정 가능 / (폴더 및 단일로 할 수 있지만 사본이 생기므로 수명 주기가 깔끔)지능형 계층화 - 가장 비용 절감에 효과적인 티어Standard-IA - 접근이 자주 있진 않지만 빠르게 접근 할 떄 사용 / 스토리지 및 검색 GB 당 비용 청구One Zone-IA - 단일 AZ에 저장하여 Standard-IA 보다 20% 저렴 / 다른 클래스는 최소 3개 AZGlacier - 장기적으로 접근 하지 않는 클래스류 공감수 0 댓글수 0 2024. 7. 19.
Redis용 Amazon MemoryDB 구성 채팅 서버에서 활용 할 redis 구성 중 채팅 내용을 가지고 있어야 할 이슈가 있었는데 기존 redis 는 휘발성이여서 Hot Data가 필요하여 AWS 서비스인 Redis용 Amazon MemoryDB 사용 ■ Redis용 Amazon MemoryDB 이동 ■ 클러스터 생성 전에 보안그룹 | 서브넷 그룹 생성 (Private) | 파라미터 그룹도 생성 ■ 새 클러스터 생성 - 이름,서브넷,클러스터 설정 후 다음으로 ■ 보안그룹 적용 후 전송 중 암호화에서 암호화 없음으로 (TLS로 한뒤 ACL 설정을 제대로 해주지 않으면 소스에서 접속 자체가 되지 않음) (ACL 적용 되면 관리 포인트가 늘어남으로 접근제어는 보안 그룹으로 해주고 암호화 필요 시 소스에서 할 것) ■ 스냅샷, 유지 관리는 필요 시 설.. 공감수 0 댓글수 0 2024. 3. 7.
ActiveMQ 설치 ■■■ java 설치 yum install java-17-amazon-corretto java -version ■■■ActiveMQ 설치 mkdir activemq wget http://archive.apache.org/dist/activemq/6.0.1/apache-activemq-6.0.1-bin.tar.gz tar -xvf apache-activemq-6.0.1-bin.tar.gz ■■■ActiveMQ service 파일 생성 sudo vi /etc/systemd/system/activemq.service ■내용 [Unit] Description=Apache ActiveMQ After=network.target [Service] Type=forking User=ec2-user Group=ec2-us.. 공감수 0 댓글수 0 2024. 1. 30.
thumbor docker yml 기존 사용 방법 시 OS,pytion 업데이트로 인해 실행이 되지 않아 docker 로 변경 version: '2' services: thumbor: container_name: puppycat-dev-shop-thumbor image: apsl/thumbor:latest #build: thumbor volumes: - /home/ec2-user/docker/thumbor/data:/data - /home/ec2-user/docker/thumbor/logs:/logs ports: - "8000:8000" # thumbor port environment: - DETECTORS=['thumbor.detectors.feature_detector','thumbor.detectors.face_detector'] .. 공감수 0 댓글수 0 2024. 1. 15.
ci4 설정 #아파치 설정 sudo yum install httpd -y vi /etc/httpd/conf.modules.d/00-mpm.conf LoadModule mpm_worker_module modules/mod_mpm_worker.so sudo systemctl start httpd sudo systemctl enable httpd apachectl -V | grep MPM (worker 인지 확인) (굳이 워커로 변경 안해도 됨) #php 설정 sudo amazon-linux-extras install php7.4 -y sudo amazon-linux-extras enable php7.4 -y sudo yum install php-cli php-common php-gd php-mbstring php-m.. 공감수 0 댓글수 0 2023. 11. 29.
Mysql_MSR sudo su wget https://dev.mysql.com/get/mysql80-community-release-el7-11.noarch.rpm rpm -i mysql80-community-release-el7-11.noarch.rpm yum install mysql-server -y vi /etc/my.cnf (아래 내용 추가) systemctl start mysqld grep root /var/log/mysqld.log (초기 비번 확인) mysql -u root -p ALTER user 'root'@'localhost' IDENTIFIED WITH mysql_native_password BY '변경 할 비번'; CREATE USER 'total_main'@'%' IDENTIFIED BY '변경 .. 공감수 1 댓글수 1 2023. 11. 21.
(Terraform)ECS Cluster,service - CodeDeploy 코드로 생성 해야 code deploy 연결 가능 resource "aws_ecs_cluster" "prd-admin-ecs-cluster" { name = "prd-admin" setting { name = "containerInsights" value = "enabled" } } resource "aws_ecs_service" "prd-admin-service" { name = "prd-admin" cluster = aws_ecs_cluster.prd-admin-ecs-cluster.id task_definition = aws_ecs_task_definition.prd-admin-task.arn deployment_minimum_healthy_percent = 50 scheduling_strategy.. 공감수 0 댓글수 0 2023. 10. 18.
AWS EC2 blue/green Deploy (신규 서비스 생성) AWS 정책 변경으로 인해 콘솔에서 블루/그린 배포로 생성 할 수 없게 되었다 클러스터 까지는 생성 하고 서비스 단에서 aws cli + code deploy 각각 활용 하여 블루/그린화 시켜야 한다 기존 클러스터와 태스크 생성은 동일 하나 서비스 생성은 아래와 같이 하면 된다 ecs.json 파일로 저장 (D:\) { "cluster": "walk-stg-cron", "serviceName": "walk-stg-cron", "taskDefinition": "walk-stg-cron", "loadBalancers": [ { "targetGroupArn": "타겟그룹 ARN", "containerName": "WALK-CRON", "containerPort": 8080 } ], "launchType": ".. 공감수 0 댓글수 0 2023. 10. 12.
ECS blue/green | jenkins ECS 클러스터 생성 후 서비스 생성 시 좌측 상단에 새로운 ECS 환경 체크 해제 후 생성 해줘야 블루그린 옵션 선택 가능 (서비스 생성 시 deploy 생성 가능 하며 따로 deploy 생성 후 연결 해줘도 됨) ■ESC update■ 기존 ecs 서비스 강제 업데이트 시 deploy 에 물려있어 ecs 업데이트 명령어가 먹히지 않는다 deploy 업데이트 해주는 방식으로 변경 S3 appspec.yaml 생성 해서 넣어두기 (아래는 ecs 블루그린으로 생성 하면 자동으로 deploy 에 생성 되는 값을 S3에 위치 { "version": 1, "Resources": [ { "TargetService": { "Type": "AWS::ECS::Service", "Properties": { "TaskDe.. 공감수 0 댓글수 0 2023. 9. 18.
jenkins ssh 명령어 sudo chown ec2-user:ec2-user /home/ec2-user/docker/jenkins/data/workspace/project-stg-push/build/libs/*.jar rm -fr /home/ec2-user/docker/project_push/version/*.jar rm -fr /home/ec2-user/docker/project_push/PUSH.jar sudo mv -bf /home/ec2-user/docker/jenkins/data/workspace/project-stg-push/build/libs/* /home/ec2-user/docker/project_push/version cp -bf /home/ec2-user/docker/project_push/version/*.j.. 공감수 0 댓글수 0 2023. 9. 5.
Matrix Synapse RDS postgre 연동 rds postgres 생성 후 내부로 들어가서 DB 생성 해줘야 함 (collate와ctype 이 기본 en_US.UTF-8 에서 C 여야 적용 가능) psql --host=puppycat-dev-postgre.c7s6rq4uu5bd.ap-northeast-2.rds.amazonaws.com --port=5432 --username=uxplus 접속하여 db 생성 CREATE DATABASE [db이름] encoding=UTF8 LC_Collate='C' LC_CTYPE='C' TEMPLATE template0 owner [계정]; homeserver.yaml 수정 #기존 DB 주석 처리 #database: # name: sqlite3 # args: # database: /data/homeserver... 공감수 0 댓글수 0 2023. 9. 4.
terraform code(sg) #보안 그룹 생성------------------------------ resource "aws_security_group" "project-stg-api-alb-sg" { vpc_id = aws_vpc.project-stg-vpc.id name = "project-stg-api-alb-sg" tags = { Name = "project-stg-api-alb-sg" } ingress { protocol = "tcp" from_port = 80 to_port = 80 cidr_blocks = ["0.0.0.0/0"] description = "http" } ingress { protocol = "tcp" from_port = 443 to_port = 443 cidr_blocks = ["0.0.0.0/0"].. 공감수 0 댓글수 0 2023. 9. 4.
terraform code(route53) resource "aws_route53_zone" "stg-public" { name = "stg.co.kr" #호스팅 영역 이름 comment = "project_stg" tags = { Name = "stg.co.kr" } } #ALB 기반 A레코드 #■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■ resource "aws_route53_record" "project-admin" { zone_id = aws_route53_zone.stg-public.zone_id #호스팅 영역 ID na.. 공감수 0 댓글수 0 2023. 9. 4.
terraform code(provider) aws configre 로 cli profile 생성 후 설정 terraform { required_providers { aws = { source = "hashicorp/aws" version = "~> 4.0" } } } #aws configure------------------------------project_cli provider "aws" { profile = "project_stg" region = "ap-northeast-2" #생성할 리전 } 공감수 0 댓글수 0 2023. 8. 31.
terraform code(tg) ECS tg 는 따로 생성 해서 붙여줌 #■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■ #대상그룹 생성------------------------------------------------------------------------------------------ /* resource "aws_lb_target_group" "project-stg-api-alb-tg" { name = "project-stg-api-alb-tg" port = 28083 protocol = "HTTP" vpc_.. 공감수 0 댓글수 0 2023. 8. 31.
terraform code (alb) #■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■ #ACM data생성------------------------------------------------------------------------------------------ resource "aws_acm_certificate" "acm_service" { domain_name = "*.service.co.kr" validation_method = "DNS" } #API ALB생성------------------------------.. 공감수 0 댓글수 0 2023. 8. 31.
terraform code (ec2) 아래 처럼 할 경우 단점이 apply 시 lifecycle 설정을 안해두면 지워졌다 생기므로 구축 완료 후 lifecycle ignore_changes = all로 업데이트 방지 해야 함 ---------------------------------------------------------------------------------------------------------------- resource "aws_instance" "projent-stg-bastion" { ami = "ami-055179a7fc9fb032d" availability_zone = "ap-northeast-2a" ebs_optimized = false instance_type = "t2.micro" monitoring = fa.. 공감수 0 댓글수 0 2023. 8. 31.
terraform code (network) #VPC 생성------------------------------ resource "aws_vpc" "projent-stg-vpc" { cidr_block = "10.0.0.0/16" instance_tenancy = "default" enable_dns_support = true enable_dns_hostnames = true tags = { Name = "projent-stg-vpc" } lifecycle { #create_before_destroy = true #prevent_destroy = true #삭제 방지 (오류로 떨어짐) #ignore_changes = all #업데이트 방지 } } #internet_gateway생성------------------------------ resourc.. 공감수 0 댓글수 0 2023. 8. 31.
kibana geoip map map 사용 시 geo point 값이 필요함으로 kibana - management - index menagement - index templates 에 geo ip template 생성 해주기 자동으로 location 값 맵핑 됨 create template - Name 와 Index patterns 설정 index patterns 은 logstash 에서 가져온 것 중 적용 할 것들 mapping 에서 geo.location 설정 아래 값 넣어주기 load json 눌러야 값 입력 가능 { "_routing": { "required": false }, "numeric_detection": false, "dynamic_date_formats": [ "strict_date_optional_time", .. 공감수 0 댓글수 0 2023. 8. 30.
logstatsh pipeline.yml 필터에서 message 를 가지고 와서 앞에 a_weblog 를 붙여서 필드 생성이 되고 .(dot) 이 들어간 필드 네임은 [][] 식으로 나눠서 입력 공백은 strip 으로 되지만 json 으로 생성 된 것은 안먹혀서 rename 적용 input { beats { client_inactivity_timeout => 1200 port => 5044 } stdin {} } ## Add your filters / logstash plugins configuration here filter { json { source => "message" target => "a_weblog" } #remove not using field mutate{ remove_field => ["message","tags","[eve.. 공감수 0 댓글수 0 2023. 8. 24.
thumbor s3 내부 버킷 정책(VPC 앤드포인트) thumbor 에서 S3 이미지 불러 올 때 외부 들렸다 오기에 퍼블릭 차단 할 경우 접근이 되지 않는다 VPC 앤드포인트를 S3 로 생성 후 버킷 정책에 넣어 주면 내부 접근 가능해서 호출 가능 { "Sid": "Access-to-specific-VPCE-only", "Effect": "Allow", "Principal": "*", "Action": "s3:*", "Resource": "arn:aws:s3:::버킷명/*", "Condition": { "StringEquals": { "aws:sourceVpce": "vpce-****" } } } 공감수 0 댓글수 0 2023. 8. 7.
Matrix Synapse 구성 (추가)(admin,E2EE해제) ■admin 추가 synapse-admin: container_name: synapse-admin hostname: synapse-admin image: awesometechnologies/synapse-admin:latest ports: - "8080:80" ■E2EE 참고 사이트 https://github.com/digitalentity/matrix_encryption_disabler GitHub - digitalentity/matrix_encryption_disabler Contribute to digitalentity/matrix_encryption_disabler development by creating an account on GitHub. github.com homeserver.yaml 추.. 공감수 0 댓글수 0 2023. 7. 17.
ecs container access log > cloudwatch ■ecs IAM 역할에 CloudWatchAgentServerPolicy 넣어주기 sudo su yum install -y awslogs sed -i "s/region = us-east-1/region = ap-northeast-2/g" /etc/awslogs/awscli.conf mkdir /access_logs echo -e '/usr/bin/find /var/lib/docker/volumes/ -name "access_log.*" -exec cp -f {} /access_logs \;' >> /home/ec2-user/accesslog.sh echo -e 'systemctl restart awslogsd' >> /home/ec2-user/accesslog.sh cat /etc/awslogs/awsl.. 공감수 0 댓글수 0 2023. 6. 30.
Apache + php + CodeIgniter4 AWS 에 EC2-ALB-Route53 도메인 생성 ■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■ #아파치 설치 sudo yum install httpd -y #아파치 워커 모드로 변경 vi /etc/httpd/conf.modules.d/00-mpm.conf #prefork 주석 처리 후 아래 내용 입력 LoadModule mpm_worker_module modules/mod_mpm_worker.so #아파치 실행 sudo systemctl start httpd #재부팅 실행 sudo systemctl enable httpd apachectl -V | grep MPM (worker 인지 확인) ■*본인인증 모듈이 ts일 경우 #php 7... 공감수 0 댓글수 0 2023. 6. 22.
Matrix Synapse 구성 (채팅 서버)(껍데기만) ●EC2에 Route53 연결하여 도메인 부여 해줄 것 (필수) ●●●docker-compose.yml ■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■ version: '3' services: synapse: #build: #context: ../.. #dockerfile: docker/Dockerfile user: 1000:1000 image: docker.io/matrixdotorg/synapse:latest container_name: matrix_synapse environment: - SYNAPSE_CONFIG_PATH=/data/homeserver.yaml volumes: - ./synapse:/data - ./synapse/log:/v.. 공감수 0 댓글수 0 2023. 6. 14.
Docker 설치 스크립트 sudo yum update -y ################### sudo yum install docker -y sudo service docker start sudo usermod -aG docker ec2-user sudo chmod 666 /var/run/docker.sock sudo curl -L https://github.com/docker/compose/releases/latest/download/docker-compose-$(uname -s)-$(uname -m) -o /usr/local/bin/docker-compose sudo chmod +x /usr/local/bin/docker-compose sudo chmod +x /usr/local/bin/docker-compose sudo .. 공감수 0 댓글수 0 2023. 6. 2.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.