분류 전체보기 103

KAFKA // RDS oracle>postgre kafka docker-compose.yml (test용)

services:   kafka:     image: bitnami/kafka:3.7.0     container_name: KafkaContainer     ports:       - '9092:9092'  # Kafka 컨테이너 내부에서 9092 포트로 수신     environment:       # 기본 설정       - KAFKA_AUTO_CREATE_TOPICS_ENABLE=true       - KAFKA_BROKER_ID=0       - KAFKA_NODE_ID=0       # KRaft 단일 노드 설정       - KAFKA_PROCESS_ROLES=controller,broker       - KAFKA_CONTROLLER_QUORUM_VOTERS=0@kafka:9093     ..

Opensource 2025.03.12

AWS Log EC2 to S3 .sh (이전 30일 치)

기존에 있는 로그 30일치 업로드 시  #!/bin/sh for day in {30..1}; do     BASE_DT=$(date -d "$day days ago" +%Y-%m-%d)     SOURCE_DIR=/app/server/was-tomcat-9.0.83/logs/     S3_BUCKET=hm-shopby-logs     S3_PATH=s3://$S3_BUCKET/was-access-log/year=${BASE_DT:0:4}/month=${BASE_DT:5:2}/day=${BASE_DT:8:2}     UPLOAD_LOG=/app/aws-cli/util/log/was-access-log.$BASE_DT.log     INST_ID=$(ec2-metadata -i | awk -F' ' '{pr..

AWS 2024.11.01

Scouter 설치 및 Slack 연동

server java 11 버전 기준  sigar 종속성 때문에 2.20 최신 버전으로 설치 할 것 1.server 설치 (java 11) 2.agent 설치 (java 17) ■■■■■■■scouter 서버용■■■■■■■■ wget https://github.com/scouter-project/scouter/releases/download/v2.20.0/scouter-all-2.20.0.tar.gztar -xvf scouter-all-2.15.0.tar.gz cd scouter ---------------------------------------------- vi startup.sh #!/usr/bin/env bash nohup java -Xmx768m -classpath ./scouter-serve..

Opensource 2024.09.09

S3 비용 최적화

검색 GB 당 비용이 스토리지 클래스 및 수명주기 적용자주 접근 하지 않는 버킷 폴더에 지능형 계층화로 변경1달 이상 접근 하지 않을 자료의 경우는 Standard-IA 로 전환 버킷 - 관리 - 수명 주기에서 설정 가능 / (폴더 및 단일로 할 수 있지만 사본이 생기므로 수명 주기가 깔끔)지능형 계층화 - 가장 비용 절감에 효과적인 티어Standard-IA - 접근이 자주 있진 않지만 빠르게 접근 할 떄 사용 / 스토리지 및 검색 GB 당 비용 청구One Zone-IA - 단일 AZ에 저장하여  Standard-IA 보다 20% 저렴 / 다른 클래스는 최소 3개 AZGlacier - 장기적으로 접근 하지 않는 클래스류

AWS 2024.07.19

Redis용 Amazon MemoryDB 구성

채팅 서버에서 활용 할 redis 구성 중 채팅 내용을 가지고 있어야 할 이슈가 있었는데 기존 redis 는 휘발성이여서 Hot Data가 필요하여 AWS 서비스인 Redis용 Amazon MemoryDB 사용 ■ Redis용 Amazon MemoryDB 이동 ■ 클러스터 생성 전에 보안그룹 | 서브넷 그룹 생성 (Private) | 파라미터 그룹도 생성 ■ 새 클러스터 생성 - 이름,서브넷,클러스터 설정 후 다음으로 ■ 보안그룹 적용 후 전송 중 암호화에서 암호화 없음으로 (TLS로 한뒤 ACL 설정을 제대로 해주지 않으면 소스에서 접속 자체가 되지 않음) (ACL 적용 되면 관리 포인트가 늘어남으로 접근제어는 보안 그룹으로 해주고 암호화 필요 시 소스에서 할 것) ■ 스냅샷, 유지 관리는 필요 시 설..

AWS 2024.03.07

ci4 설정

#아파치 설정 sudo yum install httpd -y vi /etc/httpd/conf.modules.d/00-mpm.conf LoadModule mpm_worker_module modules/mod_mpm_worker.so sudo systemctl start httpd sudo systemctl enable httpd apachectl -V | grep MPM (worker 인지 확인) (굳이 워커로 변경 안해도 됨) #php 설정 sudo amazon-linux-extras install php7.4 -y sudo amazon-linux-extras enable php7.4 -y sudo yum install  php-cli php-common php-gd php-mbstring  php-m..

Opensource 2023.11.29