글

라벨이 aws인 게시물 표시

AWS 리소스를 활용한 Batch 작업 : AWS Batch(EC2) vs Lambda & Eventbridge(구 Cloudwatch)

AWS에서 배치 프로세싱을 구현하는 방법은 batch를 이용하는 방법 lambda를 이용하는 방법 이 있다. Batch를 이용하는 방법 AWS Batch -> AWS EC2 Instance를 의미한다. 이 방법은 ec2를 사용하기 때문에 완전한 Serverless는 아니다. AWS Batch가 Batch 작업을 돌리기 위해 EC2 인스턴스를 Spin up 한다. * live 상태로 만듬을 뜻함 문제는 배치 작업을 하지 않을 때에도 EC2의 최소 공간을 live 상태로 유지해야한다. 이는 배치 작업을 하지 않을 때에도 돈이 나간다는 것을 의미하고 때문에 다음의 방법이 보다 효율적이다. Lambda를 이용하는 방법 Cloudwatch( -> EventBridge )가 스케줄링 엔진으로서 작동한다. AWS Lambda를 Trigger한다. ( cron trigger ) 1. AWS EventBridge console pannel에서 스케줄링 엔진 rule을 추가한다. 2. lambda function을 구현한다. 견고한 배치 작업을 만드는 방법 testing worker chain - 어떤 에러가 발생하는지 - worker chain이 끝까지 도달하는지 - edge 케이스 테스팅을 통해   끝나지 않는 무한 루프를 도는 runaway worker chain,   시작되지 않는 worker chain 방지한다.    무한 루프를 돌 경우 높은 aws bill이 나올 수 있음. retry attempt 조정 asynchronous invocation에서 retry attempt를 0으로 세팅하기. 기본값은 2이다. -> batch lambda가 fail 하더라도 2번 더 실행됨. -> 같은 유저에게 메일이 3번 갈 수도 있음. unprocessed items 처리 가장 요청이 많이 들어오는, 바쁜 production환경에서도 성공적으로 배치 작업이 수행할 수 있게 concurent worker chains 튜닝
댓글 쓰기
Read more »

AWS RDS를 고려할 때 미리 확인하면 좋을 옵션들

 IOPS HDD, SSD 와 같은 정보 저장 장치를 벤치마킹 하는데 사용되는 성능 측정단위. 벤치마킹 프로그램에 따라 값이 달라진다. 벤치마킹 요소는 다음과 같다. - 임의 접근( Random Access ) 읽기/쓰기 - 순차 접근 ( Sequential Access ) 읽기/쓰기 - 벤치마크 프로그램의 쓰레드 개수 - 벤치마크 프로그램의 큐의 크기 - data block 크기 - 읽기/ 쓰기 비중 vCPU 가상 CPU의 개수. 정확한 물리적 스펙은 모르겠음. Storage SSD Magnetic  Provisioned IOPS SSD Multi-AZ 옵션 AWS RDS Multi-AZ 옵션으로 DB 서버를 동기화(Synchronous) 구성하면 특정 가용 영역(AZ)에 장애가 발생해도 다른 가용 영역에 복제된 데이터베이스를 바로 사용할 수 있도록 시스템이 자동 대체(Failover)되어 고가용성을 유지할 수 있습니다. -> 즉, 스탠드바이 시스템을 하나 더 만들어서 알아서 관리해주겠다는 얘기다. -> 더 해주겠다는거니까, 더 비싸다. 방금 간단하게 Multi-AZ 옵션만을 조절해서 요금을 비교해봤는데 <Multi-AZ를 쓸 경우> Amazon RDS PostgreSQL 인스턴스 비용 (monthly) = 107.31 USD 스토리지 요금 (monthly) = 8.28 USD 월별 총비용 =  115.59 USD <Single-AZ를 쓸 경우> Amazon RDS PostgreSQL 인스턴스 비용 (monthly)  = 53.655 USD 스토리지 요금 (monthly) = 3.93 USD 월별 총비용 : 57.59 USD AZ는 하나의 데이터 센터가 예상치 못하게 동작을 못할 때를 대비해 stand by로 운영되는 별개의 데이터 센터이다. AWS region에 동일한 파워, 네트워킹, 연결성을 보장한다. AWS RDS VS DBMS On EC2 AWS를 이용하여 DB를 운영할 때는 다음과...
댓글 쓰기
Read more »

AWS Lambda 개념, 유스케이스

AWS Lambda 람다는 무엇인가? 람다 자체로 이해하기보다는 EC2와 비교해서 보는 것이 더 이해하기 쉽다. EC2 Computing과 다른 형태의 Computing 자원이다. EC2는 사용자가 임의로 환경을 커스터마이징하여 Computing서버로서 사용할 수 있다. Lambda는 서버를 프로비저닝하거나 관리하지 않고도 코드를 실행할 수 있게 한다. 개발자 입장에서는 서버 없이 쓸 수 있어서 serverless computing의 대표 사례이다. 람다 특징 Lambda는 필요 시에만 함수를 실행한다. 일일 몇 개의 요청에서 초당 수천 개의 요청까지 자동으로 확장이 가능. 사용한 컴퓨팅 시간만큼만 비용을 지불하고, 코드가 실행되지 않을 때는 요금이 부과되지 않는다. 꽤나 합리적일 것 같지만 트래픽 및 요청이 많은 비즈니스 로직에 람다를 쓰면 요금이 많이 부과될 수 있기에 잘 판단해야한다.  코드 용량이 최대 250MB 이다. 함수 실행 시간은 최대 15분이다. 첫 함수 호출시 Cold Start로 인한 지연시간이 발생한다. 언제 쓸 것인가 쓰는만큼 비용이 나간다는 양날의 칼을 가지고 있다. 때문에 트리거가 자주 일어나는 로직에 람다를 쓰기보다는 특정한 조건에만 실행시키는 경우에 유용하다. 서버 띄우지 않고 간단한 코드를 실행시키고 싶은 경우  -> 배치 작업   특정 주기로 코드를 실행시켜야 하는 경우                  -> 스케줄링 트리거가 실행될때만 코드를 실행시키고 싶은 경우       -> 이벤트 람다를 더 잘 활용하려면 아마존에서는 다음과 같은 선수 지식을 요구한다. Linux OS 및 명령어뿐만 아니라 프로세스, 스레드 및 파일 권한 과 같은 개념이 필요 클라우드 개념 및 IP 네트워킹 개념(프라이빗 및 퍼블릭 네트워크용) IPC(프로세스간 통...
댓글 쓰기
Read more »

이 블로그의 인기 게시물

실무진 면접 경험으로 정리하는 백엔드 (1) : 에듀 테크 기업 면접

에듀 테크 기술 면접 시간 내어 이력서를 꼼꼼하게 봐주시고 서류상으로는 회사에서 원하는 background라고 생각해주셔서 느낌이 좋았다. 최근 본 면접들 중 가장 깊이있는 질문을 해주셨고 오답과 대안에 대한 설명도 해주셔서 배워갈 수 있었다. 아쉽게도 합격하지 못했지만 좋은 면접 경험이었기 때문에 다음 면접에서 더 견고한 답변을 위해 정리해보았다. 질문&답변&더 나은 답변 일반 질문 이직 사유? 경영상의 이유로 인한 권고사직, 프로덕트 개발과 프로덕트 피벗 과정의 공백기 회사의 이 직군에 지원하면서 뭘 기대하는지? 거의 혼자서 개발을 해왔는데 다른 관점의 의견을 들을 기회가 없었다. 여러 개발자의 의견을 듣고 내 의견에 태클을 걸며 같이 발전하면 좋겠다. 공백기에 뭐하고 있는지 ?  1. django template과 admin, 그리고 오픈소스 wysiwyg를 사용하여 블로깅 서비스 사이드 프로젝트하면서 풀스택 공부중이다. 2. 현업에서 줄곧 이미 구축된 ci/cd를 사용해오고있었는데 직접 구현을 학습하기 위해 github action workflow를 공부하고 있음.  기술&개발 관련 관리형 서비스를 쓰지 않고 aws ec2를 쓴 이유 ? - 비용문제 vpc 어떻게 설정했나? - production region은 모든 ip에 대해서 열고   development region은 사무실 개발 pc와 사무실 기기들의 ip만 접근가능하도록 함 nginx ssl 적용했다고 하는데, 인증서 뭐 사용했나? - 'let's encrypt'사용했는데 생각이 안나서 대답못함. socketio에는 wsgi or asgi? - wsgi vs asgi 차이점에 대해서 답변함. django vs fast api ? - 동기, 비동기 서버 기반과 기타 feature에 대해서 답변함. - django에서 기본 제공되는 템플릿, admin,ORM과 미들웨어들 - fastapi는 기타 기능들을 따로 붙여서 써야한다고 답변, django도 ...
Read more »

Blogger 커스터마이징 : CSS 수정 (sticky-header)

이미지
sticky-header, centered-top-container sticky animating 삽질1 google blogger의 템플릿 테마중 하나인 Contempo에서는  스크롤을 어느 정도 내린 상태에서 다시 올리면 상단의 검색창이 내려와서 스크롤을 다시 내릴 때까지 유지된다. (이 "어느 정도"에 해당하는 값은  기본 테마의 javascript에 코딩 되어있을 것으로 추측한다.) css 수정 후 이 부분에 문제가 생겨서 내릴때에도 올릴 때에도 계속 검색창이 내려오고 사라졌다를 반복한다. < 페이지 최하단 모습 > 데이터를 색인하여 찾을 때는 유용한 기능이라고 생각하지만 검색 기능은 이미 블로그 최상단에 존재한다. 따라서 해당 기능을 제거하기로 했다. scroll event를 감지하고 그에 따라 html이나 css문서를 수정하는 작업은  javascript가하는 일이다. html 편집기를 통해 코드를 살펴본 결과 이 javascript 코드는 외부 cdn 서버에서 가져오는 것 같다.  javascript 코드를 직접 건드려야되나 싶어서 구글링 해 본 결과 간단하게 css 코드를 수정해서 없앨 수 있었다. sol) sticky-header 제거 https://joshua-dev-story.blogspot.com/2020/04/blogger-remove-sticky-header.html FE, Publishing 에서는 '고정 헤더'라고 부르고 있는 이 태그의 css를 수정하면 된다. display 옵션을 none으로 바꿔서 기존 요소의 block을 전부 없애고 기능까지 해제해버리는 것. 이 sticky header를 보이지 않게하는 방법은 opacity를 0으로 만들거나 visibility를 hidden으로 할 수도 있지만 display : none 옵션이 가장 확실해보인다. 수정 후 여전히 scroll 이벤트에 따라 DOM의 변경이 일어나는 것 같지만 sticky header는 더이상 보이지 않는다. 삽질2...
Read more »

Intel 14th gen CPU의 칩 충돌 사태와 해결 방법

이미지
https://internalize-stride.blogspot.com/2024/10/14th-gen.html 글을 참고. 나도 14세대 인텔 CPU의 구매자고 현재까지 피해를 보고있다. 원인 24년 7월 22일에 인텔이 충돌 문제의 근본 원인을 찾았다고 발표함. 원인은 최소 작동 전압(Vmin)의 이상(불안정성)이며 이로 인해 CPU 품질 저하현상이 나타난다. address incorrect voltage requests to the processor that are causing elevated operating voltage. 잘못된 전압 요청을 프로세서에게 요청하고 이 요청은 높아진 작동 전압을 유발한다. 최소작동 전압 증가. 현상 높은 전압 이벤트는 시간이 지남에 따라 누적될 수 있으며 결국 프로세서를 손상시키고 시스템이 중단되거나 충돌하게 된다. 영향 프로세서 목록   (사진 from 인텔) 대책 바이오스 업데이트에 맞춰 마이크로코드 수정 패치하였다. 최신 마이크로코드 업데이트 0x129에서는 voltage request Vmin를 1.55V 이상으로 높여서 비정상 현상을 겪고있는 프로세서를 방어적으로 완화한다. 패치 후 성능 영향 여부 아스테크니카의 인텔 인용에 따르면 대부분의 경우 패치의 영향을 받지 않을 것이라 했으나 소수의 벤치마크 하위 점수와 개별 게임에서 '보통' 정도의 속도저하가 나타남. 패치 방법 및 제품 보증 소프트웨어 업데이트로 배포되지 않음. 윈도 업데이트 / 제조사 독점 소프트웨어 / 수동 설치를 통해 패치한다. 수동 설치의 경우 제조업체 웹사이트로 가서 패치 파일을 수동으로 다운로드해서 설치. 전압과 관련된 CPU 손상은 돌이킬 수 없기 때문에 빠른 조치가 필요하다. Intel은 대상 품목의 품질보증기간을 2년에서 5년으로 늘렸다. GIGABYTE 마더보드의 경우 패치 방법 내가 쓰고 있는 GIGABYTE 마더보드 기준으로 패치 방법은 다음과 같다. 1. GIGABYTE 홈페이지에서 본인의 마더보드 모델에 맞는 ...
Read more »