Computation suite

직렬화/비직렬화 웹 애플리케이션 서버 프레임워크 웹 애플리케이션 서버 프로그램이 어떤 프로그래밍 언어의 소스 코드로부터 컴파일 됐든 인터넷을 통한 통신을 수행하려면 웹 생태계의 규칙을 따라야한다. 웹 애플리케이션 서버 프로그램은 일반적으로 각 언어들의 웹 애플리케이션 서버 프레임워크로부터 만들어지는데 이 프레임워크에서 직렬화/비직렬화 개념이 나온다. 송신자 & 수신자, 직렬화 & 비직렬화 직렬화 송신자가 객체를 문자열로 변환하여 데이터를 전송하는 작업. 비직렬화 수신자가 수신한 문자열을 다시 객체로 변환하여 활용하는 작업. 여기서 송신자, 수신자는 모두 웹 애플리케이션 서버이다. 웹 애플리케이션 서버에 로직을 작성하는 프로그래머는 그 언어와 프레임워크와 종속된 소스코드를 사용하는데 앞단의 웹 서버와 같은 소프트웨어나 더 멀리 있는 이기종의 장치는 이를 이해하지 못한다. 때문에 컨버팅 작업이 필요한데 이 컨버팅 작업을 직렬화/비직렬화라고 한다. Python web application framework를 예로 들자면, 파이썬으로 로직 처리가 끝난 데이터를 response 객체에 담아 반환하여 줄 때가 직렬화, 클라이언트의 요청이 request 객체로 추상화될 때가 비직렬화라고 할 수 있겠다. 끝

파이썬의 iterable, iterator , generator, container의 관계를 설명할 때 많이 사용하는 그림이다. 나는 여기에 몇 가지를 좀 더 추가했다. generator는 iterator의 일종이나, 특별한 iterator라고 볼 수 있다. 게으른 factory와 같이 값을 미리 보유하고 있는 것이 아니라 필요에 따라 생성한다. python에서 제공하는 list, dict, ...등과 같은 객체들은, 선언과 동시에 안에 무엇을 담을지 결정하여 초기화시킬 수 있다. 그 코드에서 list, dict와 같은 객체들은 1,2,3,4와 같은 정수 배열을 담거나 key-value를 담은 container를 생성한다. python에서 제공하는 container 객체들 그리고 대부분의 container 객체들은 iterable, 순회할 수 있지만, 프로그래머 스스로 순회할 수 없는 container class를 구현할 수도 있다. int, float, double과 같은 자료형은 literal이며 container가 아니고, 순회할 수도 없다.  

CPython의 메모리 할당 시스템 Python의 기본 구현체 CPython의 메모리 할당 시스템은 C의 동적 메모리 할당 시스템 에 의존한다. CPython과 C의 동적 메모리 할당 시스템  중간 계층에 속하는 PyMemAPI 은 메모리 관리의 단순화 를 통해 프로그래머가 애플리케이션 로직에 집중할 수 있다. 메모리 관리의 단순화라고 하면은, 프로그래머가 직접 객체나 변수에 할당된 메모리를 해제하는 것이 아니라 (메모리 할당 해제 소스코드를 작성함으로써) 런타임 상에서 제공하는 GC, 참조 카운팅 기법을 사용하여 메모리를 자동으로 해제한다. 참조 카운팅 API - Py_INCREF : 값에 의존할 때 증가한다. - Py_DECREF : 값에 의존하지 않을 때 감소한다. 참조 카운트 값이 0이 될 때 자동으로 해제된다. 음수가 되기 시작한다는 것은 증감 연산의 짝이 맞지 않는다는 뜻이며 참조 카운팅에 결함이 생긴 것이다. 코드 로직 상 '순환 참조' 가 일어날 때도 생기는데 '순환 참조'를 해결하기 위한 GC가 Background에서 구동된다.

스크립트는 다운로드 된 후에야 실행될 수 있다. 너무나 당연한 얘기다. 그렇기 때문에 때로는 원하는 순서대로 브라우저가 동작하지 않고 사용자 경험을 떨어뜨릴 수 있는 요인이 되기도 한다. 파싱 도중 script를 만날 때 <script> browser는 HTML을 읽다가  <script></script> 구간을 만나면 script를 먼저 순차적으로 실행하기 위해 파싱을 멈춘다. src 속성이 있는 외부스크립트 <script src="..."></script>를 만났을 경우도 마찬가지다. 이 경우에는 외부 스크립트를 다운받고 실행한 후에야 남은 page를 처리할 수 있다. <script async> 파싱 도중 <script async>를 만나면 문서 파싱 + 스크립트 다운로드를 같이 진행한다. 스크립트는 백그라운드에서 다운된다. 스크립트 다운이 완료되면 파싱을 멈추고 다운받은 스크립트를 실행한다. async의 의미답게 마치 비동기 이벤트처럼 동작한다. 다운받은 스크립트 실행이 끝나면 남은 문서를 마저 파싱한다. 돔이 100% 형성되지 않아서 dom 객체 존재하지 않는 context에서 html 객체를 참조하려고하면 오류를 raise한다. 방문자 수 카운터, 광고 블록과 같은 독립적인 script처럼 실행 순서가 중요하지 않은 경우에 적용한다. <script defer> defer 스크립트 또한 백그라운드에서 스크립트 다운로드를 진행하기 때문에 파싱 작업을 막지 않는다. defer로 받은 script의 실행시점은,  </html>을 만났을 때, 즉, 문서의 끝에 도달했을 때 실행된다. </html> - (실행 시점)  - DOMContentLoaded script를 실행할 때 html 요소들이 반드시 선행적으로 필요한 경우 defer를 사용한다. defer 속성은 기본적으로 true이다. script에 src속성이 없다면 d...

  K-패스 K패스 시스템은 지자체 50%, 정부 50%가 재원을 구성하여 조건에 부합하는 대상에게 교통 요금 일부를 환급 해준다. 아무거나 발급받아 사용하면 카드를 사용하면서도 수수료를 내야하는 경우가 있는데 어떤 경우에 수수료를 내야하며 어떻게하면 수수료를 내지않고 교통 요금 일부를 환급받을 수 있는지 정리했다. 선/후불 - 신용/체크 - 페이앱 or 실물카드 내 상황을 예를 들어 설명하면, 나는 후불 교통카드기능 이 있는 신용카드 를  삼성 페이 앱 에 등록하여 사용하고 있었다. 굵게 강조한 부분만 잘 살펴보면 내가 돈을 추가로 내며 사용해야 하는 지 알 수 있다. 삼성 페이는 페이 앱에 대한 수수료는 없는 것처럼 보이지만 이건 등록한 카드에 따라 다르다. (카드사 - 카드 종류(신용/체크) - 교통카드기능(후불/선불) ) 이건 페이먼트 운영사나 카드사 정책에 따라 달라지기 때문에 단순히 목록에 나타나지 않았다고해서 일반화 할 수는 없다. 페이앱에 굳이 등록하지 않고 K패스에만 등록해도 사용할 수 있다. 그러나 편의를 위해 휴대폰을 교통카드로서 사용하고 싶다면, 그리고 여기서 발생할 수 있는 수수료를 내기 싫다면 아래의 내용을 더 읽어볼 필요가 있다. 카드 등록하기(k패스) 사용자, 즉, 우리가 어디에 무엇을 등록하는 지만 보면 된다. 간략하게 그림으로 정리해보면 다음과 같다. 정산이 어떻게 이루어지는 볼 필요 없다. 우선 발급받은 카드를 K 패스 시스템에 등록한다. 그래야 기록을 바탕으로 얼마를 환급받을 지 K패스에서 계산하여 환급받을 수 있다. 사실, 여기까지만 해도 카드를 쓰고, 환급 받는 데에는 문제가 없다. 운송사도, 카드사도, K패스도 필요한 정보는 전부 알고 있다. 그러나 편의를 위해 카드를 페이 앱에 등록하여 휴대폰을 개찰구 단말에 찍어서 교통 요금을 납부하고 싶을 때에는 좀 더 절차가 필요하다. 카드 등록하기(삼성페이) 휴대폰이 교통 카드의 기능을 대신해야하므로 1. 휴대폰(e-sim) <-> 페이 앱 with ...

최근 .csv, .tsv 등의 형태로 전송되는 로깅 파일을 저장하기 위한 시스템을 구축했다. 프로젝트를 진행하면서 사용한 기술에 대한 회고를 정리했다. (프레임워크에 종속되는 특성보다는 처리 로직에 초점을 맞추었다.) Before deploying Celery 테스트 서버에서 로깅 파일 처리 부하로 인해 서비스들이 멈추기 전까지는 메시지 큐를 활용하여 처리할 필요성을 느끼지 못했다. 그야 동시 요청 수도 없다시피하고 이상적인 환경이니까 그렇다. 이런 환경에서는 웹 애플리케이션 서버가 요청 검증, 파일 파싱, 데이터 전처리, DB I/O 모두 처리할 수 있다. 이 경우에는 파일로 만들어 저장하지 않고 Request 객체로 받은 binary를 파싱했다. 그러나 동시 요청수가 굉장히 많고 언제 Peak request를 찍을 지 알 수 없는 환경에서 안정적인 아키텍쳐는 아니다. 부하 발생 - 모니터링 툴 Locust를 사용하여 측정했을 때, 500명 동시 접속 환경까지 증가시키며 1초에 1번 계속해서 리퀘스트를 보냈을 때 WAS Worker가 2개인 환경에서 금방 리소스가 바닥나서 실패 응답을 받기 시작했다. 지연 응답이 아닌 실패 응답이 나타나기 시작하면 아키텍쳐든 코드든 효율성을 고려하여 수정해야한다. After deploying Celery 실시간에 가깝게 로그 파일을 처리하지 않고, 조금의 지연이 생기더라도 로그 파일을 제대로 처리한다는 보장이 있으면 파일 저장/파일 처리 로직을 담당하는 프로세스로 나누어서 각 프로세스의 작업의 무게를 줄일 수 있다. 이렇게 구성한다면 요청 인증/파일 저장/파일 처리 로직을 전부 맡아서 하던 WAS는 요청 인증/파일 저장까지만 하고 그 뒤의 일은 Background worker에게 맡긴다. 이렇게 한다면 메모리 누수와 같은 결함으로 시스템 전체의 자원이 동나지 않는 이상 WAS의 파일 처리량을 늘릴 수 있다. 그렇다면 Backgorund worker는 어떻게 자신이 처리해야 할 일을 알 수 있을까? 이 use-case에서는 자...

모든 테스트를 실행하라 설계한 의도대로 돌아가는지 검증해야한다. 테스트가 가능한 시스템을 만드려고 애쓸수록 품질이 높아진다. SRP를 준수하는 클래스는 테스트가 더 쉽다. 철저한 테스트가 가능한 시스템을 만들면 더 나은 설계가 얻어진다. 결합도가 높으면 테스트 케이스를 작성하기 어렵다. 테스트 케이스를 만들고 계속 돌리라는 규칙을 준수하면 저절로  낮은 결합도 & 높은 응집력이라는 목표가 달성된다. 리팩토링 리팩터링을 위한 테스트 케이스가 있으므로 코드를 정리하며 시스템이 깨질 염려를 하지 않아도 된다. 중복을 없애라 중복은 추가 작업, 추가 위험, 불필요한 복잡도를 뜻한다. 깔끔한 시스템을 만드려면  단 몇 줄이라도 중복을 제거하겠다는 의지가 필요하다. 가시성이 높아지고 다른 팀원이 다른 맥락에서 재사용할 기회를 포착할 수 있다. 소규모 재사용은 시스템 복잡도를 극적으로 줄여주며 소규모 재사용을 제대로 익혀야 대규모 재사용이 가능하다. * TEMPLATE METHOD 패턴을 참고하자 프로그래머의 의도를 표현하라 1. 좋은 이름을 선택하라 2. 함수와 클래스 크기를 가능한 줄인다. 3. 표준 명칭을 사용한다.     디자인 패턴을 쓴다면, 패턴 이름을 클래스에 넣어준다. 4. 단위 테스트 케이스를 꼼꼼히 작성한다. 5. 주의를 기울이자. 주의는 대단한 재능이다. 클래스와 메서드 수를 최소로 줄인다. 중복 제거, 의도 표현, SRP 준수 등의 개념도 극단으로 치달으면 득보다 실이 많아진다. "가능한 한" 줄이고 무의미할 정도로 작게 만들지 않도록 하자.  * 참 어렵다고 생각한다. 무의미하고 독단적인 정책 탓에 클래스 수와 메서드 수가 늘어나기도 한다. 예 ) 클래스마다 무조건 인터페이스를 생성하는 요구하는 구현 표준 독단적인 정책, 견해보다는 실용을 택하자. 가장 중요한 "경험" 경험을 대신할 단순한 개발 기법은 없다.