미술 작품 촬영과 Tiff 확장자 파일

이미지
미술 작품의 디지털화, 아카이빙 사물들은 어떤 조명을 받는 지에 따라서 반사해내는 빛의 다르다. 미술관, 전시관에 가면 작품에 조사하는 조명이 중요한데 조명에 따라 보이는 색이 다르기 때문이다. 조명에 따라 관객이 다르게 받아들일 수 있다. 작품 본연의 색깔이라고하면은 보통 백색광을 조사했을 때 반사되는 빛을 말한다. 미술 작품들을 촬영 후 디지털화 하여 저장할 때 바로 TIFF 확장자 파일이 등장한다. - 촬영 미술 작품을 촬영할 때는  국제 표준 인증을 충족하는 촬영 환경이 전제되어야 높은 색채 정확도와 원본에 가깝게 재현력을 확보할 수 있다. - 저장 디지털화 된 파일은 원본에 가깝게 유지해야하므로 손실 압축 방식인 JPG보다는 PNG가 선호된다. TIFF는 여기서 한 발 더 나아가 채널 당 저장할 수 있는 색상 깊이가 PNG에 비해 더 높다. (PNG: 1채널에 16비트, TIFF : 1채널에 32비트) 보편적인 이미지-뷰어 프로그램들은 대부분 JPG, PNG, GIF 등의 이미지를 지원하지만 전문가용 카메라로부터 추출된 RAW 파일, TIFF 파일등은 전문 사진 편집용 프로그램에서만 열 수 있는 경우가 많다. 디지털화 된 미술 작품의 출력 이제 아카이빙 된 파일을 복합기, 인쇄기를 통해 출력한다고 가정하자. PNG로 저장된 작품을 인쇄할 때와 TIFF로 저장된 작품을 인쇄할 때의 질이 확연히 다르다. 주로 웹 상에서 DID, 모니터 장치에 RGB로 출력되는 JPG의 경우 중복된 영역을 탐지하여 일부 정보 손실을 감안하고 압축하여 저장한다. PNG의 경우 무손실 압축방식이지만 CMYK가 지원되지 않으며 색상 정보가 상대적으로 TIFF보다 적다. TIFF는 RGB, CMYK모두 지원되며 색상정보가 풍부한 무손실 포맷이다.

데이터 연구 분야, 기술 통계 vs 추측 통계

이미지
기술 통계 이미 보유하고 있는 데이터에 대해 분석한다. 있는 그대로 요약, 정리, 시각화하여 데이터의 특성을 도출한다. 보유하고 있는 데이터의 모집단과 같이 데이터의 범위를 확장하여 추정하지 않고 가지고 있는 데이터에만 집중한다. 가지고 있는 데이터 그대로의 특성을 분석하므로 불확실성이나 오차와 같은 개념이 없다. 추측 통계 작은 표본을 가지고 전체의 특성을 유추한다. 전수 조사가 불가능할 때 데이터의 일부만 가지고 전체의 특성을 추정하므로 오차가 필연적으로 발생하고 - 확률 - 신뢰 구간 - 예측 모델의 개념이 추가된다. 예측 모델은 과거의 표본을 분석하여 수학적 패턴을 찾아낸다. 대표적인 통계적 모델은 회귀 분석 모델, 로지스틱 회귀, 시계열 분석 모델(ARIMA) 등이 있다. 머신러닝 모델 vs 통계적 모델 통계적 모델들은 수학적인 패턴이 존재하기 때문에 왜 그런 결과가 나왔는지 해석이 가능하다. 최신 머신러닝/딥러닝 모델은 결과에 대한 설명보다는 **"결과를 얼마나 잘 맞히는지(정확도)"**에 올인하기 때문에 속을 알 수 없는 복잡한 구조(블랙박스)인 경우가 많다.

데이터 연구 분야 시뮬레이션 vs 최적화

이미지
시뮬레이션 예시 그림의 유체 역학과 같은 물리적 상호작용을 보여주는 시각적 프로그램 뿐 아니라 현실과 가깝게 만든 모델 을 제작한 뒤 여러 변수를 대입 하여 실험해 보는 행위가 모두 시뮬레이션에 속한다. 가상의 네트워크를 만들어서 네트워크 트래픽을 시뮬레이팅 할 수도 있고 가상의 주식 시장을 만들어서 시장의 변동성을 시뮬레이팅 할 수도 있다. 불확실성이 많은 현실 세계의 도메인에서 시스템의 동작과 흐름을 모방하여 미래를 예측하고 이해한다. 결국 시뮬레이션도 미래를 예측하고 이해하기 위해 사용한다. 이 모델에서 조건을 바꾸면 어떤 일이 일어날 지를 관찰한다. 최적화 목표를 달성하기 위한 가장 좋은   방법 을 찾는다. 방법이라고하면 최소값 or 최대값의 해답을 의미한다. 꼭 값 하나로 귀결 되는 것은 아니며 단일 스칼라 값 외에도 스케줄, 경로, 벡터 행렬 등으로도 표현될 수 있다. 방법을 찾기 위 전제되어야 할 조건은 목표가 명확해야 한다는 것이다. 시뮬레이션과 최적화 최적화 과정을 통해 후보 해를 도출하고 시뮬레이션으로 검증하여 사용한다.

KDD(Knowledge Discovery in Databases) 분석 방법론과 CRISP-DM

데이터 분석의 유형 데이터 분석에는 '분석 대상'과 '분석 방법'이 존재한다. 분석 대상과 방법에 따라 분석은 4가지 유형으로 나뉜다. - 분석 대상을 알고, 분석 방법을 아는 경우 => 최적화 - 분석 대상을 알고, 분석 방법을 모르는 경우 => 해 - 분석 대상을 모르고, 분석 방법을 아는 경우 => 인사이트 - 분석 대상을 모르고, 분석 방법도 모르는 경우 => 발견 KDD 분석 방법론 Knowledge Discovery in Databases 데이터를 통해 '통계적 패턴', '지식'을 찾을 수 있도록 정리한  데이터마이닝 프로세스. 1. Selection 2. Pre-processing 3. Transformation 4. Data Mining 5. Interpretation / Evaluation 의 순서로 진행된다. 순서대로 진행하기 때문에 소프트웨어 개발의 Waterfall 방식과 유사하다. CRISP-DM Cross Industry Standard Process for Data Mining 이 방법론 또한 단계가 있긴 하지만 KDD 분석 방법론 처럼 순차적으로 진행되지 않고 보완해야 할 것이 있으면 전 단계로 되돌아가는 등의 반복 수행을 통해 분석 품질을 높인다. - 업무이해 - 데이터 이해 - 데이터 준비 - 모델링 - 평가 - 전개의 단계로 나뉘는데 KDD 분석 방법론 과 다른 점은 1. 특정 단계 간에 보완을 하기 위해 전 단계로 되돌아갈 수 있다는 것이다. 2.  '업무 이해', '데이터 이해'와 같이 KDD 분석 방법론의 '데이터 선택'에 해당하는 작업이 더 세분화 되었다. 3. '전개' 단계가 추가되었는데 모니터링과 유지보수 , 보고서 등 실무적인 작업이 더 세분화되었다.

소프트웨어 설계와 Vue.js의 프록시 패턴

소프트웨어 디자인 패턴의 프록시 패턴 Proxy pattern은 디자인 패턴 중 Structural 패턴 중 하나이다. 가장 기본적인 골자는 "대신 요청을 처리해주는" 패턴 이라는 것이다. 누구 대신 요청을 처리하냐면, 실제 객체 대신 요청을 처리한다. (요청의 주체는 누구든 될 수 있지만  일반적으로 프로그램 런타임에서 메모리에 생성되는 객체이다.  네트워크 관련 객체가 될 수도 있고, 상주하는 객체가 될 수도 있음.) a라는 기능을 본래는 A객체에서 처리하는 것이 맞지만 a라는 기능으로 인해 다른 객체에 의도하지 않은 접근을 허용할 수 있다. (A class 내에서 구현한 기능이든, 함수든) 따라서, 다른 객체에 대해 접근을 제어 하기 위해 본 객체와 다른 대리인 역할을 하는 객체 를 제공한다. 본 객체 = Real subject 대리인 = Proxy 는 공통 Interface를 구현함으로서 접근 제어를 구현한다. 본 객체는 비즈니스 로직을 수행한다. 대리인 객체는 요청이 본 객체에 도달하기 전에 구현된 작업을 수행해서 직접 도달하지 않게 접근을 제어하거나 기타 로직들을 수행한다. (접근 제어, 지연 로딩, 로깅, 캐싱, 원격 프록시 등) ( **원격 프록시 = 다른 네트워크의 머신에서 돌아가고있는 객체를 대표한다. ) 요청을 보내는 클라이언트 입장에서는 실제 객체 대신 대리인 객체와 소통하고 있는 것이다. Vue의 프록시 패턴 vue.js에서는 JS의 내장 Proxy객체를 활용하여 데이터를 관찰하고 데이터가 변하면 이를 변경사항에 적용한다. => 반응성, Reactive vue3에서는 객체를 반응성 상태로 만들 때 reactive() 함수를 사용하는데 이렇게 만들어진 프록시 객체는 실제 객체에 대한 모든 접근을 가로챈다. (속성 값 변경, 생성, 삭제 등) Vue에서는 JS의 Proxy 객체를 이용하여 본 객체에 요청이 도달하기 전에 요청을 가로채서 반응성을 위한 로직을 수행한다. (본 객체에 의존하는 다른 객체에 대한 의존성 추적...

투비소프트 Nextacro

이미지
 https://www.tobesoft.com/product/nexacro 대한민국의 투비소프트에서 만든 Quick-code, Lowcode 개발 플랫폼. UI를 개발할 때 코드가 아닌 개발 블록을 사용해 높은 생산성을 제공한다. QuickCode core는 3종의 블록, 'Model', 'View', 'Controller'을 제공하는데 이 블록들의 조합으로 UI개발을 수행할 수 있다. 개발자는 QuickCode 블록을 커스터마이징 할 수 있다. View Template Asset은 4종의 블록 'Button', 'Search', 'FreeForm', 'Grid(표)'을 제공하고 Controller Asset은 3종의 블록 'Transaction', 'Pop-up', 'Message'를 제공한다. 트랜잭션은 DB와 통신할 수 있는 모듈로 보인다. 다양한 배포환경을 지원한다. Web은 물론, android, ios까지 제공하여  사용환경마다 웹 뷰가 다른 불편함을 해결할 수 있다. 아래는 넥사크로 개발문서 https://docs.tobesoft.com/getting_started_nexacro_n_ko #### 체험판 라이센스를 실행하면 60일간 사용할 수 있다. 개발 문서를 통해 간단한 테이블 형태의 웹 뷰를 만들었다. 다양한 배포 환경을 지원하는 장점이 있고 런타임 환경 설정이 직관적이고 편리했다. 마이크로소프트의 Xamarine을 다룰 때와 느낌이 비슷했다. 컴포넌트를 드래그-드롭 한 뒤 프로퍼티 창에서 수정하고 소스코드 수정하기를 눌러서 코딩한다. 소스코드를 직접 작성하는 코딩에 익숙한 개발자는 이와 같은 방식을 익히는데 시간이 필요할 듯하다.

Vue 첫 걸음

Vue 하나도 모르는 상태에서 vue를 시작하면 최근 Vue 프로젝트와 API 서버 프로젝트를 번갈아가며  기능 수정/개선 작업을 수행했다. 간단한 API 호출 코드 수정과 vue 라이브러리, 내장 v-디렉티브를 활용하여 조건과 데이터에 따라 일부 UI를 변경하는 정도까지는 할 수 있었지만  FE 프로젝트 자체를 0부터 쌓아올린 것은 아니기에 집에서 사이드 프로젝트를 진행하며 정리하려고한다. 요즘 프로젝트 구성 global 환경 node.js - npm (or yarn)은 vue 프로젝트 환경을 구축하기 전에 설치해야 할 소프트웨어이다. node.js는 브라우저에서만 작동할 수 있었던 JS를 자바스크립트 서버 환경에서 돌아갈 수 있게 한다.(로컬, 리모트) 크롬의 V8 자바스크립트 런타임 엔진을 기반으로 구축되었다. vite.js 웹팩과 같이 js파일을  덩어리를 묶는 대신 네이티비ㅡ ES 모듈 임포트 기능으로 모듈을 불러오는 JS 개발 서버이다. 이전 기본 툴에는 vue cli가 있으며 웹팩을 사용한다. vue 커뮤니티는 vue 프로젝트를 생성하고 관리하는 기본 툴로써 vue cli에서 Vite로 대체했다. ts 문제 최신 프론트엔드 프레임워크의 프로젝트에서는 주로 Typescript와 의존성, 배포 설정 파일들이 함께 사용된다. 타이핑을 통해 체계적이고 가독성 높은 코드를 작성할 수 있는 장점이 있다. 당장 ts를 사용할 수는 없었다. 당장 npm init vue@{vue 버전}을 통해 프로젝트를 초기화해도 Cannot find module './App.vue' or its corresponding type declarations 라는 에러를 마주할 수 있는데 Typescript와 vue를 혼용해서 사용할 때 당장 처음에는 TS가 App.vue의 타입을 인식하지 못하기 때문에 발생한다. .vue 모듈을 TS가 인식할 수 있는 타입으로 정의해 주어야 하는데 관례적으로 'shims-vue.d.ts' 라는 파일명에 정의한다. 이 파일...

WAS 프레임워크에서의 직렬화, 비직렬화

직렬화/비직렬화 웹 애플리케이션 서버 프레임워크 웹 애플리케이션 서버 프로그램이 어떤 프로그래밍 언어의 소스 코드로부터 컴파일 됐든 인터넷을 통한 통신을 수행하려면 웹 생태계의 규칙을 따라야한다. 웹 애플리케이션 서버 프로그램은 일반적으로 각 언어들의 웹 애플리케이션 서버 프레임워크로부터 만들어지는데 이 프레임워크에서 직렬화/비직렬화 개념이 나온다. 송신자 & 수신자, 직렬화 & 비직렬화 직렬화 송신자가 객체를 문자열로 변환하여 데이터를 전송하는 작업. 비직렬화 수신자가 수신한 문자열을 다시 객체로 변환하여 활용하는 작업. 여기서 송신자, 수신자는 모두 웹 애플리케이션 서버이다. 웹 애플리케이션 서버에 로직을 작성하는 프로그래머는 그 언어와 프레임워크와 종속된 소스코드를 사용하는데 앞단의 웹 서버와 같은 소프트웨어나 더 멀리 있는 이기종의 장치는 이를 이해하지 못한다. 때문에 컨버팅 작업이 필요한데 이 컨버팅 작업을 직렬화/비직렬화라고 한다. Python web application framework를 예로 들자면, 파이썬으로 로직 처리가 끝난 데이터를 response 객체에 담아 반환하여 줄 때가 직렬화, 클라이언트의 요청이 request 객체로 추상화될 때가 비직렬화라고 할 수 있겠다. 끝

Python의 빌트인 class들의 관계

이미지
파이썬의 iterable, iterator , generator, container의 관계를 설명할 때 많이 사용하는 그림이다. 나는 여기에 몇 가지를 좀 더 추가했다. generator는 iterator의 일종이나, 특별한 iterator라고 볼 수 있다. 게으른 factory와 같이 값을 미리 보유하고 있는 것이 아니라 필요에 따라 생성한다. python에서 제공하는 list, dict, ...등과 같은 객체들은, 선언과 동시에 안에 무엇을 담을지 결정하여 초기화시킬 수 있다. 그 코드에서 list, dict와 같은 객체들은 1,2,3,4와 같은 정수 배열을 담거나 key-value를 담은 container를 생성한다. python에서 제공하는 container 객체들 그리고 대부분의 container 객체들은 iterable, 순회할 수 있지만, 프로그래머 스스로 순회할 수 없는 container class를 구현할 수도 있다. int, float, double과 같은 자료형은 literal이며 container가 아니고, 순회할 수도 없다.  

CPython의 메모리 할당 시스템-1

이미지
CPython의 메모리 할당 시스템 Python의 기본 구현체 CPython의 메모리 할당 시스템은 C의 동적 메모리 할당 시스템 에 의존한다. CPython과 C의 동적 메모리 할당 시스템  중간 계층에 속하는 PyMemAPI 은 메모리 관리의 단순화 를 통해 프로그래머가 애플리케이션 로직에 집중할 수 있다. 메모리 관리의 단순화라고 하면은, 프로그래머가 직접 객체나 변수에 할당된 메모리를 해제하는 것이 아니라 (메모리 할당 해제 소스코드를 작성함으로써) 런타임 상에서 제공하는 GC, 참조 카운팅 기법을 사용하여 메모리를 자동으로 해제한다. 참조 카운팅 API - Py_INCREF : 값에 의존할 때 증가한다. - Py_DECREF : 값에 의존하지 않을 때 감소한다. 참조 카운트 값이 0이 될 때 자동으로 해제된다. 음수가 되기 시작한다는 것은 증감 연산의 짝이 맞지 않는다는 뜻이며 참조 카운팅에 결함이 생긴 것이다. 코드 로직 상 '순환 참조' 가 일어날 때도 생기는데 '순환 참조'를 해결하기 위한 GC가 Background에서 구동된다.

Javascript의 Defer vs async

스크립트는 다운로드 된 후에야 실행될 수 있다. 너무나 당연한 얘기다. 그렇기 때문에 때로는 원하는 순서대로 브라우저가 동작하지 않고 사용자 경험을 떨어뜨릴 수 있는 요인이 되기도 한다. 파싱 도중 script를 만날 때 <script> browser는 HTML을 읽다가  <script></script> 구간을 만나면 script를 먼저 순차적으로 실행하기 위해 파싱을 멈춘다. src 속성이 있는 외부스크립트 <script src="..."></script>를 만났을 경우도 마찬가지다. 이 경우에는 외부 스크립트를 다운받고 실행한 후에야 남은 page를 처리할 수 있다. <script async> 파싱 도중 <script async>를 만나면 문서 파싱 + 스크립트 다운로드를 같이 진행한다. 스크립트는 백그라운드에서 다운된다. 스크립트 다운이 완료되면 파싱을 멈추고 다운받은 스크립트를 실행한다. async의 의미답게 마치 비동기 이벤트처럼 동작한다. 다운받은 스크립트 실행이 끝나면 남은 문서를 마저 파싱한다. 돔이 100% 형성되지 않아서 dom 객체 존재하지 않는 context에서 html 객체를 참조하려고하면 오류를 raise한다. 방문자 수 카운터, 광고 블록과 같은 독립적인 script처럼 실행 순서가 중요하지 않은 경우에 적용한다. <script defer> defer 스크립트 또한 백그라운드에서 스크립트 다운로드를 진행하기 때문에 파싱 작업을 막지 않는다. defer로 받은 script의 실행시점은,  </html>을 만났을 때, 즉, 문서의 끝에 도달했을 때 실행된다. </html> - (실행 시점)  - DOMContentLoaded script를 실행할 때 html 요소들이 반드시 선행적으로 필요한 경우 defer를 사용한다. defer 속성은 기본적으로 true이다. script에 src속성이 없다면 d...

K패스 페이앱으로 수수료 안내고 사용하기

이미지
  K-패스 K패스 시스템은 지자체 50%, 정부 50%가 재원을 구성하여 조건에 부합하는 대상에게 교통 요금 일부를 환급 해준다. 아무거나 발급받아 사용하면 카드를 사용하면서도 수수료를 내야하는 경우가 있는데 어떤 경우에 수수료를 내야하며 어떻게하면 수수료를 내지않고 교통 요금 일부를 환급받을 수 있는지 정리했다. 선/후불 - 신용/체크 - 페이앱 or 실물카드 내 상황을 예를 들어 설명하면, 나는 후불 교통카드기능 이 있는 신용카드 를  삼성 페이 앱 에 등록하여 사용하고 있었다. 굵게 강조한 부분만 잘 살펴보면 내가 돈을 추가로 내며 사용해야 하는 지 알 수 있다. 삼성 페이는 페이 앱에 대한 수수료는 없는 것처럼 보이지만 이건 등록한 카드에 따라 다르다. (카드사 - 카드 종류(신용/체크) - 교통카드기능(후불/선불) ) 이건 페이먼트 운영사나 카드사 정책에 따라 달라지기 때문에 단순히 목록에 나타나지 않았다고해서 일반화 할 수는 없다. 페이앱에 굳이 등록하지 않고 K패스에만 등록해도 사용할 수 있다. 그러나 편의를 위해 휴대폰을 교통카드로서 사용하고 싶다면, 그리고 여기서 발생할 수 있는 수수료를 내기 싫다면 아래의 내용을 더 읽어볼 필요가 있다. 카드 등록하기(k패스) 사용자, 즉, 우리가 어디에 무엇을 등록하는 지만 보면 된다. 간략하게 그림으로 정리해보면 다음과 같다. 정산이 어떻게 이루어지는 볼 필요 없다. 우선 발급받은 카드를 K 패스 시스템에 등록한다. 그래야 기록을 바탕으로 얼마를 환급받을 지 K패스에서 계산하여 환급받을 수 있다. 사실, 여기까지만 해도 카드를 쓰고, 환급 받는 데에는 문제가 없다. 운송사도, 카드사도, K패스도 필요한 정보는 전부 알고 있다. 그러나 편의를 위해 카드를 페이 앱에 등록하여 휴대폰을 개찰구 단말에 찍어서 교통 요금을 납부하고 싶을 때에는 좀 더 절차가 필요하다. 카드 등록하기(삼성페이) 휴대폰이 교통 카드의 기능을 대신해야하므로 1. 휴대폰(e-sim) <-> 페이 앱 with ...

Celery를 활용한 로깅 시스템 , 회고

이미지
최근 .csv, .tsv 등의 형태로 전송되는 로깅 파일을 저장하기 위한 시스템을 구축했다. 프로젝트를 진행하면서 사용한 기술에 대한 회고를 정리했다. (프레임워크에 종속되는 특성보다는 처리 로직에 초점을 맞추었다.) Before deploying Celery 테스트 서버에서 로깅 파일 처리 부하로 인해 서비스들이 멈추기 전까지는 메시지 큐를 활용하여 처리할 필요성을 느끼지 못했다. 그야 동시 요청 수도 없다시피하고 이상적인 환경이니까 그렇다. 이런 환경에서는 웹 애플리케이션 서버가 요청 검증, 파일 파싱, 데이터 전처리, DB I/O 모두 처리할 수 있다. 이 경우에는 파일로 만들어 저장하지 않고 Request 객체로 받은 binary를 파싱했다. 그러나 동시 요청수가 굉장히 많고 언제 Peak request를 찍을 지 알 수 없는 환경에서 안정적인 아키텍쳐는 아니다. 부하 발생 - 모니터링 툴 Locust를 사용하여 측정했을 때, 500명 동시 접속 환경까지 증가시키며 1초에 1번 계속해서 리퀘스트를 보냈을 때 WAS Worker가 2개인 환경에서 금방 리소스가 바닥나서 실패 응답을 받기 시작했다. 지연 응답이 아닌 실패 응답이 나타나기 시작하면 아키텍쳐든 코드든 효율성을 고려하여 수정해야한다. After deploying Celery 실시간에 가깝게 로그 파일을 처리하지 않고, 조금의 지연이 생기더라도 로그 파일을 제대로 처리한다는 보장이 있으면 파일 저장/파일 처리 로직을 담당하는 프로세스로 나누어서 각 프로세스의 작업의 무게를 줄일 수 있다. 이렇게 구성한다면 요청 인증/파일 저장/파일 처리 로직을 전부 맡아서 하던 WAS는 요청 인증/파일 저장까지만 하고 그 뒤의 일은 Background worker에게 맡긴다. 이렇게 한다면 메모리 누수와 같은 결함으로 시스템 전체의 자원이 동나지 않는 이상 WAS의 파일 처리량을 늘릴 수 있다. 그렇다면 Backgorund worker는 어떻게 자신이 처리해야 할 일을 알 수 있을까? 이 use-case에서는 자...

Clean code TIL 12장. 창발성

이미지
모든 테스트를 실행하라 설계한 의도대로 돌아가는지 검증해야한다. 테스트가 가능한 시스템을 만드려고 애쓸수록 품질이 높아진다. SRP를 준수하는 클래스는 테스트가 더 쉽다. 철저한 테스트가 가능한 시스템을 만들면 더 나은 설계가 얻어진다. 결합도가 높으면 테스트 케이스를 작성하기 어렵다. 테스트 케이스를 만들고 계속 돌리라는 규칙을 준수하면 저절로  낮은 결합도 & 높은 응집력이라는 목표가 달성된다. 리팩토링 리팩터링을 위한 테스트 케이스가 있으므로 코드를 정리하며 시스템이 깨질 염려를 하지 않아도 된다. 중복을 없애라 중복은 추가 작업, 추가 위험, 불필요한 복잡도를 뜻한다. 깔끔한 시스템을 만드려면  단 몇 줄이라도 중복을 제거하겠다는 의지가 필요하다. 가시성이 높아지고 다른 팀원이 다른 맥락에서 재사용할 기회를 포착할 수 있다. 소규모 재사용은 시스템 복잡도를 극적으로 줄여주며 소규모 재사용을 제대로 익혀야 대규모 재사용이 가능하다. * TEMPLATE METHOD 패턴을 참고하자 프로그래머의 의도를 표현하라 1. 좋은 이름을 선택하라 2. 함수와 클래스 크기를 가능한 줄인다. 3. 표준 명칭을 사용한다.     디자인 패턴을 쓴다면, 패턴 이름을 클래스에 넣어준다. 4. 단위 테스트 케이스를 꼼꼼히 작성한다. 5. 주의를 기울이자. 주의는 대단한 재능이다. 클래스와 메서드 수를 최소로 줄인다. 중복 제거, 의도 표현, SRP 준수 등의 개념도 극단으로 치달으면 득보다 실이 많아진다. "가능한 한" 줄이고 무의미할 정도로 작게 만들지 않도록 하자.  * 참 어렵다고 생각한다. 무의미하고 독단적인 정책 탓에 클래스 수와 메서드 수가 늘어나기도 한다. 예 ) 클래스마다 무조건 인터페이스를 생성하는 요구하는 구현 표준 독단적인 정책, 견해보다는 실용을 택하자. 가장 중요한 "경험" 경험을 대신할 단순한 개발 기법은 없다.

Clean code TIL 11장. 시스템

* 11장부터는 노마드 코더 개발자 북클럽 챌린지가 아닌   개인적으로 읽고 작성한 후기입니다.

ML모델 서빙 프레임워크

이미지
<ML 모델 서빙 파이프라인>은 다음 3개의 파트로 나뉜다. 1. 데이터 파이프라인 : 실시간 or 배치로 데이터를 수집 2. 모델 파이프라인 : 모델을 학습시킴 3. 서빙 파이프라인 : 학습된 모델을 서비스로 서빙. 서빙 파이프라인에서는 또 3.1 전처리 3.2 추론  3.3 후처리 을 거쳐 사용자에게 결과를 전달한다. 서빙 파이프라인을 위한 "모델 서빙 프레임워크"에 대해서 정리했다. 모델 서빙 프레임워크 선정 기준 https://tech.kakaopay.com/post/model-serving-framework/#user-content-fnref-1 Warm-up 전, 후 Latency 개선 여부 모델 저장소에 따른 업데이트 방식 Concurrent model execution               여러 개의 모델을 같이 인퍼런스               하나의 모델을 여러 인스턴스로 실행시켜 병렬적으로 인퍼런스 Dynamic Batch 성능 ( Triton )                    Triton 서버에서 동적으로 배치 크기를 만들어 인퍼런스 수행   안정성 : 장시간 인퍼런스 가동시 메모리 누수등의 이슈 * 링크의 포스팅에 따르면 모델 서빙 프레임워크 비교를 위해 모델을 Tensorflow 모델로 고정해서 테스트했다. 다른 모델을 사용한다면 결과가 달라질 수도 있다. * 모델 개발을 하는 머신러닝 리서치는 파이썬으로 모델 서빙 백엔드 개발자는 Kotlin+Spring boot로 서버를 개발했다. * 모델별 최적의 포맷이 다른 상황은 여러 개의 모델을 서빙하는 인공지능 서비스에서 개발 생산성 저하와 운영의 부담을 가중시킨다. 모델 서빙 프레임워크 FastAPI Python F...

노마드코더 개발자북클럽 Clean code 완주, 독후감

이미지
짧은 기간 동안 Java로 쓰여진 클린 코드 책을 읽으며 코드를 짤 때 더 정성을 들여 쓰는 습관을 들였다. 당장 작동하는 코드보다는 유지 보수가 편한, 수정보다는 확장을 할 수 있는, 잘 읽히는, 정직하고, 하나의 일에 몰두하는 그런 코드를 짜려고 했다. 퇴근을 하고 책상 앞에 앉으면 오늘 작성했던 class가 아른거리고 과연 이게 최선이었을까 생각하게 되었다. ========================================================== 책을 읽으면서 대부분 공감하고 고개를 끄덕일 수 있었지만 좋은 코드를 쓰는 법을 아는 것과 좋은 코드를 쓰는 것에는 큰 차이가 있다. 좋은 코드를 쓰는 법을 알기만 해서는 그저 말로만 잘난 체 할 수 밖에 없을 것이다. 좋은 코드를 쓰는 사람은 코드 리뷰를 하며 시스템 변경에 유연한 구조인지 고민한다. 확실히 후자가 더 고된 작업이지만 견고한 프로덕트를 만드는, 실체가 있는 실력이 는다고 생각한다. ========================================================== Java기 반의 코드를 이해하기는 쉽지 않았지만 확실히, Java가 객체 지향적인 장치가 많다고 느꼈다. Python 웹 개발자라면 당장 객체지향 원칙이나 디자인 패턴을 익히기 보다는 웹 애플리케이션 프레임워크를 익히기를 추천한다. 그 중에서도, FastAPI를 추천하는데 Layer와 Depends를 사용한 설계 장치를 사용하며 실전 감각을 기르면서 객체지향적인 사고를 할 수 있다. 혼자 상향식으로 배우기 버겁다면 Framework의 규칙을 따르며 배워나가는 것이 효율적이라고 생각한다. 그리고 이렇게 해야 실전 감각을 느낄 수 있다. ========================================================== 클린 코드 북클럽 챌린지 덕분에 오늘도 나는 하나의 괴이한 모듈을 처리했다. util 패키지의 fileutil이라는 모듈인데 온갖 잡다한 파일 처리를 다 도맡아 하...

노마드코더 개발자북클럽 Clean code Mission(2) : 예시 만들기

Python 리팩토링 원칙1과 예시 원칙 1. Dependency Inversion Principle 클래스는 상세한 구현이 아닌 추상화에 의존해야 한다. [before] class Pedal:     def __init__(self, _type:str):          self.pedal_type = _type     def get_pressure(self)->int:            if self.pedal_type == 'accelerator':               sensor = AcceleratorSensor()               pressure = sensor.copy_pressure_buffer()                # do something           elif self.pedal_type == 'brake':             sensor = BrakeSensor()             pressure = sensor.copy_pressure_buffer()             # do something          elif self.pedal_type == 'clu...

Before coding in vue.js

UI 개발을 위한 Progressive Framework, vue.js "Progressive" of vue.js Web, 네이티브 앱(ios, android)의 이점을 모두 수용하여 표준적인 패턴으로 개발함. 제공하는 웹 사이트의 특징에 따라 개발 방식도 달라져야하기 때문. 데이터 지향 화면을 렌더링하는 구조 자체는 dom이 아니라 javascript다. 데이터가 먼저 존재하고 데이터를 기반으로 적절한 dom을 구축한다. Two way 데이터 바인딩 데이터와 렌더링을 동기화하는 구조를 가진다. UI 패턴이 많아지면 dom을 변경하는 코드가 많아진다. vue에서는 dom 변경 작업을 vue 프레임워크에 맡긴다. html dom과 데이터가 서로 양방향으로 연결되어 있어서 어느 한쪽에 변경이 일어나면, 다른 쪽에 자동으로 반영된다. 이를 통해 휴먼 에러와 코딩양 자체를 줄일 수 있다. v-directive 속성 가상 dom을 만들기 위한 템플릿 기법. Dom에 반영하기 전에 vue.js 프레임워크에 의해 컴파일 되고 내부적으로만 사용한다. ex) v-if, v-bind, key 데이터 바인딩과 관련된 처리를 실시한다. html속성과 다르게 v-디렉티브는 애플리케이션에 등록되어 있는 데이터 전용 객체의 속성을 나타낸다. Mount 배치할 요소와 애플리케이션을 연결하는 것. 컴포넌트 기능별로 html/js/css 세트로 구성할 수 있다. 컴포넌트를 조합하면 페이지를 구조화하여 만들 수 있다. vue.js를 통해 부품을 만들고 vuex를 통해 부품들로 구성된 페이지를 만들고 vue router를 통해 여러 개의 페이지를 관리한다. 가상dom 작은 변화가 발생 해도 DOM 트리 구조 모두 갱신하기보다, 추상화된 dom문서로부터 가상의 DOM에서 메모리에서 처리 후 실제 DOM과 동기화.(실제 DOM갱신) 1. 데이터 변경과 실제 dom변경 처리는 비동기적으로 이뤄진다.     dom조작을 최소한으로 유지하므로 렌더링 성능이 높다. 2. 그러나 dom 재...

노마드코더 개발자북클럽 Clean code TIL 9 : 10장. 클래스

         오늘 TIL 3줄 요약 구체적인 클래스는 상세한 구현을 포함한다. 추상 클래스는 개념만 포함한다. 새 기능을 수정하거나 기존 기능을 변경할 때, 건드릴 코드가 최소인 시스템 구조가 바람직하다. 이상적인 시스템이라면  새 기능을 추가할 때,  시스템을 확장할 뿐 기존 코드를 변경하지 않는다. TIL (Today I Learned) 날짜 2025. 06.08 오늘 읽은 범위 10장 클래스 기억하고 싶은 내용을 써보세요. 리팩터링한 프로그램은 좀 더 길고 서술적인 변수 이름을 사용한다. 리팩터링한 프로그램은 코드에 주석을 추가하는 수단으로 함수 선언과 클래스 선언을 활용한다. 가독성을 높이고자 공백을 추가하고 형식을 맞춘다. 클래스에 손대는 순간 설계를 개선하려는 고민과 시도가 필요하다. 모든 파생 클래스가 공통적으로 사용하는 비공개 메서드는 유틸리티 클래스에 넣었다. DIP는 클래스가 상세한 구현이 아니라 추상화에 의존해야 한다는 원칙이다. 오늘 읽은 소감은? 떠오르는 생각을 가볍게 적어보세요 변경으로부터의 격리 Part에서, 시시각각 값이 변하는 외부 API 테스트를 위한 방법을 설명한다. 고정된 주가를 반환하는 테스트 코드를 통해 시스템 결합도를 낮추는 것에 핵심이 있다. Java를 배우지 않았지만 그냥 눈으로 읽으며 이해하는 것과 , 따라 치면서 이해하는 것엔 큰 차이가 있다. 그래서 Java코드를 따라 치면서 코드를 이해했다. Portfolio 클래스에서 TokyoStockExchange API를 직접 호출하는 대신 Stock Exchange라는 인터페이스를 생성한 후 메서드를 하나 선언한다. public interface StockExchange { Money currentPrice(String symbol); }  다음으로 StockExchange 인터페이스를 구현하는 TokyoStockExchange 클래스를 구현한다. 또한 Portfolio 생성자를 수정해 Stoc...

이 블로그의 인기 게시물

Blogger 커스터마이징 : CSS 수정 (sticky-header)

노마드코더 개발자북클럽 Clean code 완주, 독후감

노마드코더 개발자북클럽 Clean code TIL 7 : 7장. 오류 처리