글

라벨이 data-stream인 게시물 표시

배치 처리와 실시간 처리

배치 처리 배치 처리 프로그램 특징 - 사용자와 상호작용하지 않음 - 대량의 data를 처리하며 - 일련의 작업 묶음으로 이뤄져있다. 배치 프로그램의 주기 - 정기적으로 작업을 수행하거나 - 조건을 만족하는 이벤트가 발생 할 때 실행 - 사용자의 요구 조건에 따라 배치를 수행하는 경우는 on-demand 배치라고한다. on-demand 배치는 일반 배치프로그램처럼 테이블 전체에 대해 수행하거나 하지는 않고 제한적인 범위에 대해 수행한다. 예를 들어, 일반 사용자의 on-demand 배치가  전체 거래량에 대해 정산을 하지는 않는다.  배치 프로그램의 튜닝 대용량 배치 프로그램 튜닝에서 중요한 것은 전체 처리 속도를 낮추는 것이다. 기업에서는 배치 프로그램을 관리하는  "배치 윈도우"라는 설계도, 문서가 있는데 이는 배치 프로그램들의 튜닝과 플랜을 짜는데 도움이 된다. 일반적으로 배치 프로그램은 dbms 상에서 수행되는 일련의 sql 작업들로 구성되며 이 sql문의 튜닝이 전체 처리 속도에 큰 영향을 미친다. 배치 프로그램 구조 이 sql 작업들은 - one sql  = 하나의 sql문으로 전체 프로세스를 짜는 것 - 각 언어 구현체의 데이터베이스 커서를 사용하여 루프를 돌면서 실행한다. - one sql보다 성능적으로 권장되는 방법은 one sql을 여러 sql 집합으로 쪼개서 단계적으로 실행하는 것이다. commit시점이나 횟수가 완전 동일한 로직이라는 가정하에  one sql이 curosr loop보다 더 간편하고 관리하기가 용이하다고 생각한다. 배치 관리 프로그램 - .sh - .py - sql (1단계)                                    - .sh - .py - sql (2단계)    ...
댓글 쓰기
Read more »

데이터 스트림_2(gstreamer, socketio, rabbitmq, kafka)

이번 글에서는 지난 1년동안 웹기반 실시간 영상 프로젝트에 참여하며 배운점을 공유하면서 프로젝트에서 쓰인  gstreamer라는 스트리밍 플랫폼, socketio, rabbitmq와 rabbitmq와 유사한 kafka와 같은 이벤트 기반 프레임워크와 비교하겠다. 이 비교과정을 통해서 스트리밍, 비동기 프로그래밍, callback 기반 코드, 이벤트 기반 프레임워크 등에 대해   더 깊은 이해를 할 수 있었다. 위 제품들은 아주 큰 범위의 streaming에서만 일맥상통하고 메커니즘, 지향하는 바는 제각각이기 때문에 쓰이는 분야 또한 제각각이다. 지난 1년간, 프로젝트에서 gstreamer는 주로 미디어 처리 역할을 수행하게 되었다. gstreamer gstreamer는 c로 작성된 객체지향형 프레임워크인 gobject를 기반으로 구성된 프레임워크이다. gstreamer 자체는 pipeline, bin, element을 구현하기 위한 코어 모듈들 콜백 시스템 구현을 위한 각종 시그널, 버스, 메시지 등의 모듈들로 구성되었다. 그 외에 각종 plug-in들은  gstreamer 프레임워크를 준수하며 사용 목적에 맞게 개발자들이 제작한 것이다.  나는 그중에서도 실시간 영상 스트리밍을 위해 rtspsrc, hlssink(multifilesink의 상속), avdec, h264parse, x264enc 과 같은 인코딩, 디코딩, 파싱 모듈을 사용했으며 이는 영상처리를 위한 플러그인들이다. 파이프라인에 흘러갈 소스가 동영상이 아닌 경우에는 다른 플러그인을 사용하면 된다. rtsp src는 적절한 연결-수립 통신 이후에는 - rtp packet을 보내게되고 이 rtp-packet에서 변환 과정을 거쳐야 영상처리를 위한 데이터를 뽑을 수 있다. rtsp packet rtp packet -> h264 -> x-raw (이 부분부터 raw 파일을 조작할 수 있다.) 작업했던 프로젝트에서는 gstreamer에서는 rtspsr...
댓글 쓰기
Read more »

데이터 스트림_1(이론)

이미지
Streaming data Data stream What is streaming data, data stream? 막연하게 이름으로만 해석하면 '데이터가 흐르는' 개념이라고 생각한다. 데이터가 흐르다니, 어떻게 움직이는 것을 '흐르다'라고 표현할까? 인터넷 회선이 연결된 곳, 그리고 무선 네트워크가 닿는 곳이라면 어떻게든 데이터를 송/수신 할 수 있다. 인터넷과 연결되지 않는 폐쇄망 및 로컬 네트워크에서도 데이터는 송/수신 할 수 있으며 CAN 프로토콜 위에서 나르는 데이터도 있다. (사용자 이동통신단말기, 서버, IoT 디바이스 등) 위 형태들도 Data가 오고 가고있으니 stream이 아닐까?
댓글 쓰기
Read more »

이 블로그의 인기 게시물

실무진 면접 경험으로 정리하는 백엔드 (1) : 에듀 테크 기업 면접

에듀 테크 기술 면접 시간 내어 이력서를 꼼꼼하게 봐주시고 서류상으로는 회사에서 원하는 background라고 생각해주셔서 느낌이 좋았다. 최근 본 면접들 중 가장 깊이있는 질문을 해주셨고 오답과 대안에 대한 설명도 해주셔서 배워갈 수 있었다. 아쉽게도 합격하지 못했지만 좋은 면접 경험이었기 때문에 다음 면접에서 더 견고한 답변을 위해 정리해보았다. 질문&답변&더 나은 답변 일반 질문 이직 사유? 경영상의 이유로 인한 권고사직, 프로덕트 개발과 프로덕트 피벗 과정의 공백기 회사의 이 직군에 지원하면서 뭘 기대하는지? 거의 혼자서 개발을 해왔는데 다른 관점의 의견을 들을 기회가 없었다. 여러 개발자의 의견을 듣고 내 의견에 태클을 걸며 같이 발전하면 좋겠다. 공백기에 뭐하고 있는지 ?  1. django template과 admin, 그리고 오픈소스 wysiwyg를 사용하여 블로깅 서비스 사이드 프로젝트하면서 풀스택 공부중이다. 2. 현업에서 줄곧 이미 구축된 ci/cd를 사용해오고있었는데 직접 구현을 학습하기 위해 github action workflow를 공부하고 있음.  기술&개발 관련 관리형 서비스를 쓰지 않고 aws ec2를 쓴 이유 ? - 비용문제 vpc 어떻게 설정했나? - production region은 모든 ip에 대해서 열고   development region은 사무실 개발 pc와 사무실 기기들의 ip만 접근가능하도록 함 nginx ssl 적용했다고 하는데, 인증서 뭐 사용했나? - 'let's encrypt'사용했는데 생각이 안나서 대답못함. socketio에는 wsgi or asgi? - wsgi vs asgi 차이점에 대해서 답변함. django vs fast api ? - 동기, 비동기 서버 기반과 기타 feature에 대해서 답변함. - django에서 기본 제공되는 템플릿, admin,ORM과 미들웨어들 - fastapi는 기타 기능들을 따로 붙여서 써야한다고 답변, django도 ...
Read more »

노마드코더 개발자북클럽 Clean code 완주, 독후감

이미지
짧은 기간 동안 Java로 쓰여진 클린 코드 책을 읽으며 코드를 짤 때 더 정성을 들여 쓰는 습관을 들였다. 당장 작동하는 코드보다는 유지 보수가 편한, 수정보다는 확장을 할 수 있는, 잘 읽히는, 정직하고, 하나의 일에 몰두하는 그런 코드를 짜려고 했다. 퇴근을 하고 책상 앞에 앉으면 오늘 작성했던 class가 아른거리고 과연 이게 최선이었을까 생각하게 되었다. ========================================================== 책을 읽으면서 대부분 공감하고 고개를 끄덕일 수 있었지만 좋은 코드를 쓰는 법을 아는 것과 좋은 코드를 쓰는 것에는 큰 차이가 있다. 좋은 코드를 쓰는 법을 알기만 해서는 그저 말로만 잘난 체 할 수 밖에 없을 것이다. 좋은 코드를 쓰는 사람은 코드 리뷰를 하며 시스템 변경에 유연한 구조인지 고민한다. 확실히 후자가 더 고된 작업이지만 견고한 프로덕트를 만드는, 실체가 있는 실력이 는다고 생각한다. ========================================================== Java기 반의 코드를 이해하기는 쉽지 않았지만 확실히, Java가 객체 지향적인 장치가 많다고 느꼈다. Python 웹 개발자라면 당장 객체지향 원칙이나 디자인 패턴을 익히기 보다는 웹 애플리케이션 프레임워크를 익히기를 추천한다. 그 중에서도, FastAPI를 추천하는데 Layer와 Depends를 사용한 설계 장치를 사용하며 실전 감각을 기르면서 객체지향적인 사고를 할 수 있다. 혼자 상향식으로 배우기 버겁다면 Framework의 규칙을 따르며 배워나가는 것이 효율적이라고 생각한다. 그리고 이렇게 해야 실전 감각을 느낄 수 있다. ========================================================== 클린 코드 북클럽 챌린지 덕분에 오늘도 나는 하나의 괴이한 모듈을 처리했다. util 패키지의 fileutil이라는 모듈인데 온갖 잡다한 파일 처리를 다 도맡아 하...
Read more »

Blogger 커스터마이징 : CSS 수정 (sticky-header)

이미지
sticky-header, centered-top-container sticky animating 삽질1 google blogger의 템플릿 테마중 하나인 Contempo에서는  스크롤을 어느 정도 내린 상태에서 다시 올리면 상단의 검색창이 내려와서 스크롤을 다시 내릴 때까지 유지된다. (이 "어느 정도"에 해당하는 값은  기본 테마의 javascript에 코딩 되어있을 것으로 추측한다.) css 수정 후 이 부분에 문제가 생겨서 내릴때에도 올릴 때에도 계속 검색창이 내려오고 사라졌다를 반복한다. < 페이지 최하단 모습 > 데이터를 색인하여 찾을 때는 유용한 기능이라고 생각하지만 검색 기능은 이미 블로그 최상단에 존재한다. 따라서 해당 기능을 제거하기로 했다. scroll event를 감지하고 그에 따라 html이나 css문서를 수정하는 작업은  javascript가하는 일이다. html 편집기를 통해 코드를 살펴본 결과 이 javascript 코드는 외부 cdn 서버에서 가져오는 것 같다.  javascript 코드를 직접 건드려야되나 싶어서 구글링 해 본 결과 간단하게 css 코드를 수정해서 없앨 수 있었다. sol) sticky-header 제거 https://joshua-dev-story.blogspot.com/2020/04/blogger-remove-sticky-header.html FE, Publishing 에서는 '고정 헤더'라고 부르고 있는 이 태그의 css를 수정하면 된다. display 옵션을 none으로 바꿔서 기존 요소의 block을 전부 없애고 기능까지 해제해버리는 것. 이 sticky header를 보이지 않게하는 방법은 opacity를 0으로 만들거나 visibility를 hidden으로 할 수도 있지만 display : none 옵션이 가장 확실해보인다. 수정 후 여전히 scroll 이벤트에 따라 DOM의 변경이 일어나는 것 같지만 sticky header는 더이상 보이지 않는다. 삽질2...
Read more »