[카프카] 도커(Docker)를 이용한 카프카(Kafka) Posted on 2022-04-17 | In Data Engineering 도커를 설치하여 도커 환경 위에서 카프카 클러스터(Cluster)를 구축(주키퍼 및 브로커 생성)하고, 이용하는 방법 Read more »
[아테나] 아테나(Athena)를 위한 Amazon S3 데이터 파티셔닝 Posted on 2022-04-02 | In Data Engineering 하이브(Hive)의 간단한 개념과 아테나 분석 환경을 위한 S3 데이터 파티셔닝 및 테이블 생성 및 로드(Load) Read more »
[카프카] 컨슈머(Consumer)와 파티션(Partitions)의 관계 Posted on 2022-03-19 | In Data Engineering 카프카 프로그래밍으로 넘어가기 전 컨슈머 그룹과 파티션이 가지는 의미 Read more »
[카프카] 프로듀서(Producer), 컨슈머(Consumer) CLI Posted on 2022-03-07 | In Data Engineering 카프카 브로커를 실행시켜 토픽을 만들고, 프로듀서에서 메세지를 만들어 그것을 컨슈머에서 받아 마지막으로 컨슈머 그룹을 이루는 방법 Read more »
[카프카] 주키퍼(Zookeeper) 콘솔에서 브로커(Broker) 시작 및 토픽(Topic) 생성 Posted on 2022-03-03 | In Data Engineering 카프카 클러스터의 여러 요소들의 설정을 정하는데 사용되는 주키퍼 콘솔에서 데이터 스트림이 어디에 퍼블리시될 지 정하는 데 쓰이는 (브로커로부터 서빙되는) 토픽 생성 방법 Read more »
[카프카] 카프카(Kafka)의 클러스터, 프로듀서, 컨슈머, 주키퍼 및 설치 Posted on 2022-02-27 | In Data Engineering 카프카의 클러스터(Cluster), 프로듀서(Producer), 컨슈머(Consumer), 주키퍼(Zookeeper)의 개념과 설치 과정 Read more »
[아테나] 아마존 아테나(Amazon Athena) + 리대시(Redash) 연동 Posted on 2022-02-26 | In Data Engineering S3에 적재된 데이터를 핸들링하기 위한 아마존 아테나와 리대시 연동하는 방법 Read more »
[아테나] 분석용 데이터 적재를 위한 Amazon RDS ⚔️ S3 + Athena Posted on 2022-02-16 | In Data Engineering 프로젝트 진행 전 설계한 파이프라인의 효율적 방안 모색 후, 찾게 된 S3 파티셔닝의 방법 및 새로운 아키텍쳐 설계 과정 Read more »
[자료구조] 트리(Tree)란? Posted on 2022-02-03 | In Computer Science 트리의 개념과 용도. 이진 트리와 이진 탐색 트리의 차이. 파이썬으로의 구현. 트리의 시간 복잡도와 단점 Read more »
[자료구조] 해시 테이블(Hash Table)이란? Posted on 2022-01-27 | In Computer Science 해시 테이블의 개념과 구조. 해시 테이블의 장단점. 해시 테이블의 충돌 해결 알고리즘. 해시 테이블의 시간 복잡도 Read more »