[에어플로우] 에어플로우(Airflow)의 CLI와 UI

Posted on 2022-01-05 | In Data Engineering

에어플로우 설치 후 CLI 및 UI 간단한 실습과 기능 파악. 에어플로우에서의 스파크(Spark) 사용

[DE 프로젝트: 실시간 빅데이터 처리 'SIXAT'] 5. 에어플로우(Airflow)

Posted on 2021-12-31 | In Project

아파치 스파크, 에어플로우, 플링크, 카프카를 활용하는 실시간 모빌리티 빅데이터 처리 프로젝트: 에어 플로우로 워크 플로우를 생성하고 스파크 Job을 오케스트레이션

Posted on 2021-12-30 | In Data Engineering

RDB와 RDBMS, SQL, NoSQL의 간단한 개념 정리

Posted on 2021-12-29 | In Data Engineering

아파치 에어플로우의 탄생 배경과 개념. DAG의 개념. 에어플로우의 구성 및 유용성. 에어플로우의 원 노드 및 멀티 노드 아키텍쳐

Posted on 2021-12-28 | In Data Engineering

스파크 스트리밍의 개념. 스트림 데이터와 디스트림의 개념. 윈도우 오퍼레이션과 스트림 쿼리. 스파크 스트리밍의 간단한 예제

Posted on 2021-12-26 | In Data Engineering

스파크의 추천 알고리즘과 ALS(Alternating Least Squares)의 개념. 영화 추천 파이프라인 예제

Posted on 2021-12-23 | In Project

아파치 스파크, 에어플로우, 플링크, 카프카를 활용하는 실시간 모빌리티 빅데이터 처리 프로젝트: 스파크 MLlib을 사용한 머신 러닝 모델링 및 하이퍼 파라미터 튜닝, 모델 저장 및 로드

Posted on 2021-12-22 | In Retrospect

코드스테이츠 AI 부트캠프 섹션5(Computer Science) 및 CP1 프로젝트 5개월 차 회고

Posted on 2021-12-22 | In Data Engineering

스파크 MLlib의 개념과 가능한것, MLlib의 컴포넌트 및 파이프라인, 스파크 머신러닝 에제

Posted on 2021-12-21 | In Data Engineering

스파크 UDF의 간단한 실습