AWS Athena(아테나)와 Python(파이썬)을 활용한 데이터 Query 및 Pandas(판다스) DataFrame(df)으로의 변환
Posted on
|
In
AWS
AWS Athena(아테나)는 대규모 데이터셋에 대한 인터랙티브 쿼리 서비스를 제공한다. 여기서는 Python(파이썬)을 사용하여 Athena(아테나)로 쿼리를 수행하고 결과를 Pandas(판다스) DataFrame으로 가져오는 방법을 다룰 것이다.
[MAC] 콘다(Conda) 환경에서 환경 변수 설정하기: AWS Access Key와 Secret Key 등록법
Posted on
|
In
Computer Science
맥(Mac)에서 콘다(Conda) 환경에 AWS의 Access Key와 Secret Key 등의 환경 변수를 설정하는 방법
API란?
Posted on
|
In
Computer Science
API의 개념과 기능, REST API에 대한 설명
[CODE: 하드웨어와 소프트웨어에 숨어있는 언어] Chapter 1. 친한 친구와의 대화 ~ Chapter 2. 부호와 조합
Posted on
|
In
Book
Chapter 1인 "친한 친구와의 대화"에서는 모스 부호(Morse Code)와 부호의 개념을 소개한다. 모스 부호는 점(dot)과 선(dash)의 조합으로 알파벳과 숫자, 기호 등을 표현하는 부호 체계이다. 이 챕터에서는 모스 부호의 동작 원리를 설명하고, 부호의 중요성과 활용 가능성에 대해 이야기한다. 모스 부호를 통해 의사소통에 사용되는 부호의 역할과 중요성을 이해할 수 있다.
Chapter 2인 "부호와 조합"에서는 모스 부호를 비롯한 부호의 조합에 대해 다룬다. 부호는 점과 선의 이진 형태로 구성되며, 부호의 조합과 표현 방법에 대해 설명한다. 또한, 부호의 수와 점과 선의 수 간의 관계를 분석하고, 이진 부호의 특징과 조합적 분석에 대해 다룬다. 이 챕터를 통해 부호와 조합에 대한 이해를 확장하고, 이진 부호의 활용과 응용에 대해 배울 수 있다.
[AWS] Amazon MWAA를 이용한 EC2 인스턴스 스케쥴링과 원격 Python 스크립트 실행(SSHOperators, AWSOperators 사용법)
Posted on
|
In
AWS
Amazon Managed Workflow for Apache Airflow(MWAA)를 활용하여 EC2 인스턴스에서 Python 스크립트를 정기적으로 실행하는 방법을 설명한다. AWS EC2 인스턴스를 시작하고 종료하는 방법, IP 주소를 동적으로 가져오는 방법, 그리고 SSH를 이용한 원격 명령 실행에 대해 자세히 알아본다.
[AWS] 람다(Lambda) 함수 정의 및 스케쥴링 방법 + 람다에서 판다스(pandas)사용법
Posted on
|
In
AWS
,
Data Engineering
[AWS] 람다(Lambda) 도입 개요와 데이터 수집 크롤러 프로그램을 람다 함수로 정의하여 스케쥴링하는 방법(feat. 람다에서 판다스(pandas) 사용 방법을 곁들인)
[데이터 수집] 셀레니움(Selenium) 크롤링(Crawling) 속도 향상 전략
Posted on
|
In
Data Engineering
[셀레니움 활용 동적 웹 데이터 수집(Data Collection)] 멀티 스레딩(Multi-threading)과 로딩(Loading) 최적화를 통한 크롤링 효율성 향상
[클린 코드] 6. 코드 인덴트(indent) 단축
Posted on
|
In
Clean Code
[파이썬에서의 깔끔한 코드] 코드 인덴트(indent) 줄이기(Guard Clausing, Polymorphism)
[클린 코드] 5. 에러 핸들링(Error Handling)
Posted on
|
In
Clean Code
[파이썬에서의 깔끔한 코드] 에러 핸들링(Error Handling)을 보다 효과적으로 하기 위한 3가지 방법