Transformer(Positional Encoding, Masked Self-Attention), GPT, BERT(MLM, NSP), 최근 언어 모델 발전의 진행

신경망의 성능을 높이기 위한 메커니즘이자, 이제는 AI 분야에서 대세 모듈로서 사용되고 있는 트랜스포머의 기반이 되는 어텐션 메커니즘

LSTM을 이용하여 애플 주식을 예측하는 모델 구현 미니 프로젝트

AWS 활용 클라우드 환경 데이터 파이프라인 구축 및 음악 추천 챗봇 프로젝트: 페이스북 챗봇 완성 및 프로젝트 회고

단어의 분산 표현(원핫인코딩의 단점, 분포 기반의 표현, 임베딩), Word2Vec(CBoW, Skip-gram 차이), fastText(OOV문제, 철자 단위 임베딩 방법의 장점)

언어모델(통계 기반 언어모델과 한계, 신경망 언어모델), 순환신경망(RNN), LSTM & GRU, Attention

자연어와 전처리(SpaCy 라이브러리 활용 토큰화, 불용어, 어간 및 표제어 추출), 등장 횟수 기반의 단어 표현(문서-단어 행렬, BoW, TF-IDF)

지킬 블로그에서 절대값 기호를 사용할 때 table 생성을 억제하여 마크다운 문법을 사용하는 방법

모델 아키텍쳐 선택. 가중치의 규제 전략. 다양한 활성함수를 사용함에 발생하는 trade-off에 대한 논의

하이퍼파라미터 탐색 방법. 신경망에서 조정할 수 있는 주요 하이퍼 파라미터. Scikit-learn, Keras Tuner 등을 사용 구축한 신경망에 하이퍼파라미터 탐색 방법 적용