9.1 소개2017년 구글 브레인에서 발표한 논문이 어텐션 개념을 대중화.복잡한 순환 구조나 합성곱 구조가 필요하지 않고 어텐션 메커니즘에만 의존하는 '트랜스포머'로 강력한 신경망 구축.RNN은 한 번에 한 토큰씩 시퀀스 처리 => 트랜스포머가 단점 극복. 9.2 GPT오픈 AI에서 2018년 6월 발표한 논문 "Improving Language Understandiong by Generative Pre-Training"에서 GPT 소개.GPT는 사전 훈련 과정 동안 다음 단어 예측하도록 사전 훈련 -> 언어 모델링.사전 훈련된 모델을더 작고 작업에 특화된 데이터 셋 사용하여 미세 튜닝 및 파라미터 수정.ex. 분류, 유사성 점수매기기, 질의 응답. 9.2.2 어텐션* 해당 개념들은 제가 리뷰한 논문 '..

학창 시절에는 부모님이 사주신 LG 노트북(혹은 gram)을 주로 사용했다.학업용으로 사주셨기 때문에 내 입맛은 그다지 들어가지 않았다.그렇게 군침을 흘리던 나는 대학에 들어가 내 돈으로 노트북을 샀다.유니크하지 하지만 튀진 않고, 한눈에 들어오지는 않지만 한 번쯤은 뒤돌아보게 되는 그런 테크템을 좋아하는 나의 심장을 두들기는 제품을 CES에서 발견했다.ASUS ZenBook Duo대학생인 나에게 최고급 모델은 부담스러웠고 엔트리 모델을 구매했다.영롱한 듀얼 스크린에서 오는 압도적 감성.가난한 자취생, 한솥 도시락 돈치 고기고기 먹을 돈으로 돈까스 도련님 사 먹어가며 할부금을 갚아 나갔다.ZenBook Duo는 영화관, 코딩 머신, 과제 머신, 추억 저장소가 되었고 나에게 상장, 성적 장학금, 졸업장을 ..

8.2 잡음 제거 확산 모델잡음 제거 확산 모델의 핵심 아이디어는 연속해서 매우 조금씩 이미지에서 잡음을 제거하도록 딥러닝 모델 훈련.8.2.2 정방향 확산 과정정방향 확산 : 원본 이미지 X_0를 많은 단계에 걸쳐 점짐적으로 잡음을 추가해 표준 가우스 잡음과 구별할 수 없게 만듬.=> T 단계에 걸쳐 잡음을 추가했을 때 X_T의 평균은 0이고 단위 분산.* 평균 0 : 추가된 잡음이 데이터의 평균 값을 변화시키지 않고 데이터의 중심을 이동시키지 않음.* 단위 분산 : 추가되는 잡음의 변동 폭이 일정해 모든 단계에서 동일하게 유지.이미지 X_t-1에 분산 β_t를 갖는 소량의 가우스 잡음을 추가해 새로운 이미지 X_t 생성하는 함수 q 정의 가능.* β_t는 정방향 확산 과정에서 각 타임 스텝 t에 추가..

에너지 기반 모델은 물리 시스템 모델링에서 핵심 아이디어를 차용한 광범위한 생성 모델 분야. 실숫값의 에너지 함수를 0과 1 사이로 정규화하는 함수인 볼츠만 분포로 어떤 이벤트의 확률을 표현할 수 있다는 것. 7.2 에너지 기반 모델(Energy Based Model)에너지 기반 모델은 볼츠만 분포를 사용해 실제 데이터 생성 분포를 모델링. => 0과 1 사이로 정규화.E(x)는 샘플 x의 에너지 함수(혹은 점수).신경망 E(x)를 훈련시켜 가능성 높은 샘플은 낮은 점수(0), 가능성 낮은 샘플은 높은 점수 출력(1).(에너지를 다 써야 좋은 샘플이다!)이러한 방식의 두가지 문제점.점수가 낮은 샘플(그럴듯한 샘플)은 어떻게 생성할까?p(x)가 유효한 확률분포여야 하는데 분모의 적분이 어려움. => 에너지..

* 원문 논문 아카이브https://arxiv.org/abs/1706.03762 Attention Is All You NeedThe dominant sequence transduction models are based on complex recurrent or convolutional neural networks in an encoder-decoder configuration. The best performing models also connect the encoder and decoder through an attention mechanism. We propose a newarxiv.org0. Abstract주요 시퀀스 변환 모델은 복잡한 순환 신경망이나 합성곱 신경망을 기반에 두고 인코더와 디코더를 ..

노멀라이징 플로 모델은 자기회귀 모델처럼 다루기 쉽고 명시적인 데이터 생성 분포 p(x)를 모델링 할 수 있다. 또한 VAE처럼 데이터를 간단한 분포에 매핑한다. 다만, 매핑 함수는 반전 가능하게 제약을 한다.6.2 노멀라이징 플로 모델VAE : 인코더를 학습해 샘플링이 가능한 단순한 분포로 매핑. -> 디코더를 학습해 단순한 분포에서 복잡한 분포로 매핑.=> 인코도와 디코더는 완전히 다른 신경망.노멀라이징 플로 모델 : 디코딩 함수는 인코딩 함수의 역함수여서 빠르고 다르기 쉬움.=>신경망은 기본적으로 반전 가능한 함수 아님!* 역함수 : y = x에 대칭이며 본함수의 x, y의 자리를 바꾸면 됨.6.2.1 변수 변환가역 함수(invertible function) : 모든 z를 이에 해당하는 x로 다시 ..