CHAPTER 1. 생성 모델링

1.1 생성 모델링이란?

• 생성 모델링 : 주어진 데이터셋과 유사한 새로운 데이터를 생성.

• 이미지 생성 문제에서 특성은 개별 픽셀 값.
• 결정적 -> 확률적

=> 다양한 출력 결과를 샘플링

1.1.1 생성 모델링과 판별 모델링

• 생성 모델링과 반대 개념인 판별 모델링.
• 차이점 1 : 판별 모델링은 레이블이 있지만 생성 모델링은 없음.

판별 모델링 : 샘플 x가 주어졌을 때 레이블 y의 확률을 모델링.
생성 모델링 : 샘플 x를 관측할 확률을 모델링.

1.1.3 생성 모델링과 AI

• 생성 모델은 아주 복잡한 인공지능 문제를 푸는 열쇠로 추정

1. 특정 레이블을 넘어 데이터 분포를 완전히 이해하는 모델.
2. 강화학습의 에이전트는 특정 작업에 최적화 되어 유연성이 떨어지므로 생성 모델이 특정 작업에 독립적인 월드 모델로 훈련.
3. 인간을 견줄만한 모델 생성.

---

1.2 첫 번째 생성 모델

• 알려지지 않은 규칙은 P(data)로 생성한 포인트.
• P(model)은 P(data)의 추정.
• P(model) 분포로 부터 샘플링 해 새로운 샘플 생성.
• P(model)은 P(data)를 과도하게 단순화.
• 이 모델은 주황색 상자에 대한 균등 분포이기 때문에 샘플링하기 쉬움.

1.2.3 표현 학습

• 표현 학습 : 고차원 표본 공간을 직접 모델링 하는 방식이 아니라 저차원인 잠재공간에 표현하고 원본 공간 포인트로 매핑.
• 적절한 매핑 함수 f 를 잠재 공간의 새로운 포인트에 적용해 훈련 세트에 없는 이미지 생성.
• 잠재공간 활용 모델의 장점은 잠재 공간의 표현 벡터를 조작해 이미지의 속성을 변경해 생성.

=> 고차원 공간의 매니폴드 -> 샘플링 할 수 있는 단순한 잠재 공간.

---

1.3 핵심 확률 이론

생성 모델링과 확률분포의 통계적 모델링은 밀접하게 연관.

• 표본 공간 : 샘플 x가 가질 수 있는 모든 값의 집합.
• 확률 밀도 함수(밀도 함수) : 포인트 X를 0과 1 사이의 숫자로 매핑하는 함수 P(x).

=> 실제 밀도 함수 P(data)는 하나지만 P(data)(x)를 추정하는데 사용할 수 있는 밀도 함수 P(model)(x)는 무한.

• 모수 모델링 : 안정적인 P(model)(x)를 찾는데 사용하는 기법.
• 가능도 : 관측 포인트 x가 주어졌을 때 Θ의 가능도는 포인트 x에서 Θ를 파라미터로 가진 밀도 함수의 값.(데이터가 발견될 확률.)

=> 주황색 상자는 모든 데이터 포인트에서 밀도 함숫값이 양수이므로 양의 가능도.

• 최대 가능도 추정(MLE) : 위 그림 예제에서 MLE는 훈련 세트에 있는 모든 포인트를 담은 가장 작은 사각형.

=> 생성 모델링은 최대 가능도 추정 혹은 음의 로그 가능도 최소화.

---

1.4 생성 모델 분류

생성 모델는 궁극적인 목표는 같지만 밀도 함수를 모델링 하는 방식이 조금씩 다름.

• 압묵적 밀도 모델 : 확률 밀도를 추정하는 것이 목적이 아니라 데이터 생성 과정만 집중.
• 명시적 밀도 모델

1. 다루기 쉬운 모델 : 모델 구조에 제약을 가하므로 밀도 함수다 쉽게 계산.
2. 근사 밀도 모델

---

* 후에 깨달은 것

• 모수 모델링 : 데이터를 생성하는 과정에서 특정한 확률 분포를 가정하는 것.

=> 확률 분포를 찾는 것.

• 가우시안 분포 내에서는 평균과 분산이라는 모수를 가지고 있고 데이터가 복잡하거나 비선형일때는 비모수적 접근이 필요.

• 모수 모델링의 최대 관심은 데이터셋 X가 관측될 가능도를 최대화 하는 것(데이터가 모두 포함된 가장 작은 사각형 찾기).

=> 최대 가능도 추정.

---

'Microsoft Designer' 로 생성된 이미지 입니다.