CHAPTER 2. 딥러닝

2.1 딥러닝용 데이터

• 정형 데이터 : 많은 머신 러닝 알고리즘이 입력 데이터로 활용.
• 비정형 데이터 : 이미지, 오디오, 텍스트와 같이 태생적으로 특성의 열로 구성할 수 없는 데이터.

=> 데이터의 구성 요소가 고차원 공간에서 의존성을 띄고 픽셀, 문자는 독자적 정보. -> 간단한 분류 모델말고 딥러닝이 필수.

* 통계학에서의 출력은 '응답 변수', '종속 변수', 머신러닝 분야에서는 '타깃'.

---

2.2 심층 신경망

• 딥러닝 = 심층 신경망

2.2.1 신경망이란?

• 심층 신경만은 층을 쌓고, 층은 유닛을 가지며, 이전 층의 유닛과 가중치로 연결.

=> 층의 모든 유닛이 이전 층의 모든 유닛과 연결되는 완전연결층(Fully connected layer) 혹은 밀집층(Dense).

• 각 유닛은 입력의 가중치 합에 비선형 변환을 적용해 이 출력을 다음 층으로 전달.
• 훈련 과정이 가중치를 찾는 과정.
• 예측 오류는 네트워크를 통해 거꾸로 전파되어 예측을 가장 많이 향상하는 방향으로 가중치 수정. => '역전파'

2.2.2 고수준 특성 학습

• 특성 공학(Feature Engineering)이 필요없음.
• 후속 층의 유닛은 이전 층의 저수준 특성을 결합해 점점 더 정교한 표현을 만들어감.
• 입력층 - 은닉층 - 출력층

---

2.3 다층 퍼셉트론

• 텐서는 다차원 배열로 행령을 2차원 이상으로 확장한 것.
• '층' 의 종류

1. Input 층 : 네트워크의 시작 점이며 입력 데이터 크기를 튜플로 전달.(배치 크기는 선언 안함.)
2. Flatten 층 : 입력을 하나의 벡터로 펼침. -> Dense 층이 평평한 입력을 기대하기 때문.
3. Dense 층 : 기본 신경망 구조. 완전 연결 유닛이고 각 연결마다 하나의 가중치가 동반. 비선형 활성화 함수를 통과해 다음 층으로 전달.

• '활성화 함수' 의 종류

1. 렐루(리키렐루) : 입력이 음수면 0, 나머지는 입력값과 동일.(리키는 음수를 작은 음수로 반환. => 기울기 소실 문제 해결.)
2. 시그모이드 : 출력을 0에서 1 사이로 조정. => 이진 분류(출력 한 개)나 하나 이상의 클래스에 속하는 다중 레이블 분류에 사용.
3. 소프트맥스 : 전체 출력 합이 1이 되어야 할 때. => 정확히 하나의 클래스에만 속해야 하는 다중 분류 문제.

• 모델 컴파일 : 손실 함수와 옵티마이저로 모델을 컴파일.
• '손실 함수' 의 종류

1. 평균 제곱 오차 : 회귀 문제(연속적인 값 예측)에 사용.
2. 범주형 크로스 엔트로피 : 여러 클래스 중 하나에 속하는 분류.
3. 이진 크로스 엔트로피 : 이진 분류(출력 한 개)나 하나 이상의 클래스에 속하는 다중 레이블 분류.

• '옵티마이저' 의 종류 : 주로 Adam과 RMSPromp을 사용.

---

'Microsoft Designer' 로 생성된 이미지 입니다.