진짜 나를 위한 딥러닝 #신경망 모델 훈련

나의 이해는 주관적인 저의 이해를 적어놓은 글입니다. 개념을 쉽게 이해해보고자 서술해본 글이지만 알고리즘이나 용어의 개념과 100% 일치하지 못할 수 있습니다.

 

드롭아웃(dropout)

- 은닉층에 있는 뉴런의 출력을 랜덤하게 꺼서 과대적합을 막는 기법

- 드롭아웃은 훈련 중에 적용되며 평가나 예측에서는 적용하지 않음. 텐서플로에선 자동으로 이를 처리

 

나의 이해: 하던 것만 계속 하면 그것만 잘 하게 될 수 있는데 가끔 다른 걸 시켜서 정신 바짝 차리게 만들어 주는 기법

 

 

콜백(callback)

- 케라스 모델을 훈련하는 도중에 어떤 작업을 수행 할 수 있도록 도와주는 도구

- 최상의 모델을 자동으로 저장해 주거나 검증 점수가 더 이상 향상되지 않으면 일찍 훈련을 종료할 수 있음

 

나의 이해: 모델 훈련을 일일히 그래프 그려가면서 손실 함수 체크를 하고 다시 에포크를 조절해서 또 훈련 시키는 번거로움 없이 자동으로 저장해 주거나 성능 향상이 없으면 훈련을 끝낼 수 있게 하는 도구

 

 

조기 종료(early stopping)

- 검증 점수가 더 이상 감소하지 않고 상승하여 과대적합이 일어나면 훈련을 계속 진행하지 않고 멈추는 기법

- 계산비용과 시간을 절약할 수 있음

- 훈련 에포크 횟수를 제한하는 역할이지만 모델이 과대적합되는 것을 막아 주기 때문에 규제 방법 이기도 함

 

나의 이해: 아이템 파밍을 하는데 원하는 템이 나왔으면 좀 쉬어야지.

 

 

---

핵심 패키지와 함수

 

TenserFlow

Dropout

- 드롭아웃 층

- 첫 번째 매개변수로 드롭아웃 할 비율(r)을 지정, 드롭아웃 하지 않는 뉴런의 출력은 1/(1-r)만큼 증가시켜 출력의 총합이 같도록 만듬

 

save_weights()

- 모든 층의 가중치와 절편을 파일에 저장

- 첫 번째 매개변수에 저장할 파일 지정

- save_format 매개변수에서 저장할 파일 포맷 지정. '*.h5' 사용(HDF5 포맷)

 

load_weights()

- 모든 층의 가중치와 절편을 파일에서 읽음

- 첫 번째 매개변수에 읽을 파일 지정

 

save()

- 모델 구조와 모든 가중치와 절편을 파일에 저장

- 첫 번째 매개변수에 저장할 파일 지정

- save_format 매개변수에서 저장할 파일 포맷 지정. '*.h5' 사용(HDF5 포맷)

 

load_model()

- save()로 저장된 모델 로드

- 첫 번째 매개변수에 읽을 파일 지정

 

ModelCheckpoint

- 케라스 모델과 가중치를 일정 간격으로 저장

- 첫 번째 매개변수에 저장할 파일 지정

- monitor 매개변수는 모니터링할 지표 지정. 기본값 'val_loss'로 검증 손실 관찰

- save_weight_only 매개변수의 기본값은 False로 전체 모델 저장. True로 지정하면 모델의 가중치와 절편만 저장

- save_best_only 매개변수를 True로 지정하면 가장 낮은 검증 손실 점수를 만드는 모델을 저장

 

EarlyStopping

- 관심 지표가 더이상 향상하지 않으면 훈련 중지

- monitor 매개변수는 모니터링할 지표 지정, 기본값 'val_loss'로 검증 손실 관찰

- patience 매개변수에 모델이 더 이상 향상되지 않고 지속할 수 있는 최대 에포크 횟수 지정

- restore_best_weights 매개변수에 최사으이 모델 가중치를 복원할지 지정. 기본값 False

 

 

Numpy

argmax 

- 배열에서 축을 따라 최댓값의 인덱스 반환

- axis 매개변수에서 어떤 축을 따라 최댓값을 찾을 지 지정. 기본값 None으로 전체 배열에서 최댓값을 찾음

 

 

---

참고

http://www.yes24.com/Product/Goods/96024871

혼자 공부하는 머신러닝+딥러닝 - YES24