transfer learning

transfer learning

- 특정 태스크를 학습한 모델을 다른 태스크 수행에 재사용 하는 기법

- 워3를 처음 해도 스타를 해봤다면 금방 배움

 

 

언어 모델 language model

- 다음 단어 예측으로 업스트림 태스크를 수행한 모델

- GPT가 대표적

 

마스크 언어 모델 masked language model

- 빈칸 채우기로 업스트림 태스크를 수행한 모델

- Bert계열 모델이 대표적

 

자기지도학습 self-supervised learning

- 업스트림 된 모델을 바탕으로 트랜스퍼 러닝 하는 학습방법

 

파인튜닝 fine-tuning

- 프리트레인을 마친 모델을 다운스트림 태스크에 맞게 업데이트 하는 기법 중 하나

 

대표적 다운스트림 태스크 학습 기법
파인튜닝(find-tuning)	다운스트림 태스크 데이터 전체 사용, 다운스트림 데이터에 맞게 모델 전체 업데이트
프롬프트 튜닝(prompt tuning)	다운스트림 태스크 데이터 전체 사용, 다운스트림 데이터에 맞게 모델 일부 업데이트
인컨텍스트 러닝(in-context learning)	다운스트림 태스트 데이터 일부 사용, 모델 업데이트 안함