지도 학습 미세조정

규모 있는 데이터에서 훈련된 사전 훈련된 모델을 특정 작업에 맞게 조정하는 것을 지도 학습 미세조정(supervised finetuning)이라고 합니다다. 종종 줄여서 'SFT’라고 부르기도 합니다. 미세조정이라는 작업 자체가 처음부터 다시 훈련하는 것이 아니라 대체로 훈련된 것을 약간 다듬는다는 뜻을 담고 있는데, 사전 훈련된 모델의 가중치를 초기값으로 사용하여 특정 작업에 맞게 조정하는 것을 의미합니다. 언어모델들이 규모가 커지면서 우리의 텍스트를 이해하는 능력은 높아졌습니다. 하지만 여전히 특정 작업에 맞게 조정하는 것이 필요합니다. 예를 들어, 특정 도메인에 대한 질문 답변 시스템을 구축하거나, 특정 스타일의 글을 생성하는 등의 작업이 있습니다.