GPT-3 학습 방법 - Context Learning

Context Learning

 

대부분의 PLM은 사전학습 이후에 파인튜닝을 통해 Task를 학습하는데 파인튜닝 없이 PLM만으로 동작이 가능할까?

• parameter update (back -prop)없이 feed - forward 만을 통해 학습 수행
• Few shot example을 주고 학습을 하고 Query를 받고 결과를 산출

 

Context Learning 정의

각 time - step의 hidden representation은 해당 step 까지의 정보가 담겨 있음

• 비록 파라미터 업데이트는 없지만 , 이것을 학습의 일환으로 볼수 있지 않을까?
• 이전의 정보가 잘 인코딩 되어 있다면, 이후에 이 정보를 바탕으로 추론을 수행 할 수 있을 것이라는 원리

 

Few shot learning (finetuning 없이 추론 하는 방법) 

• P(output | input , task)
• Text to Text Framework 를 활용하여 동작
  • 1) task에 대한 자연어 instruction 과 몇 개의 예제(few - shot)를 feed - forward
  • 2) 언어 모델로부터 정답 추론
  • 3) 언어 모델이 잘 학습되었다면 주어진 문맥에 기반해서 나머지 알맞는 문장을 완성하는 방법으로 다음단어를 예측 할 것

 

보통 모델이 커질수록 In context Learning의 효율이 높아짐