[AI/LLM] In-context learning

인 컨텍스트 러닝 in context learning

- 대규모 언어 모델 LLM이 프롬프트 안에 있는 예제 (=context) 기반으로 추론하는 능력

- 학습된 매개변수를 모델이 변경, 재조정 하지 않고 프롬프트에서 제공된 맥락만을 통해 작업을 이해하고 수행하는 방법

 

- 모델이 새로운 데이터나 작업을 수행하기 위해 다시 훈련되는 일 없이 입력된 프롬프트 기반으로 작업을 한다

- 프롬프트 안에 작업의 정의와 몇 가지 입출력 예시를 포함시켜서 가이드를 줄 수 있다

 

- zero shot 작업에 대한 맥락 즉 프롬프트 안에 예시 없이도 일반적인 명령과 질문을 수행

- few shot 프롬프트에 몇 가지 예시를 제공해서 작업을 이해

 

- 모델은 프롬프트 내 정보를 우선적으로 사용하고 그에 더하여 사전 훈련 과정에서 학습한 지식을 사용한다

 

- 모델의 파라미터가 고정된 상태에서 프롬프트의 인풋을 통해 내부에 새로운 규칙을 암묵적으로 학습하게 한다

- 데이터를 출력하는 것이 아니라 입력된 컨텍스트에서 패턴을 식별하고 새로운 예측을 생성하는 것이다

 

자연어 처리 번역 텍스트 요약 감정 분석

데이터 처리 패턴 분석 데이터 요약