쉽게 쓴 데이터·AI 지식/AI

언어모델에 프롬프트 엔지니어링이 필요한 이유

정데만 2023. 6. 10. 18:07
728x90
 

 

대화의 맥락 변화

 

대화의 맥락 변화

 

  • 인간의 대화는 질문과 답변을 통해 수없이 많은 경로로 이어지며, 대화 도중에 주고 받은 정보를 학습하기도 하면서 맥락을 형성한다.

  • GPT와 같은 언어모델은 이전의 챗봇들과 달리 대화가 이어지더라도 이에 맞는 답변을 하기 때문에 마치 맥락을 이해하는 것처럼 보이지만, 사실 대화를 통째로 학습하여 앞선 문장과 연결된 답변을 생성하는 것이다.

  • 이러한 특성으로 인해 챗GPT와 구글 Bard는 맥락에 맞지 않는 대화를 이어나가면 유사한 데이터를 찾지 못해 엉뚱한 답변을 하거나 환각현상(거짓 답변)을 일으킨다.

  • 대화형AI에서 원하는 답변을 얻기 위해서는 언어모델이 학습한 다양한 텍스트 데이터를 탐색하고 이에 맞는 문장을 생성할 수 있도록 풍부한 키워드가 포함된 맥락적인 프롬프트(질문, 명령)를 입력해야 한다.

  • 챗GPT와 구글 Bard는 대화 도중 주고 받은 정보를 바로 학습하지는 못하지만 프롬프트 영역에서 해당 정보를 임시로 저장한 후 다양한 처리를 할 수 있다.

  • AI가 대화 도중 주고 받은 정보를 학습하려면 추가학습이라는 별도의 과정을 거쳐야 하는데, 이는 인간이 작업기억을 장기기억으로 옮기는 학습과정과 유사하다.

  • 인간의 작업기억은 개인별로 차이가 있으며 일반적으로 연령에 따라 증가하거나 감소하며, 작업기억을 초과하는 연산을 할 경우 인지부조화를 일으킨다.

  • 대화형AI도 프롬프트 용량에 제한을 받으며, 용량을 초과할 경우 엉뚱한 결과를 생성한다.

  • GPT 3.5 프롬프트 영역에는 약 3천개, GPT 4에는 약 2만 5천개의 단어(50페이지 분량)를 저장할 수 있다.

 


 

맥락에 따른 프롬프트 엔지니어링

 

  • 프롬프트 엔지니어링(Prompt Engineering)은 언어 모델을 사용하기 위해 작성된 프롬프트를 개선하고 최적화하는 작업으로 모델이 효과적이고 정확한 결과를 생성하도록 유도하는 것을 목표로 한다.

  • 위의 내용을 조합하여 프롬프트 입력 시 고려해야할 사항은 다음과 같다.

구분 내용
명확한 지시 충분한 정보를 제공하고 명확한 지시를 포함
구체적인 질문 모호한 질문은 불분명한 답변을 생성할 수 있으므로, 구체적이고 세부적인 질문을 사용
문맥 프롬프트에 특정 정보가 필요한 이유나 맥락을 포함
예시 및 형식 예시를 제공하거나 원하는 출력 형식을 명시
적절한 길이 너무 길거나 짧지 않은 프롬프트 선택

 

  • 위의 사항을 챗GPT에 적용하여 "(역할)로서, (목적)을 만들어서, (형태)를 보여줘"라는 형태의 프롬프트를 시작으로 답변에 따라 구체화시키면 원하는 프롬프트를 만들 수 있다.

  • https://www.chatgpters.org/에서는 챗GPT를 비롯한 Bard, 미드저니(이미지 생성) 등의 생성형 AI에 대한 프롬프트 정보를 공유하고 있다.

728x90