초거대 AI 등장과 파라미터에 의한 주도권 변화

 

---

 

딥러닝 알고리즘의 층(Layer)구조

 

AI 파라미터와 초거대AI

 

• AI 파라미터(Parameter)는 딥러닝에서 알고리즘을 구성하는 최소단위의 모델이 다른 층의 모델에 전달하는 매개 변수를 말한다.
  
  
• 딥러닝은 파라미터의 개수가 많을수록 데이터 한꺼번에 입력받아 복합적으로 처리할 수 있다.
  
  
• 자연어를 생성하는 언어모델(Language Model)은 문장을 구성하는 단어의 의미와 맥락 등 다양한 데이터를 사용하며, 파라미터 개수가 클수록 문장 생성에 필요한 확률 계산을 더 잘 할 수 있다.
  
  
• GPT-3는 레이어 96개에 각 18억개로 총 1750억개의 파라미터를 가지고 있으며, GPT-4의 파라미터는 공개되지 않았지만, 1조개 이상으로 추정되고 있다.
  
  
• 빅테크기업들은 언어모델을 비롯하여 이미지, 음성AI 등에 사용되는 파라미터 개수를 늘리기 시작하였으며, 이를 초거대AI라고 부르기 시작하였다.
  
  

---

 

파라미터 경쟁과 주도권의 변화

 

• 학계의 AI연구자들은 성능을 위해 파라미터만 늘리기 시작하면, 알고리즘 개선이 더뎌질 것이라고 우려하고 있으며 아직 불완전한 기술이니 관련 기술을 좀 더 자세하게 공개해야 한다고 주장하고 있다.
  
  
• 일부에서는 이러한 우려가 빅테크에 AI의 연구 주도권을 뺏기는 것에 대한 불편한 속내라고 말하기도 하지만, 실제로 오픈AI는 GPT의 세부 내용을 더 이상 공개하지 않고 있으며, 구글도 PaLM2를 공개하면서 중요 정보는 누락시켰다.
  
  
• 사실 파라미터가 많아질수록 학습비용이 높아지기 때문에 개인이나 학교에서 연구 목적으로 AI를 개발하는 건 쉽지 않으며, 오픈AI도 개발비용이 과대해짐에 따라 MS와 협업한 것으로 알려졌다.
  

 

---