AI 파라미터와 초거대AI AI 파라미터(Parameter)는 딥러닝에서 알고리즘을 구성하는 최소단위의 모델이 다른 층의 모델에 전달하는 매개 변수를 말한다. 딥러닝은 파라미터의 개수가 많을수록 데이터 한꺼번에 입력받아 복합적으로 처리할 수 있다. 자연어를 생성하는 언어모델(Language Model)은 문장을 구성하는 단어의 의미와 맥락 등 다양한 데이터를 사용하며, 파라미터 개수가 클수록 문장 생성에 필요한 확률 계산을 더 잘 할 수 있다. GPT-3는 레이어 96개에 각 18억개로 총 1750억개의 파라미터를 가지고 있으며, GPT-4의 파라미터는 공개되지 않았지만, 1조개 이상으로 추정되고 있다. 빅테크기업들은 언어모델을 비롯하여 이미지, 음성AI 등에 사용되는 파라미터 개수를 늘리기 시작하였으며..
