이미지 3장으로 알아보는 AI학습(가중치와 편향)

 

---

AI학습에는 엄청난 리소스가 발생한다. AI를 사용할 때는 리소스가 많이 들지 않지만 AI를 학습시킬 때는 모델의 크기에 따라 리소스도 많아진다.
 
챗GPT를 만든 오픈AI도 학습 비용을 감당하기 어려워지자 마이크로소프트와 협업하기 시작했고, 구글은 바드를 가르치기 위해 자사 클라우드를 외부에 임대하지 않고 AI학습에 투입해야만 했다.
 

AI는 왜 학습할 때 엄청난 리소스를 필요로 할까?

 
결론만 간단히 말하자면 "학습할 때 연산을 많이 하기 때문"이다. 하지만, 기업에서 AI를 도입할 때 또는 챗GPT를 둘러싼 기업의 경쟁을 지켜볼 때 자주 언급되는 사전학습과 추가 학습, 그리고 프롬프트에 대해 궁금하다면, 최대한 쉽고 자세하게 설명하기위해 준비한 아래 3장의 이미지를 봐주기 바란다.
 
※ 준비한 이미지는 원리를 헤치지 않는 선에서 최대한 핵심만 추출하였다.

 
 

---

 

TIP. AI는 인간의 지능을 모방하는 것을 목표로 하며, AI학습은 뇌과학을 참고하여 수학적 계산방법으로 만들어졌다.

 
 

1. 퍼셉트론(인공 뉴런)

 

뇌는 뉴런의 집합체로 구성되어 있으며 인간의 의사결정은 뉴런에서부터 시작된다. 
 
AI학자들은 뉴런을 모방하여 중요한 데이터에 큰 값을 곱해주고, 기본 값을 더해서 출력을 쉽게 만드는 수학공식 '퍼셉트론'을 만들었다. 
 
 

 
 

2. 딥러닝(인공 신경망)

 
인간의 뇌는 뉴런이 서로 연결되어 거대한 네트워크를 구성하고 있으며, 이를 신경망이라고 부른다. 성장할 수록 신경망이 촘촘해지며 많은 경험과 지식이 쌓인다.

 

AI학자들은 퍼셉트론을 여러 층으로 적재하여 인공 신경망을 구축하고 복잡한 연산식을 만들 수 있다는 의미에서 딥러닝(Deep Learning)이름을 붙였다.
 

  

---

 

3. AI학습(시행착오와 분류)

 

인간은 시행착오를 통해 경험을 습득하고 행동을 보정한다.

 

인간은 불에 데이면 이후 조심하거나 처음 본 열매를 먹어본 후 배가 아프면 다시 먹지 않는다. 그리고 학습한 내용과 비슷한 상황, 예를 들어 불처럼 달아오른 물건을 피하거나, 비슷하게 생긴 열매는 더 이상 먹지 않는다.

 

AI학자들은 인공신경망이 인간처럼 학습을 할 수 있도록 시행착오와 분류학습 방법을 만들었다.

 

시행착오는 문제와 정답으로 분류된 데이터를 만들어 임의로 문제를 풀고 틀리면 다시 시도하여 점점 정답에 근접해가는 학습방법이며, 분류는 정답 없이 데이터만으로 유사성에 따라 나누는 방식이다.

 

유사성에 따라 분류된 정보는 추후 정보가 확인되면 같은 그룹의 나머지 값들도 동일하게 간주할 수 있다.

 

아래는 AI가 +와 -로 구성된 값에서 정답을 찾아가는 과정을 시각화한 이미지이다.

 

최적값 탐색

---

 

인간이 성장하고 뇌가 커질 수록 난해한 정보를 이해할 수 있는 것처럼, AI도 신경망이 커질 수록 복잡한 연산을 잘하게 된다.

 

그러나 지식이 많을 수록 종전에 이미 결론을 내린 것(고정관념)에 대해 고치기 어려워 하는 것처럼, AI 또한 신경망이 복잡할 수록 새로운 데이터를 학습하기 위해 고쳐야할 퍼셉트론이 많아진다.

 

그래서, AI학자들은 초거대 AI의 - 퍼셉트론의 - 가중치와 편향을 고치기 위해서는 많은 비용이 소요된다고 말하는 것이며, 마치 인간이 적은 노력으로 새로운 지식을 습득하려는 것처럼 AI가 학습을 위한 연산량을 줄이고 새로운 데이터를 습득할 수 있도록 추가 학습 방법에 몰두하는 것이다. 

 

이러한 관점에서 챗GPT의 프롬프트는 인간이 마치 책을 펴두고 시험을 보는 것처럼, 챗GPT가 뭔가를 새로이 학습하는 것이 아니기 때문에 개인도 가볍게 활용할 수 있는 것이다.

 

---