구글 제미나이보다 믹스트랄(Mixtral 8x7B)에 주목해야 하는 이유

제미나이는 의미있는 시도, 그러나 단기적으론 악재

구글 제미나이는 멀티모달 AI의 비전을 제시했다는 부분에서 큰 의미가 있다. 특히 조작된 영상으로 판명나긴 했지만, 영상과 음성정보를 매끄럽게 연동하고, 경량화버전을 픽셀에 탑재했다는 건 카메라를 포함한 각종 센서를 가진 스마트폰에서 안드로이드를 쥐고 있는 구글이 어떤 변화를 줄지 상당히 기대된다.

 

하지만, 조작된 영상과 울트라 미 발표(환각현상), 그리고 지쳐있는 데이비드 하사비스의 모습까지 겹치다보니 구글이 조급한 마음에 뭔가 삐걱거리고 있는 건 아닐까라는 의구심이 든다. 그리고 이는 단기적으로 기업부문에서 악재로 동작할 것 같다.

 

일전에 포스트(바로가기)에서 언급한대로 생성형 AI는 생산성에 영향을 미치기 때문에 기업은 예산이 편성된 내년부터 분주하게 움직여야 하지만, 최초 도입이라는 상황에서 기업 담당자들이 불안정한 구글을 선택하는 건 쉽지 않다.

 

알고리즘보다 아키텍처의 시대

그간 AI학습 알고리즘은 DNN, RNN, LSTM 등을 거쳐 Transformer까지 꾸준히 발전해왔지만, LLM분야에서  Transformer이후로 획기적인 발전을 이루지 못했다. 그리고 오픈AI가 파라미터를 늘려 초거대AI를 선보인 순간부터는 모두 알고리즘보다 아케텍처에 집중하기 시작하였다.

 

현재 AI 아키텍처는 환각현상, 경량화, 그리고 혼합이라는 3가지 관점에 주력하고 있다.

 

첫 번째,

환각현상 방지에는 RAG(검색기반 답변), AI alignment(결과 검증)가 사용되며, RAG는 빙챗에 적용되었고 AI alignment는 RLHF(휴먼 피드백 기반 강화학습) 또는 RLAIF(AI 피드백 기반 강화학습)이 활용되고 있다.

구글이 강조한 멀티모달도 환각현상 방지 효과를 주장하고 있지만, 필자가 생각하기에 인간처럼 오감을 이용해 정보를 습득하고 추론해내는 경지까지 도달하지 않는 이상 아직은 관련성이 적어보인다.

 

두 번째,

높은 학습비용은 기업의 LLM도입 뿐 아니라 개인화된 AI구축에도 한계가 있기 때문에 LLM의 성능은 유지하면서 모델은 가볍게 만드는 경량화 기술이 강조되고 있다. 현재는 PEFT(Parameter-Efficient Fine-Tuning)이 적용되고 있으며, 지속적인 발전이 예상된다.

 

세 번째,

AI 혼합 기술은 MoE(Mixture of Experts)로 대표되는데, 역할이 다른 AI를 혼합하여 하나의 AI처럼 동작시키는 기술로 GPT4가 MoE기반으로 만들어진것으로 알려졌다.

MoE는 개별 AI규모가 작기 때문에 학습량을 줄일 수 있다는 장점이 있는데, 전문적인 지식을 담당하는 AI만 학습하여 산업별로 특화하거나 최신정보를 빠르게 갱신할 수 있다는 부분에서 기업의 LLM 도입시에도 유리하게 작용한다.

 

MoE모델을 공개해버린 스타트업

하지만,  MoE기술은 오픈AI가 초거대AI를 구축하기 위해 사용했을 뿐 일반기업에서는 꿈도 못 꿀 기술이기 때문에 적은 학습비용으로 고성능AI를 구축할 수 있다는 장점에도 불구하고 경량화 기술보다 그리 조명받지 못했었다.

 

그런데 구글 제미나이가 공개된지 3일 후(12.8) 프랑스의 간판 스타트업 미스트랄 AI가 MoE기반 모델을 X(트위터)에 공개했다. 그것도 토렌트 다운로드라는 획기적인 방식으로 그냥 뿌려버렸다.

 

 

믹스트랄은 파라미터 70억개모델 8개를 결합한 AI로 컨텍스트(프롬프트 최대 길이)도 GPT 4.0과 동일한 32K이며, 모델을 실행하려면 80GB GPU 2개 또는 40GB GPU 4개면 충분하다.

 

거기에 오픈소스 모델이라는 이유로 EU의 규제에서도 벗어나게 되었다. 데이터가 중요한 AI모델에서 오픈소스라고 환각현상이 줄어드는 것도 아닌데, 이러한 결정이 나온 배경에는 미국 중심의 AI산업에 대한 EU의 불만과 자국 스타트업이라는  이유로 프랑스의 입김이 작용한 것으로 보이지만, 결과적으로 믹스트랄을 도입하면 규제도 벗어날 수 있는 혜택도 있다.

 

믹스트랄 공개에 따른 AI산업 영향

별안간 MoE모델이 무료로 공개됨에 따라 구글을 비롯한, 네이버와 오픈AI와 같은 상용AI업체는 영향을 받을 수 밖에 없게 되었다. 과금형 API 또는 경량화AI 밖에 선택지가 없었던 기업들은 경량화 수준의 비용으로 고성능AI를 가질 수 있게 되었으니 굳이 상용제품을 선택할 이유가 없다.

 

하지만 이렇게 되어 버리면, 상용AI는 단순 매출 뿐 아니라 산업별 데이터 및 사례 확보에 제약이 생기며, 특히 다양한 케이스를 해결하면서 성장할 수 있는 기회를 놓치게 되는 반면, 일반 기업들은 자체적으로 인력을 육성하고 주도권을 놓치지 않을 수 있으며, 데이터 유출이라는 위험에서도 벗어날 수 있게된다.

 

결국 일반 기업은 오픈소스기반 AI서비스 확대, 그리고 상용AI 업체는 온디바이스AI와 같은 B2C제품에 집중하면서 전반적으로는 더욱 성장하게 될 것으로 예상된다.

 

 

☜ 관련기사: 미스트랄, GPT-4의 'MoE' 방식 도입한 ‘믹스트랄 8x7B’ 공개

---