경량화 언어모델(sLLM)의 활용방법
CES에 온디바이스 AI제품이 대거 출시되면서 경량화LLM에 대한 관심이 다시금 올라가고 있다. 작년만해도 초거대AI로 만들어진 챗GPT가 엄청난 성능을 선보이면서 sLM은 성능이 떨어지지만, 고가의 학습 비용때문에 어쩔 수 없이 사용하는 저가형 모델로 인식되었는데, 온디바이스 AI로 활용가치가 높아진 것이다.
이는 마치 스마트폰이 활성화되기 전 안드로이드OS가 리눅스 열화판으로 인식된 것처럼 소프트웨어가 하드웨어보다 빠르게 발전되면서 발생한 현상으로, 앞으로는 AI도 OS와 마찬가지로 용도에 따라 다양한 버전이 운용될 것으로 보인다.
또한, MS가 윈도우에 AI코파일럿을 탑재하면서 OS에서 앞서나가려 했던 시도는 iOS/안드로이드에도 영향을 끼칠텐데, 최근 삼성전자가 AI집사 볼리에 타이젠OS를 탑재한 것은 AI의 버전 다각화와 OS결합까지 고려한 전략적인 시도로 보인다.
APP을 중심으로한 모바일OS에서는 기약없이 밀려났지만, AI 적용과 함께 가전제품을 위주로 한 홈 허브시장에선 다시금 기회가 주어진 것이다.
☞ 관련기사 : 삼성 타이젠 OS, AI 집사 ‘볼리’에도 탑재
경량화를 중심으로한 국내AI의 발전 방향
위의 내용을 다시 정리하자면, 수출과 제조 중심의 국내 비즈니스 환경과 내수 규모에서 한국은 거대LLM보다 경량화 LLM에 좀 더 가능성이 보인다.
물론, LLM에 엄청난 금액을 투자하고 있는 네이버에게는 안타까운 말이지만, 현재 가진 글로벌 영향력을 봤을 때 네이버가 만드는 LLM의 활용 범위는 분명 한계가 있으며, 국내산업 전반적으로 최대한 많은 기업들이 살아남으려면 경량화 AI에 더 많은 인력이 투입되어야 한다.
국내 기업에게 엄청난 규모의 기술 투자와 LLM개발이 가능한 인재를 확보해야 하는 건 한계가 있지만, 경량화에 필요한 투자와 인력은 충분히 확보할 수 있으며, 제조라인과 경험을 결합한다면 글로벌 경쟁력을 갖춘 제품을 만들어내는 게 가능하기 때문이다.
결국, 삼성에서 시도하고 있는 가전제품 뿐 아니라 전기차와 전장산업, 그리고 소형로봇과 휴머노이드에 이르기까지 제조에 강한 국내산업에서 온디바이스AI에 적용되는 경량화기술은 굉장히 중요하다는게 필자의 결론이다.
경량화는 소형이 아니다!?
그렇다면 경량화 기술이란 무엇일까? 이 기술에 대한 오해는 경량화 언어모델을 지칭하는 sLLM이라는 애매한 약자부터 시작되는 것 같다.
sLLM의 원래 단어인 small Large Language Model을 번역하면 작은 거대 언어모델이라는 "작기도하고 거대하기도 한" 이상한 단어가 된다. 필자 또한 처음에는 센스없는 공돌이들이 LLM이랑 구분하기 위해 말도 안되는 단어를 만들어냈다고 생각했으나, 아직까지 이를 대체할 만한 단어는 떠올리지 못하고 있다.
차라리 한국어인 경량화 언어모델이라는 말이 이 기술을 표현하는 데 더욱 적합하며, 결론만 먼저 예기하면 경량화 LLM은 작은 LLM이 아니라 작게 줄인 LLM을 뜻한다.
경량화 LLM은 처음부터 작게 만든게 아니라 GPT와 LLaMA, 그리고 제미나이와 같은 거대한 언어모델을 경량화 과정을 거쳐 작게 만든 것으로, 마치 포터블 OS처럼 PC용 OS에서 불필요한 드라이버와 기능을 지운 것처럼 LLM의 파라미터를 줄이고 구조를 변경하여 용량을 줄이는 과정을 거쳐 만들어진다.
경량화 기술에는 보통 PEFT가 쓰이며, 불필요한 파라미터 뿐 아니라 데이터의 자릿 수 자체를 줄이는 등의 작업을 병행하기 때문에 초거대AI 보다 전반적인 성능은 떨어질 수 밖에 없지만, 처리 분야를 줄이고 추가 학습을 통해 전문성을 높여주면 세밀한 분야에선 오히려 LLM보다 높은 성능을 발휘할 수 있다.
경량화AI의 장점, 그리고 국내 AI산업에서 가지는 역할
오픈AI, 구글, 그리고 네이버에 이르는 LLM개발 업체들이 내놓는 sLLM은 모두 이러한 과정을 거쳐 만들어진 모델로 모체와 동일한 데이터체계를 갖추고 있다.
그래서 모체가 되는 LLM과 경량화 LLM이 소통하면서 부족한 부분을 채울 수 있는 장점을 가지고 있다. 예를 들어 경량화 LLM이 자체적으로 처리하기 어려운 내용을 서버에 보내 답변을 받거나, 서버의 LLM이 여러 개의 경량화LLM이 학습한 내용을 받아 보완하여 다시 내려보내는 게 가능하다.
결국 AI끼리 소통하는 일이 자주 발생하는 것인데 아직까진 구상 단계처럼 보이지만, 가시화된다면 온디바이스AI가 서버와 주기적으로 교신하면서 빠르게 학습하고 개선해 나가는게 가능하다.
물론, 온디바이스AI의 제어권을 서버가 가지는 위험성도 내포되어 있지만, 실행위주의 온디바이스 AI를 효율적으로 개선하는 방법이기도 하며, 무엇보다 하드웨어를 꽉 쥐고 있는 국내기업들이 데이터를 확보하는 손쉬운 방법이기도 하다.
AI산업이 현재는 LLM을 중심으로 부각되고 있지만, 향후 온디바이스와 함께 자율주행 등에 적용되는 지능화 제어기술로 확대될 가능성이 크다.
작년 삼성 비스포크 냉장고에 달려 있는 스크린을 이용해 게임을 한다는 뉴스(관련 기사)에서 보듯이 홈허브 역할을 할 수 있는 대형가전과 이미 엄청난 양의 연산량을 처리하는 스마트폰을 보유한 국내기업들이 온디바이스 AI를 중심으로 AI산업을 재편하는 상상을 해보면서 글을 마친다.
'최신 데이터 동향 및 향후 전망' 카테고리의 다른 글
| 젠슨 황의 코딩 반대? AI에는 ○○적 사고가 중요하다 (79) | 2024.03.28 |
|---|---|
| AI는 기술이 주도할까? 사업이 주도할까? (103) | 2024.02.28 |
| 구글 제미나이보다 믹스트랄(Mixtral 8x7B)에 주목해야 하는 이유 (139) | 2023.12.21 |
| 24년 AI전망 총집합(가트너, 엔비디아, SAS 등) (111) | 2023.12.15 |
| 오픈AI사태 요약과 배경 그리고 Q* (114) | 2023.11.24 |