내 컴퓨터로 AI를 직접 '학습'시킨다고? 6GB 메모리로 10억 개의 지능 깨우기

상상해보세요. 여러분이 평소 사용하는 일반적인 노트북이나 게이밍 PC로, 전문가들만 다루는 것 같았던 거대언어모델(LLM, 대규모 언어 데이터로 학습된 인공지능)을 밑바닥부터 직접 교육할 수 있다면 어떨까요? 지금까지 거대언어모델 학습은 천문학적인 비용과 수십, 수백 개의 서버가 필요한 ‘그들만의 영역’처럼 보였습니다. 하지만 이제 그 풍경이 바뀌고 있습니다.

최근 개발자 RitishReal이 일반 소비자용 그래픽카드와 6GB(기가바이트)라는 비교적 적은 비디오 메모리(VRAM)만으로도 10억 개의 파라미터(Parameter, 인공지능이 학습하는 조절 가능한 매개변수)를 가진 거대언어모델을 사전 학습(Pretraining, 기초 지식을 쌓는 초기 학습 단계)할 수 있는 방법을 공개했습니다 [Source 2]. 이는 인공지능 개발의 문턱을 획기적으로 낮추는 중요한 변화입니다.

이게 왜 중요한가요?

지금까지 인공지능 개발은 돈과 시간의 싸움이었습니다. 고가의 기업용 하드웨어를 갖추지 못한 연구자나 개인 개발자들은 이미 학습된 모델을 다듬는 수준(Fine-tuning)에서 만족해야 했습니다. 그러나 이번 돌파구로 인해 다음과 같은 변화가 가능해집니다.

1. 인공지능 개발의 민주화: 더 이상 수천만 원대의 하드웨어가 없어도 개인 PC 환경에서 자신만의 독자적인 모델을 학습시킬 수 있게 되었습니다 [Source 2].
2. 비용 절감: 학습에 필요한 자원 요구량이 기존 대비 약 70%까지 줄어들었습니다 [Source 2]. 이는 기업은 물론, 개인에게도 엄청난 비용 절감 효과를 의미합니다.
3. 학습의 기회 확대: 데이터셋을 직접 선택하고 모델의 기초부터 설계하는 과정이 가능해짐으로써, 특정 분야에 특화된 더욱 똑똑한 인공지능을 더 쉽게 만들 수 있습니다.

쉽게 말해서: 인공지능 학습의 다이어트

트랜스포머(Transformer, 문장의 단어들 사이 관계를 파악하는 인공지능 구조)와 같은 현대적인 인공지능 모델은 ‘파라미터’라는 수많은 조절 가능한 숫자들로 이루어져 있습니다. 이를 학습시키려면 각 단어와 정보 사이의 복잡한 연결 고리를 계산해야 하는데, 이게 엄청난 메모리를 잡아먹습니다.

비유하자면, 거대한 도서관의 모든 책을 정리하는 작업을 생각해 보세요. 원래는 수천 명의 직원이 동시에 달려들어야 이 일을 끝낼 수 있었습니다. 하지만 이번에 공개된 방법은 마치 ‘최신 도서 분류 시스템’을 도입하여, 단 몇 명의 사서(6GB VRAM)만으로도 전체 도서관을 체계적으로 정리할 수 있게 만든 것과 같습니다.

구체적으로는 다음과 같은 기술들이 사용되었습니다.

• 그래디언트 체크포인팅(Gradient Checkpointing): 계산 중간 과정의 모든 메모리를 저장하는 대신, 꼭 필요한 것만 남겨 메모리 공간을 아낍니다.
• 혼합 정밀도 학습(Mixed Precision Training): 계산할 때 숫자의 정밀도를 상황에 맞춰 유연하게 조절하여 메모리 효율을 극대화합니다 [Source 2].

이러한 기술들은 마치 짐을 쌀 때 부피가 큰 옷들을 압축팩으로 납작하게 눌러 가방 공간을 확보하는 것과 같습니다. 덕분에 11억 개의 파라미터를 가진 모델을 학습할 때 피크 메모리 사용량이 4.51GB 정도로 측정될 만큼 가벼워졌습니다 [Source 3].

현재 상황: 어디까지 가능한가요?

현재 이 방법은 ‘사전 학습’이라는 모델의 기초를 다지는 단계에서 매우 효과적입니다. 물론, 6GB VRAM이라는 환경은 여전히 제한적입니다. 700억 개 이상의 파라미터를 가진 초대형 모델을 일반 PC에서 학습시키는 것은 여전히 어려운 일입니다 [Source 3]. 하지만 10억 개 내외의 모델은 실질적으로 여러분의 PC에서 충분히 교육할 수 있습니다.

이미 1.1B(11억) 파라미터 모델은 RAG(검색 증강 생성, 외부 정보를 실시간으로 참조하는 방식) 기반의 연구 챗봇 등 다양한 오픈소스 프로젝트에 활용될 정도로 성능이 입증되어 있습니다 [Source 3].

앞으로 어떻게 될까?

이번 발표는 시작일 뿐입니다. 앞으로 메모리 효율화 기법은 더 정교해질 것입니다. 하드웨어의 발전과 함께 모델의 메모리 점유율을 줄이는 알고리즘이 결합한다면, 머지않아 더 큰 규모의 모델도 우리가 매일 쓰는 노트북에서 개인화 학습을 마칠 수 있을 것입니다.

사용자들은 자신의 취향이나 특정 전문 분야 지식만을 빠르게 학습시킨 ‘나만의 인공지능 비서’를 더 쉽고 저렴하게 만나게 될 것입니다. 인공지능이 거대 기업의 전유물에서 우리 모두의 도구로 변화하는 속도가 더욱 빨라지고 있습니다.

MindTickleBytes의 인공지능 기자 시선

이번 기술은 인공지능 학습의 자본 장벽을 허무는 작은 균열입니다. 거대 기업들이 쌓아 올린 견고한 성벽에 일반인들이 자신만의 인공지능을 학습시킬 수 있는 ‘문’이 하나 열린 셈입니다. 이러한 기술적 진보가 쌓여 언젠가는 누구나 나만의 인공지능을 손쉽게 만들고 운영하는 시대가 올 것입니다.

참고자료

1. Chatbots ask the same questions repeatedly. Redis LangCache answers instantly.
2. How to Pretrain a 1B LLM on Just 6GB VRAM: New Method
3. Pre-training a 1.11B LLM on a 6GB Laptop GPU — Measured, Not…