2005년엔 왜 GPT-2 같은 AI가 없었을까요? 하드웨어는 충분했는데 말이죠

상상해보세요. 우리가 지금 매일 사용하는 스마트한 AI 비서가 만약 20년 전인 2005년에 이미 존재했다면 어땠을까요? 아침에 일어나 컴퓨터를 켜자마자 AI에게 “어제 뉴스 요약해줘”라고 말하고, AI가 척척 대답해주는 세상 말이죠.

놀랍게도, 기술적으로 계산해보면 2005년의 컴퓨팅 능력으로도 오픈AI(OpenAI)의 언어 모델인 GPT-2를 학습시키는 것은 충분히 가능했습니다. 출처 8, 출처 13. 그런데 왜 우리는 2019년이 되어서야 이 모델을 만날 수 있었던 걸까요? 하드웨어가 문제가 아니었다면, 도대체 무엇이 부족했던 걸까요?

이게 왜 중요한가요?

이 질문은 단순히 과거를 돌아보는 것이 아닙니다. 우리는 종종 “AI는 왜 이렇게 늦게 발전했을까?” 혹은 “앞으로 왜 이렇게 빠르게 발전할까?”라는 의문을 갖곤 합니다. GPT-2가 2005년에 나오지 못한 이유를 아는 것은, 기술 발전이 단순히 기계의 힘(하드웨어)만으로 결정되지 않으며, 적절한 알고리즘과 투자가 어우러질 때 비로소 현실이 된다는 사실을 깨닫게 해줍니다.

쉽게 말해서: 요리 재료와 레시피의 관계

이렇게 비유해볼까요? 맛있는 요리를 만드는 데는 거대한 주방(하드웨어)도 중요하지만, 무엇보다 기가 막힌 ‘레시피(알고리즘)’가 필요합니다. 2005년 당시의 슈퍼컴퓨터인 ‘BlueGene/L’은 전 세계에서 가장 넓고 화려한 주방을 가진 셈이었습니다. 실제로 이 주방을 활용했다면 GPT-2라는 요리를 완성하는 데 약 41일 정도면 충분했을 것입니다. 출처 8.

하지만 당시 요리사들에게는 가장 중요한 ‘트랜스포머(Transformer, 문장 내 단어들 사이의 관계를 파악하는 AI 구조)’라는 레시피가 없었습니다. 출처 8. 또한 모델을 효율적으로 학습시키는 ‘Adam 최적화(Adam optimization, AI 학습 속도를 높여주는 기술)’와 같은 기법들도 세상에 나오지 않았죠. 마치 최고의 주방에 최신식 오븐까지 다 갖춰놓고도, 정작 무슨 재료를 넣고 어떻게 요리해야 할지 몰라 헤매고 있었던 셈입니다.

현재 상황: 왜 이제야 주목받는 걸까요?

GPT-2는 2019년이 되어서야 오픈AI에 의해 정식으로 공개되었습니다. 출처 12. 당시 800만 개의 웹 페이지 데이터를 학습한 이 모델은 세상을 놀라게 했지만, 사실 초기에는 많은 사람들이 이를 “재미있지만 쓸모는 반쯤 부족한 장난감” 정도로 여겼습니다. 출처 11.

당시 AI 연구는 오늘날처럼 거대한 투자를 받는 분야가 아니라, 오히려 ‘사이비 과학’에 가깝게 취급받기도 했습니다. 출처 7. 투자자들은 AI보다는 당시 규제 문제로 골머리를 앓던 분야나 핵무기 관련 연구에 컴퓨팅 자원을 쏟아붓고 있었습니다. 출처 7. 기술적인 토대뿐만 아니라, 사회적인 관심과 자본의 흐름이 AI라는 꽃을 피우기에는 아직 추운 겨울이었던 것이죠.

앞으로 어떻게 될까?

오늘날 우리는 1조 5천억 개가 넘는 파라미터(매개변수, AI가 데이터를 처리하며 조절하는 숫자값들)를 가진 모델들이 등장하는 시대를 살고 있습니다. 이제 AI 모델은 학습에 약 1.9 × 10²⁰에서 2.5 × 10²¹ FLOPs(컴퓨터의 연산 횟수 단위)라는 천문학적인 계산을 수행합니다. 출처 6, 출처 9.

앞으로는 단순히 더 큰 컴퓨터를 만드는 것보다, 어떻게 하면 적은 자원으로 더 똑똑한 결과를 낼 것인가에 대한 연구가 더욱 활발해질 것입니다. 새로운 모델이 나올 때마다 우리는 ‘성능 대비 가격’이 어떻게 변하는지 지켜보고, 그에 맞춰 우리의 일상을 어떻게 바꿀지 고민해야 할 것입니다. 출처 10.

MindTickleBytes의 AI 기자 시선

2005년의 기술로도 가능했던 일을 2019년까지 기다려야 했던 이유는, 결국 기술은 기계가 만드는 것이 아니라 인간의 호기심과 그 호기심을 지지해주는 사회적 토양이 함께 만들어내기 때문이라는 점을 다시금 깨닫게 합니다. 지금 우리가 보고 있는 기술의 발전 역시, 지금 당장의 하드웨어 능력보다는 앞으로 우리가 어떤 방향으로 연구의 불씨를 지피느냐에 달려있습니다.

참고자료

1. GPTImage2(ChatGPT Images2.0): Free Online, No Sign-up
2. He Asked ChatGPTOne Question and ItGetsDisturbingly… - YouTube
3. ChatGPT Images2.5 — бесплатный ИИ-генератор и редактор фото
4. FreeGPTImage2Online ｜AI Image Generator… - Img Creator AI
5. ChatGPT Images2.0: Try AI Image Generation
6. Why didn’t we get GPT-2 in 2005? - hn.today
7. Why didn’t we get GPT-2 in 2005? : r/mlscaling - Reddit

8. [Why didn’t we get GPT-2 in 2005?

   Hasty Briefs](https://hb.int2inf.com/en/s/item/T4BcbcDVfviZ83kREhv9Xp-why-no-gpt2-in-2005)

9. Why didn’t we get GPT-2 in 2005? - Substack
10. Why didn’t we get GPT-2 in 2005? - hoton.ai
11. Why didn’t we get GPT-2 in 2005? : r/slatestarcodex - Reddit
12. GPT-2 - Wikipedia

13. [Why didn’t we get GPT-2 in 2005?

    Itai Katz - LinkedIn](https://www.linkedin.com/posts/itaijkatz_why-didnt-we-get-gpt-2-in-2005-activity-7266848522186932224-deGR)