AI의 '뼈대'가 궁금하다면? 오픈소스 모델을 직접 조립해보는 OpenArch

상상해보세요. 우리가 매일 사용하는 똑똑한 AI 챗봇이 사실은 수만 개의 부품으로 정교하게 조립된 거대한 기계와 같다는 사실을 말이죠. 하지만 대부분의 사람은 그 기계의 겉모습(챗봇 화면)만 볼 뿐, 내부가 어떻게 복잡하게 맞물려 작동하는지는 알기 어렵습니다. 마치 완성된 레고 세트를 상자 밖에서만 구경하는 것과 비슷하죠.

그런데 최근, 이 복잡한 AI의 ‘설계도’를 직접 따라 그리며 그 원리를 뼛속까지 이해하려는 시도가 주목받고 있습니다. 현대 거대언어모델(LLM, 대량의 텍스트 데이터를 학습해 언어를 이해하고 생성하는 AI)의 뼈대를 직접 조립해보는 프로젝트, ‘OpenArch’를 소개합니다.

이게 왜 중요한가요?

지금 우리는 ‘AI의 시대’를 살고 있습니다. 하지만 AI 기술이 폭발적으로 발전하면서, 정작 사용자인 우리는 AI 모델을 ‘블랙박스’처럼 다루게 되었습니다. “질문을 넣으면 결과가 나오니까”라며 사용법만 익히는 데 그치는 경우가 많죠.

하지만 AI를 진정으로 자신의 것으로 만들고 싶다면, 그 구조를 이해해야 합니다. 자동차의 엔진이 어떻게 작동하는지 아는 운전자가 더 능숙하게 차를 다룰 수 있듯, AI 모델의 구조를 파악하면 왜 어떤 모델은 빠르고, 어떤 모델은 더 똑똑한지 비로소 이해할 수 있게 됩니다. OpenArch와 같은 프로젝트는 개발자와 AI 학습자들이 기술의 이면을 들여다보고, 나아가 스스로 더 나은 모델을 설계할 수 있는 밑거름을 제공합니다 [Source 2, Source 3].

쉽게 이해하기: AI 요리 교실

OpenArch를 쉽게 비유하자면 ‘AI 요리 교실’입니다.

우리가 맛집에서 사 먹는 요리(상용화된 AI 모델)를 단순히 즐기는 것이 아니라, 그 요리에 들어가는 핵심 재료와 조리 과정을 하나하나 손으로 직접 해보는 것이죠. OpenArch는 파이토치(PyTorch, AI 모델을 만들 때 가장 많이 쓰이는 프로그래밍 도구)를 사용해 Llama, Qwen, DeepSeek 등 요즘 세상에서 가장 잘 나가는 AI 모델들의 구조를 밑바닥부터 직접 구현합니다 [Source 2, Source 3].

1. 설계도 확인: Sebastian Raschka의 LLM Architecture Gallery라는 곳이 있습니다. 이곳은 현대 AI 모델들이 어떤 구조로 생겼는지 깔끔하게 정리해둔 ‘설계도 보관소’ 같은 곳입니다 [Source 5, Source 6].
2. 부품 조립: OpenArch는 이 설계도를 기반으로, 각 모델이 사용하는 ‘어텐션 메커니즘(Attention Mechanism, 문장에서 중요한 단어에 집중하게 만드는 기능)’이나 ‘디코더(Decoder, 정보를 해석하는 장치)’ 같은 핵심 부품들을 파이토치 코드로 한 줄 한 줄 직접 작성합니다 [Source 1, Source 8].

마치 초보 목수가 가구를 조립하며 나무의 결을 이해하듯, 개발자들은 이 코드를 따라 작성하면서 각 모델이 왜 그런 구조를 선택했는지 깊이 있게 배우게 됩니다.

현재 상황

현재 OpenArch는 Llama, Qwen, DeepSeek, Gemma, Kimi, GPT-OSS 등 현대적인 오픈소스 LLM 아키텍처들을 지원하고 있습니다 [Source 2, Source 3, Source 4].

이 프로젝트는 단순히 복잡한 상용 모델의 구현체를 가져다 쓰는 것이 아닙니다. 학습의 가독성을 최우선으로 고려하여 작성되었습니다 [Source 2, Source 4]. 즉, 전문가만이 읽을 수 있는 난해한 코드가 아니라, AI 공부를 시작하는 사람들이 구조를 파악하기 좋게 짜여 있다는 점이 가장 큰 장점입니다 [Source 3, Source 8].

어디까지 갈 수 있을까?

AI 기술은 이제 거대 기업만의 전유물이 아닙니다. OpenArch처럼 구조를 공개하고 학습을 돕는 프로젝트들이 늘어남에 따라, 앞으로는 일반인들도 AI의 원리를 배우고 자신만의 작은 언어 모델을 설계해보는 시대가 올 것입니다.

우리는 이제 ‘AI가 무엇을 할 수 있는가’를 넘어 ‘AI가 어떻게 작동하는가’를 질문하게 될 것입니다. OpenArch와 같은 오픈소스 활동들은 AI 기술의 투명성을 높이고, 더 많은 창의적인 인재들이 이 분야에 뛰어들 수 있도록 돕는 아주 중요한 이정표가 될 것입니다.

AI의 시선

MindTickleBytes의 AI 기자 시선에서 볼 때, AI 아키텍처를 ‘직접 조립’해보는 경험은 대체 불가능한 지식 자산입니다. 단순한 사용자에서 벗어나 기술을 해체하고 재구성할 수 있는 ‘생성자’가 되는 것, 그것이 바로 다음 세대의 진정한 AI 경쟁력이 될 것입니다. 여러분도 이번 기회에 AI의 뼈대를 직접 만져보며 진정한 기술의 깊이를 체감해보시는 건 어떨까요?

참고자료

1. GitHub - anuj0456/OpenArch: PyTorch implementations of modern LLM architectures
2. GitHub - anuj0456/OpenArch: PyTorch implementations of modern LLM architectures (Llama, Qwen, DeepSeek, Gemma, GPT-OSS, Kimi, and more)
3. OpenArch – PyTorch implementations of modern LLM architectures - Hacker News
4. anuj0456/OpenArch — GitHub trending stats & insights

5. [LLM Architecture Gallery

   Sebastian Raschka, PhD](https://sebastianraschka.com/llm-architecture-gallery/)

6. [Inside the LLM Architecture Gallery

   Sebastian Raschka, PhD](https://sebastianraschka.com/blog/2026/llm-architecture-gallery.html)

7. GitHub - codiceSpaghetti/llm-architectures: Clean, Educational PyTorch Implementations