AI 개발자/전진 배치 엔지니어(FDE)를 위한 실습용 오픈소스 노트북 모음인 'AI Engineer Notebooks'를 통해, 복잡한 프레임워크 의존성 없이 AI의 핵심 기술을 직접 배우는 방법을 알아봅니다.
상상해보세요. 당신이 요리를 배우고 싶어 요리 학원에 등록했습니다. 그런데 선생님이 요리의 원리는 가르쳐주지 않고, 오직 특정 브랜드의 ‘만능 소스’를 넣는 법만 가르쳐준다면 어떨까요? 만약 그 소스가 없거나 레시피가 바뀌면, 당신은 아무것도 할 수 없는 상태가 되고 말 겁니다.
최근 폭발적으로 성장하는 AI 분야에서도 이와 비슷한 고민을 하는 개발자들이 많습니다. 수많은 복잡한 프레임워크(소프트웨어 개발을 돕는 도구 모음)와 라이브러리가 쏟아져 나오면서, 정작 AI가 어떻게 돌아가는지 근본적인 원리를 파악할 기회는 줄어들고 있기 때문입니다. 이런 고민을 하는 분들에게 아주 반가운 자료가 공개되었습니다. 바로 ‘AI Engineer Notebooks’입니다 [출처: GitHub - calmrocks/ai-engineer-notebooks]
이게 왜 중요한가요?
AI 개발자나 전진 배치 엔지니어(Forward Deployed Engineer, FDE)를 꿈꾸는 사람들에게 이 자료는 마치 ‘요리의 기초’를 배우는 기본서와 같습니다. 많은 이들이 랭체인(LangChain) 같은 대규모 프레임워크에 의존해 AI 앱을 만듭니다. 편리하지만, 문제가 생겼을 때 내부에서 무슨 일이 벌어지는지 이해하기 어렵다는 단점이 있습니다.
‘AI Engineer Notebooks’는 이런 프레임워크의 도움 없이, 모델의 API(응용 프로그램 프로그래밍 인터페이스)를 직접 호출하고 에이전트를 밑바닥부터 구현해 보게 합니다. 이는 단순히 코드를 짜는 것을 넘어, AI 시스템의 핵심을 이해하는 능력을 키워줍니다 [출처: GitHub - calmrocks/ai-engineer-notebooks]. 매달 15만 명 이상의 방문자가 이 자료를 찾는 이유도 바로 이런 ‘본질적인 실력’을 원하기 때문일 것입니다 [출처: Trendshift].
쉽게 말해서: ‘프레임워크 프리(Framework-free)’
여기서 말하는 ‘프레임워크 프리’는 마치 카메라의 자동 모드를 끄고 ‘수동 모드(M모드)’로 촬영하는 것과 비슷합니다. 자동 모드는 셔터만 누르면 예쁜 사진을 만들어주지만, 빛이 부족하거나 특수한 상황에서는 제 기능을 못 할 때가 많습니다.
수동 모드에서는 조리개, 셔터 스피드, ISO 값을 직접 조절해야 합니다. 배우기는 조금 힘들지만, 한번 익히면 어떤 환경에서도 원하는 사진을 찍을 수 있는 전문가가 됩니다. 이 노트북들은 여러분이 AI라는 카메라의 수동 모드를 직접 다뤄보게 합니다.
또한, 이 자료는 ‘Evals-as-the-spine(평가를 척추로)’이라는 중요한 개념을 강조합니다 [출처: GitHub - calmrocks/ai-engineer-notebooks]. 마치 집을 짓기 전에 뼈대를 세우듯, 본격적으로 복잡한 AI 기능을 구현하기 전에 그 시스템이 ‘잘 작동하는지’를 숫자로 먼저 평가하는 습관을 들이라는 것입니다 [출처: 01-measuring-outputs.ipynb - Colab].
현재 상황: 무엇을 배울 수 있나요?
현재 이 오픈소스 노트북 모음은 구글 코랩(Google Colab) 환경에서 무료로 제공되며, 다음과 같은 핵심 기술들을 밑바닥부터 직접 구현해 볼 수 있습니다 [출처: GitHub - calmrocks/ai-engineer-notebooks, 출처: Hacker News]:
- 모델 API 활용: AI 모델과 직접 대화하고 통신하는 법
- 구조화된 출력: AI로부터 원하는 형식의 데이터만 정확하게 받아내는 법
- 툴 호출(Tool Calling): AI가 계산기나 검색 엔진 같은 외부 도구를 직접 사용하는 법
- RAG(검색 증강 생성): AI가 방대한 외부 문서를 읽고 답변하는 법
- 에이전트 구현: 스스로 목표를 세우고 루프(작업의 반복 실행)를 돌며 복합적인 작업을 수행하는 법
- 보안 및 평가: 프롬프트 주입 공격을 막고 시스템 성능을 객관적으로 검증하는 법
앞으로 어떻게 될까?
AI 기술은 하루가 다르게 변하고 있습니다. 하지만 이런 원리를 깊이 있게 이해한 엔지니어들은 어떤 새로운 프레임워크가 나와도 금방 적응할 수 있는 단단한 기초를 가지게 됩니다.
지금 당장 구글 코랩에 접속해 기초적인 시스템을 구축하고, 자신이 만든 AI가 실제로 얼마나 똑똑하게 답변하는지 숫자로 측정해보세요. 단순한 ‘프롬프트 만지작거리는 사람(prompt tinkerer)’에서 ‘진정한 문제를 해결하는 AI 엔지니어’로 한 단계 도약할 준비가 되셨나요? [출처: 01-measuring-outputs.ipynb - Colab]
MindTickleBytes의 AI 기자 시선
기술의 유행은 파도처럼 오고 가지만, 원리에 대한 이해는 바위처럼 단단하게 남습니다. 거대한 프레임워크가 여러분의 시야를 가리기 전에, 밑바닥부터 직접 쌓아 올린 경험을 반드시 확보하시길 권합니다. AI의 본질을 만져보는 이 과정이 여러분을 더 깊이 있는 엔지니어로 만들어줄 것입니다.
참고자료
- 특정 개발 도구의 사용을 강제한다
- 복잡한 추상화 없이 핵심 기술을 직접 구현한다
- 무료가 아닌 유료 도구만 사용한다
- 성능 측정보다 먼저 모델을 튜닝한다
- 복잡한 시스템부터 무조건 구축한다
- 무언가를 만들기 전 시스템의 성능을 숫자로 먼저 평가한다
- RAG(검색 증강 생성)
- 전통적인 웹 디자인 기법
- AI 에이전트 루프 및 툴 호출