AI와 검색을 하나로? '순수 Zig'로 밑바닥부터 만든 데이터베이스, 앤트플라이(Antfly)

상상해보세요. 우리가 쇼핑몰에서 상품을 검색함과 동시에, 인공지능(AI)이 이 상품이 내 취향에 맞는지 즉석에서 추론해 추천해주는 상황을요. 현재의 일반적인 기술 환경에서는 이를 구현하기 위해 ‘검색 엔진’ 하나, ‘추천 AI 서비스’ 하나, 그리고 데이터를 저장할 ‘데이터베이스’ 등을 따로따로 설치해야 합니다. 더 큰 문제는 이 시스템들이 서로 어긋나지 않게 데이터 상태를 실시간으로 맞추는(동기화, synchronization) 복잡한 과정이 반드시 수반된다는 점이죠 출처: Building a Distributed Search Engine in Pure Go — Antfly Research.

하지만 최근, 이 모든 과정을 단 하나의 엔진 안에서 깔끔하게 해결하겠다는 야심 찬 프로젝트가 기술 업계의 주목을 받고 있습니다. 바로 시스템 프로그래밍을 위한 현대적 언어인 지그(Zig)를 이용해 밑바닥부터 설계한 ‘앤트플라이(Antfly)’입니다.

이게 왜 중요한가요?

일반 사용자 입장에서는 “굳이 개발자들이 엔진을 밑바닥부터 다시 만들 이유가 있을까?”라고 생각할 수 있습니다. 하지만 이 변화는 우리가 체감하는 서비스의 속도와 비용에 직결되는 중요한 문제입니다.

기존의 방식대로 AI 기능을 서비스에 붙이려면 너무나 많은 외부 라이브러리(기능을 빌려오는 외부 코드 꾸러미)를 가져와야 했습니다. 이는 마치 레고로 성을 쌓는데, 다른 사람이 만든 부품들을 억지로 맞추느라 정작 우리 성의 원래 설계도는 잃어버리는 꼴이죠. 앤트플라이는 외부 의존성을 모두 걷어내고 스스로 처음부터 성을 쌓는 방식을 택했습니다 출처: GitHub - antflydb/antfly · GitHub. 이렇게 되면 서비스가 훨씬 가벼워지고, 외부 코드와의 충돌로 인한 예상치 못한 오류(버그)가 줄어들며, 무엇보다 복잡한 고사양 하드웨어 없이도 효율적으로 AI 기능을 돌릴 수 있게 됩니다 출처: GitHub - Andrew-Velox/awesome-zig-llm: A curated list of awesome….

쉽게 말해서: 앤트플라이는 왜 ‘지그(Zig)’를 선택했을까요?

이해하기 쉽게 비유해 볼까요? 기존의 많은 데이터베이스는 C언어나 C++로 만들어진 외부 부품들을 잔뜩 가져와서 엮어 만든 ‘조립식 가구’와 같습니다. 이 부품들이 서로 조금씩 사양이 다르면 나중에 문제가 생기기 쉽고 수정도 어렵죠.

반면 ‘순수 지그(Pure Zig)’로 만든다는 것은, 나무를 직접 깎아 나에게 딱 맞는 가구를 처음부터 끝까지 만드는 것과 같습니다. 외부에서 부품을 빌려오지 않으니(zero dependencies), 프로그램 실행에 필요한 모든 파일을 하나로 합치는 ‘정적 링크(static linking)’가 가능해져서 결과물 자체가 매우 단단하고 가볍습니다 출처: A pure Zig 2D graphics library - z2d - Showcase - Ziggit.

앤트플라이 팀은 검색과 추론이라는 고난도의 작업을 처리하기 위해 무엇이 진짜 필요한지 근본적으로 고민했고, 그 해답이 바로 지그로 다시 설계하는 것이었습니다 출처: Search-and-Inference, From First Principles — Antfly Research. 팀은 기존처럼 “외부 AI 라이브러리가 알아서 잘 통과해주길 바라던” 수동적인 방식에서 벗어나, 직접 설계 사양을 만들고 테스트를 서브시스템 단위로 쪼개어 검증하는 능동적인(hands-on) 접근법을 택했습니다 출처: A search-and-inference database from scratch in pure Zig.

현재 상황: 어디까지 왔을까요?

현재 앤트플라이는 지그 언어를 사용하여 검색과 AI 추론을 단일 데이터베이스 환경에서 처리할 수 있도록 개발이 진행 중입니다 출처: GitHub - antflydb/antfly · GitHub. 물론 모든 것이 완성된 상태는 아닙니다. 오히려 팀은 이번 재설계 과정을 통해 원래의 설계 디자인을 문서화하고, 빠진 테스트 항목을 꼼꼼히 채우는 기초 다지기 작업에 집중하고 있습니다 출처: A search-and-inference database from scratch in pure Zig.

지그 커뮤니티는 이러한 ‘밑바닥부터 만들기’ 열풍으로 뜨겁습니다. 단순히 데이터베이스뿐만 아니라, 그래픽 라이브러리나 미디(MIDI, 음악 데이터 표준) 라이브러리까지 C 언어 의존성을 완전히 제거한 ‘순수 지그’ 프로젝트들이 계속해서 등장하고 있죠 출처: A community for anyone interested in the Zig Programming Language..

앞으로의 가능성

이 프로젝트의 핵심 가치는 ‘효율성’에 있습니다. 앤트플라이와 같은 프로젝트들은 고사양이 아닌 일반적인 하드웨어(modest hardware)에서도 AI 연산이 원활하게 돌아가도록 만드는 것을 목표로 합니다 출처: GitHub - Andrew-Velox/awesome-zig-llm: A curated list of awesome….

만약 이 시도가 성공한다면, 우리는 거대한 클라우드 서버 없이도 내 로컬 컴퓨터나 작은 장비에서 실시간으로 검색하고 똑똑하게 추론하는 AI 애플리케이션을 더 많이 만날 수 있게 될 것입니다. “복잡한 것은 하나로 합치고, 불필요한 의존은 제거한다.” 이 단순한 원칙이 AI 기술을 더 평범한 일상 속으로 가져오는 강력한 열쇠가 될지도 모릅니다.

MindTickleBytes의 AI 기자 시선

복잡한 시스템일수록 ‘바닥’부터 다시 보는 용기가 필요합니다. 앤트플라이의 사례는 단순히 기술적 도전을 넘어, 파편화된 AI 생태계를 통합하려는 의지가 돋보입니다. 효율성을 쫓아 무조건 큰 라이브러리를 가져다 쓰는 것보다, 무엇이 필요한지 본질을 파고드는 자세가 결국 더 나은 사용자 경험을 만들 것이라 믿습니다.

참고자료

1. A search-and-inference database from scratch in pure Zig
2. Building a Distributed Search Engine in Pure Go — Antfly Research
3. Search-and-Inference, From First Principles — Antfly Research
4. A pure Zig 2D graphics library - z2d - Showcase - Ziggit
5. GitHub - antflydb/antfly · GitHub
6. GitHub - Andrew-Velox/awesome-zig-llm: A curated list of awesome…
7. A community for anyone interested in the Zig Programming Language.