모든 작업에 LLM을 쓰는 대신, 단순한 작업에는 전통적인 결정 모델이나 규칙 기반 시스템을 사용하는 것이 비용, 속도, 보안 측면에서 훨씬 유리합니다.
상상해보세요. 여러분이 집 앞 편의점에 우유 한 팩을 사러 가는데, 최고급 스포츠카에 시동을 걸고 나와 좁은 골목길을 지나가는 상황을 말입니다. 엔진은 엄청난 굉음을 내고, 기름값은 감당하기 힘들며, 좁은 곳에 주차하기도 번거롭습니다. 차라리 집 앞 슈퍼에 걸어가거나 자전거를 타는 것이 훨씬 빠르고 효율적이겠지요.
오늘날 많은 기업과 개발자들이 인공지능(AI) 업계에서 이와 비슷한 실수를 저지르고 있습니다. 모든 문제의 해결책으로 거대 언어 모델(LLM, 대규모 데이터로 학습된 AI 언어 구조)을 무조건 들이밀고 있는 것입니다 출처 기업들의 실제 개발 현황 참고. 하지만 과연 세상의 모든 일이 복잡한 AI의 두뇌를 필요로 할까요? 최근 기술계에서는 “모든 것에 LLM을 쓸 필요는 없다(Not Everything Needs an LLM)”는 목소리가 거세게 터져 나오고 있습니다 출처 Not Everything Needs an LLM.
이게 왜 중요한가요?
지난 몇 년간 전 세계 이사회와 기업들은 AI 예산을 쏟아붓느라 정신이 없었습니다. 클래식한 소프트웨어 개발 대신 무조건 LLM을 연결하는 것이 최고의 트렌드가 되었죠 출처 LinkedIn Post by Clevyr. 많은 기업들이 단순한 목록을 정렬하거나, 데이터를 카운트하고, 시스템 간에 파일을 이동시키는 기본적인 작업조차 LLM을 붙여서 처리하려고 수많은 엔지니어링 시간과 천문학적인 비용을 낭비하고 있습니다 출처 LinkedIn Post by Clevyr.
그러나 이러한 무분별한 AI 도입은 거센 비용 폭탄과 성능 저하라는 부메랑으로 돌아오고 있습니다. 고객들 중에는 자신의 민감한 데이터를 LLM 서버로 보내 처리하는 것을 아예 거부하는 이들도 적지 않습니다 출처 Not everything needs an LLM - YouTube. 빔어리(Beamery)의 라미(Rami)는 전통적인 AI나 단순한 시스템이 데이터 보안, 처리 속도, 비용 측면에서 훨씬 더 유리할 수 있다고 지적합니다 출처 Not everything needs an LLM - YouTube.
우리가 일상에서 마주하는 수많은 데이터 처리 작업들은 사실 고성능 AI가 아니라, 오래전부터 존재해 온 검증된 도구들로 훨씬 빠르고 안전하게 해결될 수 있습니다. 기술을 도입할 때 “이게 가장 최신 기술인가?”를 묻기 전에 “정말 이 기술이 내 문제에 꼭 필요한가?”를 따져보는 것이 기업의 생존과 개인의 효율을 가르는 중요한 기준이 되고 있습니다.
쉽게 이해하기: 천재 교수님과 묵묵한 실무자
쉽게 말해서, 거대 언어 모델(LLM)은 수만 권의 책을 읽고 철학적 대화까지 나눌 수 있는 엄청나게 박학다식한 천재 교수님과 같습니다. 반면, 전통적인 결정 모델이나 규칙 기반 시스템은 정해진 매뉴얼에 따라 정확하고 빠르게 움직이는 철저한 실무자라고 할 수 있습니다.
이렇게 비유해 보겠습니다. 여러분이 책상 위에 쌓인 서류 봉투를 두더지 잡기 하듯 ‘예/아니오’로 빠르게 분류하거나, 단순한 목록을 순서대로 정렬해야 한다고 상상해보세요. 천재 교수님을 불러다가 이 일을 시키면, 매번 깊이 고뇌하느라 시간도 오래 걸리고 비싼 자문료(API 비용)를 청구할 것입니다. 게다가 가끔은 엉뚱한 해석을 덧붙이기도 하죠.
반면 규칙 기반 시스템이나 전통적인 결정 모델은 명확한 조건에 따라 0.1초 만에 결과를 뱉어냅니다. 실제로 포스트호그(PostHog) 같은 기업들은 Jev와 같은 전통적인 결정 모델을 활용해 비용이 많이 드는 LLM 호출을 사전에 제어하고, 모델 간 라우팅을 수행하며, 검색 결과를 재랭킹하고, 적절한 차트를 선택하는 데 사용하고 있습니다 출처 Not everything needs an LLM - posthog.com. 이 모델들은 자유로운 산문 형태의 답변 대신, 확률값이 보정된 정확한 타이핑 답변을 훨씬 저렴하고 빠르게 제공합니다 출처 Not Everything Needs an LLM - daily.dev.
또한, 신경망(Neural Networks)을 이용한 지도학습 모델이나 고정된 레이블 세트를 사용해 입력을 분류하는 규칙 기반 시스템은 LLM의 복잡성과 환각(Hallucination, 오답 생성) 걱정 없이 안정적으로 작동합니다 출처 Not everything needs an LLM: A framework for evaluating when AI makes sense.
현재 상황: AI 순위 경쟁 속에서 발견한 ‘진짜’ 효율성
| 현재 인공지능 세계에서는 끊임없이 새로운 모델들이 눈부시게 쏟아져 나오고 있습니다. 예를 들어, 인공 분석(Artificial Analysis)의 LLM 리더보드에 따르면 클로드 페이블 5.2(Claude Fable 5.2 Max, Default Fallback) 모델이 지능 지수(Intelligence Index) 점수 65점을 기록하며 114개 모델 중 당당히 1위 자리를 지키고 있습니다 [출처 LLMLeaderboard - Comparison of AI models from… | Artificial Analysis](https://artificialanalysis.ai/leaderboards/models). |
이렇게 AI의 성능은 날이 갈수록 눈부시게 진화하고 있습니다. 하지만 바로 이 점 때문에 현장의 개발자와 아키텍트들은 역설적인 고민에 빠졌습니다. “이렇게 강력한 모델이 있는데, 과연 이 사소한 작업에도 이걸 써야 할까?”라는 의문입니다.
실제로 테트레이트(Tetrate) 팀은 컴라이언스(규정 준수) 데이터를 동기화하는 에이전트를 개발하면서 흥미로운 실험을 진행했습니다 출처 Not Everything Needs an LLM: When Simpler Models Win. 처음에는 LLM을 기반으로 에이전트를 구축했으나, 나중에 LLM을 완전히 제거하고 더 단순한 로직으로 버전업을 수행했습니다. 그 결과, 새로운 버전은 더 빠르게 실행되었고, 비용은 훨씬 적게 들었으며, 결과물은 완전히 동일했습니다 출처 Not Everything Needs an LLM: When Simpler Models Win.
| 아마존웹서비스(AWS)의 데이브 홀(Dave Hall) 역시 강연을 통해 ChatGPT 스타일의 AI가 언제 실제로 유용한지, 그리고 언제 더 단순한 시스템이 더 나은 선택이 되는지를 명확하게 구분해야 한다고 강조합니다 [출처 Not Everything Needs An LLM | Google Developer Groups](https://gdg.community.dev/events/details/google-gdg-on-campus-the-australian-national-university-canberra-australia-presents-not-everything-needs-an-llm/). 개발자가 아니더라도 현명한 팀들이 기술을 선택할 때 가장 먼저 고려해야 할 것은 무조건적인 최신 기술 도입이 아니라 문제 해결에 가장 적합한 도구의 선택입니다 [출처 Not Everything Needs An LLM | Google Developer Groups](https://gdg.community.dev/events/details/google-gdg-on-campus-the-australian-national-university-canberra-australia-presents-not-everything-needs-an-llm/). |
앞으로 어떻게 될까?
앞으로의 기술 생태계는 무조건적인 AI 만능주의에서 벗어나 ‘적재적소(Right Tool for the Job)’의 시대로 진입할 것입니다. 복잡한 추론이나 창의적인 글쓰기, 자연어 대화에는 고성능 LLM이 필수적이겠지만, 대규모 데이터의 단순 필터링, 규칙 검증, 시스템 간 연동, 보안이 최우선인 내부 컴라이언스 작업 등에서는 전통적인 결정 모델과 규칙 기반 시스템이 굳건히 주류를 유지할 것입니다.
알 수 없는 오답을 내놓을 확률이 있는 LLM 대신, 신뢰할 수 있는 확률값과 정확한 타입을 반환하는 결정 모델(예: Jev)들이 비용 효율적인 대안으로 각광받을 전망입니다 출처 Not Everything Needs an LLM - daily.dev.
현대 소프트웨어 엔지니어링에서 ‘AI를 언제 쓸 것인가’를 아는 것만큼이나, ‘언제 AI를 뺄 것인가(When to Remove the AI)’를 아는 것이 매우 과소평가된 핵심 역량으로 자리 잡고 있습니다 출처 Not Everything Needs An LLM: When to Remove the AI from Your AI…. 앞으로 기술을 마주할 때 화려한 마케팅 문구에 현혹되기보다, 내 문제에 꼭 맞는 가장 단순하고 정직한 도구가 무엇인지 고민해보는 지혜가 필요합니다.
AI의 시선
MindTickleBytes의 AI 기자 시선: 기술의 진보는 늘 우리에게 더 복잡하고 강력한 도구를 선사하지만, 진정한 엔지니어링의 미학은 ‘가장 단순한 방법으로 문제를 해결하는 것’에 있습니다. AI 시대일수록 기본기로 돌아가는 지혜가 가장 강력한 무기입니다.
참고자료
- Not Everything Needs an LLM
- Not everything needs an LLM - posthog.com
- Not Everything Needs an LLM: When Simpler Models Win
- Not everything needs an LLM - YouTube
- Not Everything Needs an LLM - daily.dev
- When to Use an LLM (And When Not To) - LLM Guides
- LinkedIn Post by Clevyr
- NVIDIA Technical Blog
- Asking LLM for confidence
- Databricks Blog
- Surromind AI
- Cryptofused
- Artificial Analysis LLM Leaderboard
- Tetrate Blog
- Google Developer Groups
- LLM Rumors
- AI Leaderboard 2026
- 비용이 더 많이 들고 속도가 느려진다
- 더 빠른 속도, 저렴한 비용, 향상된 보안을 제공한다
- 자유로운 산문 형태의 답변만 제공한다
- 전통적인 결정 모델(예: Jev)
- 양자 컴퓨터 알고리즘
- 인간 전문가 수작업 검토
- 결과가 부정확해지고 오류가 급증했다
- 더 느리지만 창의적인 결과물을 만들어냈다
- 더 빠르게 실행되고, 비용이 적게 들며, 동일한 결과를 산출했다