AI에게 코딩을 맡겼는데 비용이 17배 차이난다고? '하네스'의 비밀

AI Summary

9개의 AI 코딩 대행 시스템을 동일한 모델로 테스트한 결과, 성능은 비슷했지만 운영 비용은 최대 17.5배까지 차이가 나는 것으로 확인되었습니다.

상상해보세요. 여러분이 똑똑한 비서 두 명을 고용했습니다. 두 비서 모두 같은 대학에서 똑같은 교육을 받았고, 같은 업무 처리 능력을 갖추고 있죠. 그런데 한 명은 일을 끝내는 데 1만 원을 쓰고, 다른 한 명은 똑같은 일에 17만 5천 원을 쓴다면 어떻게 하시겠습니까?

최근 인공지능(AI) 코딩 분야에서 벌어진 흥미로운 현상이 바로 이와 비슷합니다. AI 모델이 똑똑해지면서 코딩 업무를 맡기는 일이 흔해졌지만, 정작 그 업무를 처리하는 ‘방식’에 따라 비용이 천차만별로 달라진다는 사실이 밝혀졌습니다.

이게 왜 중요한가요?

기업이나 개발자가 AI를 활용해 소프트웨어를 개발할 때, 가장 중요한 요소는 단연 ‘비용’과 ‘결과’입니다. 지금까지는 “어떤 AI 모델이 더 똑똑한가?”에만 집중했다면, 이제는 그 모델을 효율적으로 다루는 방법이 더 중요해졌습니다. 만약 똑같은 성능을 내면서 비용을 17배 넘게 절감할 수 있는 방법이 있다면, 기업의 생산성은 차원이 다르게 달라질 수 있습니다.

쉽게 이해하기: 하네스(Harness)란 무엇인가?

‘하네스(harness)’라는 용어가 생소하실 텐데요. 쉽게 말해 AI 모델을 코딩 작업 현장에 투입하고 관리하는 ‘시스템 껍데기’라고 생각하시면 됩니다.

이렇게 비유해 볼까요?

AI 모델: 엄청난 실력을 갖춘 ‘천재 개발자’입니다.
하네스: 이 개발자가 코드를 작성하도록 도구(컴퓨터, 참고 서적, 검색 도구 등)를 챙겨주고, 작업을 지시하며, 결과물을 확인하는 ‘프로젝트 매니저’입니다.

이번 연구(FrontierHarness Eval)는 같은 천재 개발자(동일한 AI 모델)를 고용했더라도, 그를 관리하는 프로젝트 매니저(하네스)가 누구냐에 따라 업무 처리 방식과 드는 비용이 얼마나 다른지 분석했습니다. 연구팀은 9개의 서로 다른 하네스를 동원해 30개의 동일한 소프트웨어 엔지니어링 과제를 수행하게 했습니다. 출처: Introducing FrontierHarness Eval — RUNTA

연구 결과, 모델과 작업 환경을 동일하게 유지했음에도 불구하고 하네스 설정에 따라 성공률, 실행 속도, 캐시(임시 저장 데이터) 사용 방식이 제각각이었습니다. 출처: GitHub - frontier-harness-eval/eval

현재 상황: 비용의 격차는 17.5배

연구의 가장 충격적인 결과는 비용이었습니다. 출처: GitHub - runta-dev/frontier-harness-eval 연구팀이 12가지 하네스 설정을 비교한 결과, 동일한 작업임에도 불구하고 비용이 무려 17.5배까지 차이가 났습니다. 출처: Samemodel. Similarpassrates. 17.5xcostdifferences across 12…

즉, 똑같은 코딩 작업을 시켰는데 어떤 시스템을 쓰느냐에 따라 돈을 1만 원만 써도 될 일을 17만 5천 원이나 쓰게 될 수도 있다는 뜻입니다. 단순히 모델이 똑똑하다고 해서 모든 것이 해결되지 않는다는 점을 보여줍니다. 하네스를 어떻게 설계하느냐에 따라 AI의 판단력이 달라지고, 쓸데없는 질문을 줄여 비용을 아낄 수도 있는 것입니다. 출처: GitHub - runta-dev/frontier-harness

앞으로 어떻게 될까?

이번 결과는 AI 시대를 살아가는 우리에게 중요한 힌트를 줍니다. 앞으로는 단순히 ‘성능 좋은 AI 모델’을 찾는 경쟁을 넘어, 그 모델을 가장 적게 움직이면서 최고의 결과를 뽑아내는 ‘효율적인 설계’ 경쟁이 시작될 것입니다.

사용자 입장에서는 이제 AI를 사용할 때 “이 모델이 얼마나 똑똑한가?”와 더불어, “이 AI가 일을 처리하는 시스템(하네스)이 얼마나 효율적인가?”를 따져봐야 합니다. 앞으로 이 분야의 연구가 더 활발해지면, 우리는 더 저렴하고 빠르게 더 좋은 소프트웨어를 만들 수 있는 시대를 맞이할 것입니다.

MindTickleBytes의 AI 기자 시선

AI의 지능은 모델의 몫이지만, 그 지능을 현명하게 활용해 비용을 최적화하는 것은 인간의 몫입니다. 마치 똑똑한 인재를 고용하고도 그에게 불필요한 서류 작업만 잔뜩 시키는 매니저가 있는가 하면, 명확한 가이드로 업무 효율을 극대화하는 매니저가 있는 것과 같습니다. 기술이 고도화될수록 결국 시스템을 다루는 ‘운용의 묘’가 기업과 개인의 경쟁력을 결정짓게 될 것입니다.

참고자료

Share this article:

이 글을 얼마나 이해했나요?

Q1. 이번 연구에서 9개의 AI 코딩 시스템을 비교할 때 고정시킨 요소가 아닌 것은?

AI 모델
소프트웨어 엔지니어링 작업
시스템 운영 비용

연구의 핵심은 모델, 작업, 런타임을 고정했을 때 비용이 어떻게 변하는지를 측정하는 것이었습니다.

Q2. AI 코딩 하네스(harness)를 바꿈으로써 변할 수 있는 요소가 아닌 것은?

작업 성공률
캐시 동작 방식
AI 모델의 기본 지능

하네스는 모델을 제어하는 방식일 뿐, 모델 자체의 지능을 향상시키지는 않습니다.

Q3. 동일한 작업 수행 시 하네스 설정에 따른 비용 차이는 최대 몇 배까지 발생했나요?

약 5배
약 17.5배
약 30배

연구 결과 12가지 설정에서 비용이 최대 17.5배까지 차이 나는 것으로 나타났습니다.