AI가 내린 결정, 정말 믿을 수 있을까? 'jevals'로 더 똑똑하고 저렴하게 검사하기

상상해보세요. 여러분이 믿고 쓰는 AI 비서가 중요한 이메일을 작성하거나, 고객의 문의에 실시간으로 답을 주고 있습니다. 그런데 AI가 제대로 된 결정을 내리고 있는지, 혹시 실수하거나 보안상 위험한 내용을 내뱉지는 않는지 확인하려면 어떻게 해야 할까요?

지금까지는 ‘판사’ 역할을 하는 또 다른 똑똑한 AI(LLM 판사)를 써서 일일이 행동을 검사해야 했습니다. 마치 재판관에게 모든 보고서를 제출하고 판결을 기다리는 것과 같았죠. 하지만 이 과정은 시간이 너무 오래 걸리고, 사용 비용도 만만치 않았습니다. 그래서 대부분의 회사는 전체 작업의 아주 일부만 겨우 확인하고 넘어가는 실정이었습니다. 출처: Openlayer releases jevals — a fraction-of-a-cent replacement for LLM judges

이러한 고민을 시원하게 해결해 줄 새로운 도구, jevals가 등장했습니다. 출처: Show HN: jevals – replacing LLM judges with typed Jev decisions

이게 왜 중요한가요?

AI 에이전트가 우리 삶에 깊숙이 들어올수록, AI가 올바른 판단을 내리는지 확인하는 과정은 점점 더 중요해지고 있습니다. 단순히 성능이 좋은 모델을 쓰는 것을 넘어, 그 모델이 실수를 하지 않도록 ‘안전벨트’를 채우는 일이 된 것이죠.

지금처럼 전체 작업 중 극히 일부만 골라서 검사하는 방식으로는 나중에 발생할 수 있는 치명적인 오류를 모두 찾아내기 어렵습니다. jevals는 모든 작업 과정을 검증할 수 있을 만큼 빠르고 저렴하기 때문에, AI가 실수를 저지르기 전에 시스템이 이를 미리 감지하고 안전하게 보호할 수 있게 해줍니다. 출처: GitHub - openlayer-ai/jevals: Agent evals and guardrails as …

쉽게 이해하기: ‘판사’에서 ‘체크리스트’로

기존의 ‘LLM 판사(LLM Judge)’ 방식을 다시 생각해 봅시다. 이는 마치 재판관에게 AI가 한 행동을 상세히 적어서 “이게 잘한 건지 판단해 달라”고 긴 서술형 문장을 보내는 것과 같습니다. 문장을 읽고 해석해야 하니 처리 속도가 느리고, 비용도 많이 듭니다. 출처: Introducing jevals: typed decisions for agent evals and …

반면, jevals가 사용하는 ‘Jev’ 모델은 ‘시스템 원(System One)’ 모델입니다. 쉽게 말해, 굳이 긴 문장을 읽고 고민하는 대신, 미리 정해진 질문지에 ‘예/아니오’나 ‘숫자’로 답하는 방식입니다. 비유하자면, 사람이 긴 서술형 답안을 일일이 읽고 채점하는 대신, 기계가 객관식 시험지의 OMR 카드를 0.5초 만에 채점하는 것과 비슷합니다. 출처: Jevals· independent Jev benchmark for models that decide

이렇게 답을 ‘유형화(typed)’해서 한 번에 처리하니까 훨씬 빠르고, 비용도 극적으로 줄어듭니다. 9가지나 되는 검사 항목을 한 번의 통신으로 처리하면서도 트레이스(작업 단위)당 고작 0.00006달러라는 매우 낮은 비용만 발생합니다. 출처: Openlayer Releases jevals: AI Agent Evaluation for a Fraction …

현재 상황: 빠르지만 가끔은 헷갈려요

jevals는 매우 효율적입니다. 무려 40개 이상의 평가 질문을 AI 작업마다 실행해도 전체 비용은 무시해도 좋을 만큼 적습니다. 출처: jevals: An Evals Platform Built Around Typed Judges

하지만 세상 모든 일이 객관식일 수는 없겠죠? 복잡하고 미묘한 대화의 맥락을 파악해야 하는 상황에서는 Jev 모델이 100% 완벽하지는 않습니다. 간단한 ‘예/아니오’ 결정에는 96%가 넘는 높은 정확도를 보이지만, 여러 가지 규칙이 복잡하게 얽힌 문제에서는 정확도가 80%대 수준으로 떨어지기도 합니다. 출처: We Tried Replacing Our LLM Judges With Jev - DEV Community

재미있는 점은, 이 도구가 자신이 답을 확신할 수 없을 때 ‘확률’을 함께 알려준다는 것입니다. “난 지금 내 판단을 60% 정도만 확신해”라고 솔직하게 말해주는 것이죠. 개발자들은 이 확률 정보를 보고, 답이 애매하다고 판단될 때만 더 똑똑한(하지만 비싼) LLM에게 다시 물어보도록 시스템을 스마트하게 설계할 수 있습니다. 출처: We Tried Replacing Our LLM Judges With Jev - DEV Community

앞으로 어떻게 될까?

MindTickleBytes의 AI 기자 시선

AI 에이전트의 성능도 중요하지만, 이제는 그 판단을 검증하는 방식이 ‘고급 재판’에서 ‘효율적인 검수’로 바뀌고 있다는 점이 인상적입니다. 결국 AI가 똑똑해지는 것만큼이나, AI의 실수를 빠르게 잡아내는 기술이 AI 시대를 더 안전하고 믿을 수 있게 만들 것입니다.

참고자료

1. [jevals- AI Agent Eval Library Python

   EveryDev.ai](https://www.everydev.ai/tools/jevals)

2. Jevals· independent Jev benchmark for models that decide

3. [jevals

   System One Models](https://systemonemodels.org/examples/tools/jevals/)

4. Show HN: jevals – replacing LLM judges with typed Jev decisions
5. GitHub - openlayer-ai/jevals: Agent evals and guardrails as …
6. Introducing jevals: typed decisions for agent evals and …
7. We Tried Replacing Our LLM Judges With Jev - DEV Community
8. jevals: An Evals Platform Built Around Typed Judges
9. Openlayer releases jevals — a fraction-of-a-cent replacement for LLM judges
10. Openlayer Releases jevals: AI Agent Evaluation for a Fraction …