내 손안의 AI, 얼마나 똑똑할까? 스마트폰 AI 성능 측정의 비밀

상상해보세요. 인터넷 연결이 전혀 없는 오지에서도 당신의 스마트폰 속 AI 비서가 막힘없이 사진을 보정해주고, 긴 문서를 요약해주며, 복잡한 외국어 통역까지 즉석에서 해내는 장면을요. 지금까지 AI는 ‘구름 위’, 즉 거대한 데이터 센터의 슈퍼컴퓨터 속에서만 작동한다고 여겨졌습니다. 하지만 이제 AI가 우리 손안의 작은 스마트폰 속으로 들어오려 합니다. 이를 전문 용어로 ‘포켓 스케일 추론(Pocket-Scale Inference, 기기 내에서 직접 AI 모델을 실행하여 결과를 도출하는 과정)’이라고 합니다.

도대체 내 스마트폰에 탑재된 AI는 구름 위의 AI와 비교해 얼마나 똑똑할까요? 이를 확인하기 위한 새로운 기준이 마련되었습니다.

왜 중요한가요?

지금까지 우리가 사용하는 챗GPT 같은 AI들은 대부분 강력한 서버에 의존했습니다. 내가 입력한 질문이 인터넷을 타고 멀리 떨어진 서버로 전송되고, 거기서 답을 만들어 다시 내 폰으로 보내주는 방식이었죠. 반면 포켓 스케일 AI는 내 폰 안에서 모든 계산을 마칩니다.

이것이 중요한 이유는 크게 두 가지입니다. 첫째는 ‘프라이버시’입니다. 나의 개인적인 대화나 민감한 사진 데이터가 외부 서버로 나가지 않으니 훨씬 안전하죠. 둘째는 ‘속도’입니다. 네트워크 상태와 상관없이 즉각적으로 반응할 수 있습니다. 하지만 문제는 스마트폰은 서버용 슈퍼컴퓨터보다 훨씬 작고 성능이 제한적이라는 점입니다. 우리가 체감하는 AI의 성능은 스마트폰이 얼마나 효율적으로 이 ‘작은 AI’를 돌리느냐에 달려 있습니다.

쉽게 말해서

비유하자면, 서버용 AI가 ‘최고급 요리사가 모여 있는 대형 호텔 주방’이라면, 포켓 스케일 AI는 ‘1인 가구의 미니 주방’입니다. 대형 주방은 수백 인분의 요리를 한 번에 할 수 있지만, 미니 주방은 한 번에 할 수 있는 요리에 한계가 있죠.

최근 인공지능 성능 분석 기업인 아티피셜 애널리시스(Artificial Analysis)는 스마트폰이라는 좁은 주방에서 AI가 얼마나 빠르고 정확하게 결과물을 만들어내는지 측정하는 벤치마크(성능 측정 기준)를 발표했습니다. 출처: 아티피셜 애널리시스

하지만 이 측정은 생각보다 까다롭습니다. 데이터 센터의 서버와 달리 스마트폰의 런타임(AI를 돌리기 위한 소프트웨어 환경)은 아직 기술적으로 덜 성숙해 있습니다. 출처: 아티피셜 애널리시스 마치 요리사가 제각기 다른 종류의 도구를 들고 요리를 하는 것과 같아서, 어떤 설정을 하느냐에 따라 AI가 내놓는 답변 속도와 질이 크게 달라집니다. 그래서 진짜 실력을 측정하기가 훨씬 어렵습니다.

어디에 와 있나요

현재 이 ‘포켓 스케일 AI’ 레이스에서 가장 앞서 나가는 기기는 무엇일까요? 최근 분석 결과에 따르면, 아이폰 17 Pro가 지능(모델의 판단력)과 속도(응답 시간) 양쪽 모두에서 가장 뛰어난 성능을 기록하며 차트 정상에 올랐습니다. 출처: Zeli

아티피셜 애널리시스는 리퀴드 AI(Liquid AI)와 협력하여 실제 기기에서 AI가 얼마나 잘 작동하는지 실측 데이터를 수집하고 있습니다. 출처: 아티피셜 애널리시스 단순히 이론적인 수치가 아니라, 우리가 일상에서 앱을 사용할 때 느끼는 실제 ‘답변 속도’와 ‘맥락 파악 능력’ 등을 기준으로 삼고 있죠. 출처: GIGAZINE

물론, 여전히 해결해야 할 과제는 남아 있습니다. 스마트폰의 작은 메모리 용량 때문에 기억할 수 있는 정보의 양인 ‘컨텍스트 제한(Context limits, AI가 한 번에 기억하는 대화 범위)’이나, 답변을 내놓기까지 걸리는 시간 등이 여전히 데이터 센터급 AI와는 큰 차이가 납니다. 출처: Zeli

앞으로의 전망

앞으로는 스마트폰 성능의 핵심이 ‘얼마나 고해상도 영상을 찍느냐’에서 ‘얼마나 똑똑한 AI를 내 안에서 돌릴 수 있느냐’로 빠르게 옮겨갈 것입니다. 현재 오픈소스 진영에서는 이미 사용자의 스마트폰 칩셋 환경을 분석해 최적의 AI 설정을 자동으로 적용해주는 기술들도 등장하고 있습니다. 출처: PocketTune GitHub

이제 우리는 곧 ‘똑똑한 AI 비서’를 서버에서 빌려 쓰는 것이 아니라, 내 스마트폰 안에 고이 모시고 다니며 언제 어디서나 바로 질문할 수 있는 시대를 맞이하게 될 것입니다. 앞으로는 스마트폰을 구매할 때 ‘어떤 AI 벤치마크 점수를 기록했나’를 확인하는 것이 필수 상식이 될지도 모르겠네요.

참고자료

1. [Intelligence at pocket scale: Benchmarking small models and mobile phones

   Artificial Analysis](https://artificialanalysis.ai/articles/mobile-phone-intelligence-inference)

2. [Benchmarking Pocket-Scale Inference

   Hacker News](https://news.ycombinator.com/item?id=49469786)

3. Benchmarking Pocket-Scale Databases

4. [Vue HN 2.0

   Intelligence at pocket scale: Benchmarking small models and mobile phones](https://vue-hackernews-ssr-5cavbdjcta-ew.a.run.app/item/49420960)

5. [Artificial Analysis (@ArtificialAnlys)

   Vanlett](https://vanlett.net/ArtificialAnlys)

6. Artificial Analysis has published the results of its… - GIGAZINE

7. [Consumer Inference Systems

   Artificial Analysis](https://artificialanalysis.ai/hardware-inference-stack/mobile-phones)

8. iPhone 17 Pro tops pocket-scale AI benchmark

9. [Open-Source Agentic Inference Benchmark

   InferenceX](https://inferencex.semianalysis.com/)

10. GitHub - ayanbag/PocketTune: On-device tuning of local-LLM
11. Google 학술 검색
12. DBpia - 국내 논문, 학술지, 잡지까지 제공하는 학술 AI 플랫폼
13. NVIDIA Blackwell Sets New Standard for Gen AI in MLPerf Inference…

14. [Benchmark MLPerf Inference: Datacenter

    MLCommons V3.1](https://mlcommons.org/benchmarks/inference-datacenter/)