AI가 책 수천 권을 한 번에 읽는다고? 100만 토큰의 벽을 넘은 'Step5Preview' 등장

상상해보세요. 여러분의 책상 위에 1,000페이지가 넘는 두꺼운 회계 보고서 50권이 쌓여 있습니다. 여러분이 AI 비서에게 “지난 5년간 우리 회사의 재무 흐름에서 이상 징후를 모두 찾아서 요약해줘”라고 묻는다면 어떨까요? 예전의 AI라면 이 문서를 일일이 나누어 입력해야 했고, 그마저도 중간에 기억을 잃어버리기 일쑤였을 겁니다. 하지만 최근 오픈라우터(OpenRouter)에 등장한 ‘Step5Preview’는 이런 불가능을 깨뜨리는 새로운 도전자입니다.

왜 이 기술이 중요한가요?

일상에서 AI를 쓰다 보면 답답한 순간이 종종 찾아옵니다. 방금 했던 말을 금방 잊어버리거나, 긴 문서를 주면 제대로 분석하지 못하는 경우죠. 전문가들은 이를 AI의 ‘기억력’, 즉 ‘컨텍스트 윈도우(AI가 한 번에 처리할 수 있는 데이터의 양)’의 한계라고 부릅니다.

Step5Preview는 100만 토큰이라는 압도적인 기억력을 갖추었습니다(출처 1). 이는 단순히 글자 수를 늘린 것에 그치지 않습니다. 방대한 양의 정보를 한꺼번에 기억함으로써, 복잡한 프로그래밍 코드를 전체적으로 이해하고 수백 페이지의 금융 문서를 관통하는 통찰을 얻는 등 ‘진짜 일하는 AI(Agentic AI)’로서의 역량이 비약적으로 상승했음을 의미합니다(출처 3, 출처 9).

쉽게 말해서: ‘전문가 위원회’ 방식

Step5Preview는 ‘전문가 혼합(MoE, Mixture-of-Experts)’이라는 똑똑한 방식을 사용합니다(출처 1).

쉽게 비유하자면, 학교에 모든 과목을 다 잘해야 하는 천재 학생 한 명만 있는 것이 아니라, 수학 전문가, 영어 전문가, 과학 전문가 등 수많은 선생님이 대기하고 있다고 생각해보세요. 질문이 들어오면 모든 선생님이 달려드는 게 아니라, 수학 질문에는 수학 선생님만 활성화되어 답을 줍니다.

Step5Preview는 총 6,000억 개의 방대한 파라미터(AI의 지식 단위)를 가지고 있지만, 한 번 질문할 때 실제로는 그중 270억 개의 파라미터만 선택적으로 사용합니다(출처 5, 출처 9). 덕분에 전체 모델의 방대한 지식을 유지하면서도, 속도와 효율성이라는 두 마리 토끼를 동시에 잡을 수 있는 것이죠(출처 11).

지금 우리 곁에 온 AI

현재 Step5Preview는 API를 통해 바로 사용할 수 있으며, 텍스트뿐만 아니라 비디오를 포함한 영상 데이터까지 분석하는 능력을 갖췄습니다(출처 5, 출처 9).

업계의 평가도 매우 긍정적입니다. 특정 지표에서 약 44점 정도의 지능 지수를 기록하며, 현재 시장에 나와 있는 오픈 웨이트(모델의 내부 정보가 공개된 모델) 모델 중에서도 최상위권 성능을 보여준다는 분석이 지배적입니다(출처 14). 특히 소프트웨어 엔지니어링이나 금융 분야처럼 정밀하고 전문적인 작업에서 남다른 강점을 보이고 있습니다(출처 3). 현재 이용 비용은 100만 출력 토큰당 약 2.7달러 수준으로 책정되어 있습니다(출처 15).

무엇을 기대할 수 있을까요?

많은 개발자가 주목하는 가장 큰 이벤트는 오는 10월 15일입니다. 개발사인 StepFun은 이 모델의 가중치(weights)를 일반에 완전히 공개하겠다고 약속했습니다(출처 6, 출처 9). 이는 누구나 자신의 서버에서 이 강력한 모델을 직접 구동할 수 있다는 뜻입니다. 기억력이 비약적으로 늘어난 AI 모델이 대중화될 때, 우리의 일상적인 사무 환경이 어떻게 바뀔지 지켜보는 것은 매우 흥미로운 관전 포인트입니다.

MindTickleBytes의 AI 기자 시선

방대한 데이터를 한 번에 기억하는 능력은 AI가 단순한 챗봇을 넘어 실질적인 업무 비서로 진화하는 핵심 열쇠가 될 것입니다. 기술의 발전 속도가 무서울 정도지만, 결국 우리에게 중요한 건 이 확장된 기억력을 어떻게 가치 있는 일에 활용하느냐일 것입니다.

참고자료

1. [Step5Preview- API Pricing & Providers

   OpenRouter](https://openrouter.ai/stepfun/step-5-preview)

2. [StepFun: Step5Preview· Models · Pi

   A terminal-based coding agent](https://pi.dev/models/openrouter/stepfun-step-5-preview)

3. Step5Preview- StepFun Documentation
4. Step5Preview API Integration Guide: StepFun’s 600B Agentic…

5. [NVIDIA Nemotron 3 Ultra vs Step5Preview

   AI Choice Engine](https://aichoiceengine.com/ai-models/nemotron-3-ultra-vs-step-5-preview)

6. Step 5 Preview: Advancing the Pareto Frontier - stepfun.com
7. StepFun shares Step 5 Preview benchmarks, demos… · AGI Hunt
8. StepFun Step 5 Preview Technical Analysis — 600B MoE …
9. pandaily.com/stepfun-step-5-preview-600b-moe-1m-context.data
10. StepFun’s Step5Preview API ships; open weights promised October…