내 컴퓨터가 AI를 직접 돌린다고? 헤츠너(Hetzner)의 새로운 AI 실험, 무엇일까?

상상해보세요. 여러분이 즐겨 쓰는 인공지능(AI) 서비스가 사실은 거대한 공장의 부품처럼 움직이고 있었다면 어떨까요? 우리가 ‘챗GPT’ 같은 AI에게 질문을 던지면, 어딘가에 있는 데이터센터가 그 질문을 받아 복잡한 계산을 수행하고 다시 답을 보내줍니다. 그런데 최근 유럽의 유명 데이터센터 기업인 헤츠너(Hetzner)가 이 과정에 새로운 변화를 예고하는 ‘실험’을 시작했습니다. 과연 어떤 변화일까요?

이게 왜 중요한가요?

일상적으로 AI를 사용하는 분들에게 이번 소식은 당장 큰 변화가 아닐 수 있습니다. 하지만 개발자나 스타트업 종사자들에게는 매우 반가운 소식입니다. 헤츠너는 현재 실험적인 AI 추론 API(Inference API)를 무료로 제공하고 있는데, 이는 누구나 자신의 서비스에 AI 기능을 쉽게 붙일 수 있는 ‘도구 상자’를 공짜로 나눠주는 것과 비슷하기 때문입니다.

‘API’라는 말이 생소하시죠? 쉽게 말해서, 우리가 스마트폰으로 배달 음식을 주문할 때 배달 앱이 식당과 우리 사이를 연결해 주는 것처럼, 서비스 개발자가 AI 기술을 쉽게 가져다 쓸 수 있도록 다리를 놓아주는 기술이라고 생각하면 됩니다.

특히 이제 막 시작하는 초기 단계의 스타트업들에게는 사용한 만큼만 비용을 지불하고, AI 모델을 효율적으로 운영할 수 있는 환경이 매우 중요합니다. 헤츠너의 추론 서비스는 이런 기업들이 고성능 모델을 저비용으로 활용할 수 있는 새로운 가능성을 열어줄 것으로 기대됩니다.

쉽게 이해하기: AI의 ‘공부한 결과’를 빌려 쓰는 법

‘추론(Inference)’이라는 말이 어렵게 들리시나요? 비유하자면, 인공지능이 방대한 도서관의 책을 통째로 외우는 과정을 ‘학습’이라고 한다면, 우리가 질문을 던졌을 때 그 지식을 바탕으로 답을 찾아내는 과정을 ‘추론’이라고 합니다.

헤츠너는 자신들이 가진 유럽의 데이터센터 인프라를 활용해 이 ‘추론’ 과정을 대신 처리해 주는 서비스를 시작했습니다. 사용자는 헤츠너 실험 플랫폼(Experiments dashboard)에서 API 토큰만 발급받으면, 마치 오픈AI(OpenAI)의 서비스를 쓰는 것처럼 아주 익숙한 방식으로 이 AI 모델을 내 프로그램에 연결할 수 있습니다. 표준 OpenAI SDK나 일반적인 웹 통신 규약(REST API)을 그대로 지원하기 때문이죠.

마치 스마트폰 사진 앱의 필터를 고르는 것처럼, 헤츠너가 준비한 고성능 AI 모델 중 하나인 ‘Qwen3.6-35B’ 모델을 내 서비스에 간단히 입히기만 하면 되는 셈입니다. 복잡한 설치 없이도 전문가급 AI를 내 앱의 비서로 고용하는 것과 같습니다.

현재 상황: 아직은 ‘실험실’에 있습니다

다만 주의할 점이 있습니다. 헤츠너는 이 서비스가 현재 실험적인 상태임을 분명히 밝히고 있습니다.

• 정식 요금 정책 없음: 현재는 무료로 제공되지만, 언제까지 무료일지, 혹은 나중에 정식 서비스로 전환될지 알 수 없습니다.
• 서비스 품질 보증(SLA) 부재: 기업들이 안심하고 쓸 수 있는 ‘서비스 품질 보증(SLA)’이 없으므로, 중요한 업무용 시스템에 바로 적용하기에는 아직 위험 부담이 있습니다. ‘SLA’는 서비스가 멈추지 않고 안정적으로 작동하겠다는 일종의 약속인데, 지금은 이 약속이 없는 자유로운 실험 단계인 셈이죠. 제공하는 모델도 현재는 하나(Qwen3.6-35B-A3B-FP8)로 제한적입니다.

그럼에도 불구하고 성능은 놀라울 정도입니다. 비공식 측정치에 따르면 질문을 던지고 첫 번째 글자가 나오기까지 약 0.15초(153ms)밖에 걸리지 않으며, 초당 224개의 단어를 생성할 만큼 빠릅니다. 이는 데이터센터를 직접 운영하는 헤츠너의 인프라 효율성이 뒷받침되었기 때문입니다.

앞으로 어떻게 될까?

헤츠너는 이 서비스를 통해 시장의 요구가 얼마나 있는지, 그리고 자신들의 데이터센터가 얼마나 안정적으로 AI 업무를 처리할 수 있는지 시험하고 있습니다.

앞으로 헤츠너가 이 실험을 성공적으로 마치고 더 많은 모델을 추가하거나 정식 서비스화한다면, 비싼 비용 때문에 고민하던 많은 개발자가 더 자유롭게 AI 기술을 활용하는 세상이 올 것입니다. 무엇보다 데이터 주권을 중요하게 생각하는 유럽 기업으로서, 데이터를 직접 관리하면서도 강력한 AI 기능을 쓸 수 있는 대안을 제시한다는 점에서도 주목할 만합니다.

MindTickleBytes의 AI 기자 시선

헤츠너의 이번 시도는 기술 그 자체보다 ‘인프라의 민주화’라는 측면에서 더 흥미롭습니다. 거대 IT 기업들이 독점하던 AI 처리 능력을, 효율적인 데이터센터를 운영하는 전통적인 인프라 기업들이 본격적으로 공유하기 시작했다는 신호이기 때문입니다. 이는 마치 대형 전력 회사가 아닌 동네 전기 기술자가 우리 집 가전제품을 더 효율적으로 돌려주는 방법을 찾아낸 것과 같은 변화를 가져올지도 모릅니다.

참고자료

1. [HetznerInference: the new AIAPIserving…

   EMIT Solution](https://emit-solution.com/en/blog/hetzner-ai-inference-api)

2. [HetznerLaunches FreeExperimentalOpenAI-Compatible LLM…

   AITodayBrief](https://aitodaybrief.com/en/news/tools-and-releases/hetzner-launches-free-experimental-openai-compatible-llm-inference-api)

3. [[Feature]: Hi Teknium/Nous, please add support forHetznerAI…

   GitHub Issues](https://github.com/NousResearch/hermes-agent/issues/73423)

4. [The frontier labs are building a productHetznerwill sell like bandwidth

   LinkedIn](https://www.linkedin.com/pulse/frontier-labs-building-product-hetzner-sell-like-bandwidth-ben-luong-1mjtc)

5. [Hetzner Inference: First Look

   Sliplane Blog](https://sliplane.io/blog/hetzner-inference)

6. [Hetzner now hosts OpenClaw: free AI assistant instances as an experiment

   EMIT Solution](https://emit-solution.com/en/blog/hetzner-hosted-openclaw-experiment)

7. [Hetzner Enters LLM Inference: What It Means for SaaS Builders in 2026

   Devs & Logics Blog](https://devsandlogics.com/blog/hetzner-is-working-on-llm-inference)

8. Inference API - Hetzner Docs
9. Experiments Platform - Overview - Hetzner Docs

10. [Hetzner is quietly testing free OpenAI-compatible inference.

    MindPattern AI](https://mindpattern.ai/s/2026-07-24-hetzner-is-quietly-testing-free-openai-compatible-inference)

11. [Hetzner Tests LLM Inference with Qwen on Its Own …

    Zeli App](https://zeli.app/en/story/49033087)

12. [Hetzner Inference: First Look

    Jonas Scholz - LinkedIn](https://www.linkedin.com/posts/jonas-scholz-490274163_hetzner-inference-first-look-activity-7486346679424593922-htYe)

13. [Hetzner testet LLM-Inference-API mit Qwen3-Modell und 262K …

    Lumeric](https://www.lumeric.app/post/02b73ec9-f9f8-4572-aa06-e79935340a86)