デスク上のAIスーパーコンピューター、NVIDIA DGX Sparkの推論速度低下の謎

想像してみてください。朝起きてスマートフォンのAIアシスタントに「今日やるべき複雑な仕事の資料を要約してまとめて」と伝えます。以前なら、この作業は巨大なデータセンターを経由する必要がありましたが、今やデスクの上に置かれた小さな箱一つが、そのすべてを難なくこなします。夢のような話ですが、NVIDIAが発表した超小型AIスーパーコンピューター「DGX Spark」が、まさにその可能性を切り拓いています。しかし最近、この強力なデバイスがソフトウェアとの相性問題により性能低下を経験しているというニュースが届きました。一体何が起きているのでしょうか？

なぜ重要なのか？

しかし、どれほど性能が良くても、ソフトウェアがそれを支えられなければユーザーにとっては無用の長物です。最近、一部の環境で推論（AIが回答を生成するプロセス）速度が著しく低下する現象が報告されており、これはハードウェアの潜在能力を最大限に引き出すためのソフトウェア最適化がいかに重要であるかを物語る事例といえます [出典: TRT LLM for Inference- two Sparks example is VERY slow-DGX…]。

簡単に例えるなら

DGX Sparkを理解するためにキッチンに例えてみましょう。非常に高性能なシェフ（Grace Blackwellアーキテクチャ）が、とても小さな厨房（150 × 150 × 50.5 mmの本体）に入っていると考えてみてください [出典: Тест и обзор: NVIDIA DGX Spark — мини-ПК… - Hardwareluxx Russia]。このシェフは一度に膨大な食材（データ）を処理できる最高の能力を持っています。

しかし、シェフが料理をするには「レシピ（ソフトウェア/TensorRT-LLM）」が必要です。最近問題となったLinux環境での推論速度低下は、シェフは有能なのに間違ったレシピを見ていたために起きたことです。幸いにも、NVIDIAは新しいレシピ（最新のリリースイメージ）を提供することで、シェフが再び本領を発揮できるようサポートしています [出典: TRT LLM for Inference- two Sparks example is VERY slow-DGX…]。

現在の状況は？

もちろん、すべてのユーザーが満足しているわけではありません。テック専門家のジェフ・ギアリング（Jeff Geerling）氏は、一般ユーザーが単純に言語モデルを動かす目的で購入するには、価格対性能の面で物足りない点があると指摘しています [出典: Dell’s version of the DGX Spark fixes pain points - Jeff Geerling]。専門家向けに特化された機器であるだけに、一般人には少し「過剰」な選択肢かもしれないということです。

今後は何が期待できるか？

AIの一言

技術は、ハードウェアとソフトウェアが完璧な調和を成したときに初めて完成します。DGX Sparkは現在ハードウェアの革命を見せていますが、ソフトウェア的な仕上げは依然として改善の過程にあります。テクノロジー愛好家なら、この機器が見せてくれる驚異的な性能もさることながら、NVIDIAがどれだけ素早くソフトウェアの「レシピ」を改善していくかを見守るのが、非常に興味深いポイントとなるでしょう。

参考資料

1. [Nvidia DGX Spark или AMD Ryzen AI Max+ 395…

   Блог Serverflow](https://serverflow.ru/blog/stati/nvidia-dgx-spark-ili-amd-ryzen-ai-max-395-kakoy-mini-pk-dlya-lokalnykh-llm-vybrat/)

2. mac-studio-m5-ultra-vs-nvidia-dgx-spark-local-llms
3. Ryzen AI Max+ 395 или DGX Spark: выбираем мини-ПК для…

4. [Laptop & Workstation Inference Systems

   Artificial Analysis](https://artificialanalysis.ai/hardware-inference-stack/laptops-workstations)

5. Тест и обзор: NVIDIA DGX Spark — мини-ПК… - Hardwareluxx Russia

6. [NVIDIA DGX Spark Система искусственного интеллекта

   AliExpress](https://aliexpress.ru/item/1005010631725345.html)

7. [DGX Spark vs M5 Max MacBook Pro: что выбрать для…

   AiManual](https://ai-manual.ru/article/dgx-spark-vs-m5-max-macbook-pro-chto-vyibrat-dlya-lokalnogo-inferensa-i-obucheniya-modelej-v-2025-godu/)

8. [Personal AI Supercomputer Powered by Blackwell

   NVIDIA DGX Spark](https://www.nvidia.com/en-us/products/workstations/dgx-spark/)

9. [NVIDIA DGX Spark для YOLO26を使用する

   Ultralytics](https://docs.ultralytics.com/ja/guides/nvidia-dgx-spark)

10. NVIDIA Enters The AI PC Realm With DGX Spark & DGX Station…
11. TRT LLM for Inference- two Sparks example is VERY slow-DGX…
12. Dell’s version of the DGX Spark fixes pain points - Jeff Geerling