手のひらの上のAI、どれほど賢い？スマートフォンAI性能測定の秘密

想像してみてください。インターネット接続が全くない僻地でも、スマートフォンの中のAIアシスタントが淀みなく写真を補正し、長い文書を要約し、複雑な外国語通訳までその場でこなす場面を。これまでAIは「雲の上」、つまり巨大なデータセンターのスーパーコンピューターの中だけで動作するものと考えられてきました。しかし今、AIは私たちの手のひらの小さなスマートフォンの中に入ろうとしています。これを専門用語で「ポケットスケール推論（Pocket-Scale Inference、機器内で直接AIモデルを実行して結果を導き出す過程）」と呼びます。

一体、スマートフォンに搭載されたAIは、雲の上のAIと比べてどれほど賢いのでしょうか？これを確認するための新しい基準が設けられました。

なぜ重要なのか？

これまで私たちが使ってきたChatGPTのようなAIは、そのほとんどが強力なサーバーに依存していました。入力した質問がインターネットを通って遠く離れたサーバーへ送信され、そこで答えが作られてから自分のスマホに送られてくる方式でした。一方、ポケットスケールAIはスマホの中で全ての計算を終えます。

これが重要な理由は大きく2つあります。第一に「プライバシー」です。個人の会話や機密性の高い写真データが外部サーバーへ流出しないため、はるかに安全です。第二に「速度」です。ネットワーク状況に関係なく、即座に反応できます。しかし問題は、スマートフォンはサーバー用のスーパーコンピューターよりもはるかに小さく、性能が制限されているという点です。私たちが体感するAIの性能は、スマートフォンがいかに効率的にこの「小さなAI」を動かせるかにかかっています。

簡単に言うと

例えるなら、サーバー用AIが「最高級のシェフが集まる大型ホテルの厨房」なら、ポケットスケールAIは「1人暮らしのミニキッチン」です。大型厨房は数百人分の料理を一度に作れますが、ミニキッチンで作れる料理には限界がありますよね。

最近、人工知能性能分析企業のArtificial Analysisは、スマートフォンという狭いキッチンでAIがいかに素早く正確に結果を作り出すかを測定するベンチマーク（性能測定基準）を発表しました。出典: Artificial Analysis

しかし、この測定は予想以上に困難です。データセンターのサーバーとは異なり、スマートフォンのランタイム（AIを動かすためのソフトウェア環境）はまだ技術的に未熟です。出典: Artificial Analysis まるでシェフがそれぞれ異なる道具を持って料理をするようなもので、設定次第でAIが出す回答の速度や質が大きく変わります。そのため、本当の実力を測定するのが非常に難しいのです。

現状は

現在、この「ポケットスケールAI」レースで最も先を行っている機器は何でしょうか？最近の分析結果によると、iPhone 17 Proが知能（モデルの判断力）と速度（応答時間）の両方において最も優れた性能を記録し、チャートの頂点に立ちました。出典: Zeli

Artificial AnalysisはLiquid AIと協力し、実際の機器でAIがいかにうまく動作するか実測データを収集しています。出典: Artificial Analysis 単なる理論値ではなく、私たちが日常的にアプリを使う際に感じる実際の「回答速度」や「文脈把握能力」などを基準にしています。出典: GIGAZINE

もちろん、依然として解決すべき課題は残っています。スマートフォンの限られたメモリ容量のため、記憶できる情報量である「コンテキスト制限（Context limits、AIが一度に記憶できる会話の範囲）」や、回答を出すまでにかかる時間などが、データセンター級のAIとは大きな開きがあります。出典: Zeli

今後の展望

今後はスマートフォン性能の核心が「どれだけ高解像度の動画を撮影できるか」から、「どれだけ賢いAIを自分の中で動かせるか」へ急速に移り変わるでしょう。現在、オープンソース陣営では、ユーザーのスマートフォンチップセット環境を分析して最適なAI設定を自動的に適用する技術も登場しています。出典: PocketTune GitHub

私たちはもうすぐ、「賢いAIアシスタント」をサーバーから借りるのではなく、スマートフォンの中に大切に迎え入れ、いつでもどこでもすぐに質問できる時代を迎えることになります。今後はスマートフォンを購入する際、「どのAIベンチマークスコアを記録したか」を確認することが必須の常識になるかもしれませんね。

参考資料

1. [Intelligence at pocket scale: Benchmarking small models and mobile phones

   Artificial Analysis](https://artificialanalysis.ai/articles/mobile-phone-intelligence-inference)

2. [Benchmarking Pocket-Scale Inference

   Hacker News](https://news.ycombinator.com/item?id=49469786)

3. Benchmarking Pocket-Scale Databases

4. [Vue HN 2.0

   Intelligence at pocket scale: Benchmarking small models and mobile phones](https://vue-hackernews-ssr-5cavbdjcta-ew.a.run.app/item/49420960)

5. [Artificial Analysis (@ArtificialAnlys)

   Vanlett](https://vanlett.net/ArtificialAnlys)

6. Artificial Analysis has published the results of its… - GIGAZINE

7. [Consumer Inference Systems

   Artificial Analysis](https://artificialanalysis.ai/hardware-inference-stack/mobile-phones)

8. iPhone 17 Pro tops pocket-scale AI benchmark

9. [Open-Source Agentic Inference Benchmark

   InferenceX](https://inferencex.semianalysis.com/)

10. GitHub - ayanbag/PocketTune: On-device tuning of local-LLM
11. Google Scholar
12. CiNii Research - 日本の論文検索サイト
13. NVIDIA Blackwell Sets New Standard for Gen AI in MLPerf Inference…

14. [Benchmark MLPerf Inference: Datacenter

    MLCommons V3.1](https://mlcommons.org/benchmarks/inference-datacenter/)