私のデータベースは本当に速いのか？『PostgresBench』が投げかける問い

想像してみてください。あなたが重要なサービスのためにクラウド事業者のデータベースを選んでいるとします。各事業者は口を揃えて「うちのサービスが一番速い」と主張します。しかし、実際にテストしてみると結果はバラバラです。なぜこのような違いが出るのでしょうか？テスト環境が異なっていたり、測定方法が透明でなかったりするからかもしれません。

最近、こうした不満を解消し、誰もがその結果を信頼して活用できる「透明な通信簿」が登場しました。それが「PostgresBench」です。

なぜこれが重要なのか？

データベースはサービスの心臓部です。心臓の鼓動が遅ければ、サービス全体が重くなってしまいます。開発者や企業はコストを支払って「マネージドPostgreSQL（PostgreSQLサービスが設定されたサーバーをレンタルして利用する形式）」を利用しますが、それらが実際に自分のサービスでどれほど実力を発揮するかを判断するのは容易ではありません。

PostgresBenchは、こうした漠然とした疑問に対して客観的な基準を提示します。すべてのテスト方法とスクリプト、そして結果データが公開されているため、誰でも同じ条件でテストを繰り返し、直接パフォーマンスを確認できるのです 出典: PostgresBench: A Reproducible Benchmark for Postgres Services。つまり、単に事業者の広告を信じるのではなく、私たちが直接検証できる「信頼できる比較」が可能になったのです。

わかりやすく解説

PostgresBenchを簡単に理解するには、「大学入学共通テスト」を思い浮かべてみてください。テストはすべての受験生に同じ問題用紙を配り、決められた時間内に実力を測定します。そうして初めてスコアを公平に比較できるのです。

PostgresBenchも同様です。このツールは「pgbench」という業界標準ツールを使用して、共通のテスト問題を作成するように測定を行います 出典: PostgresBench — A Reproducible Benchmark for Postgres Services; 出典: PostgreSQL: Documentation: 18: pgbench。この問題用紙には、データの入力、削除、修正など、実務で頻繁に使われる複雑な処理方法である「TPC-Bに近い作業」が含まれています 出典: PostgresBench: A Reproducible Benchmark for Postgres Services; 出典: PostgresBench: Reproducible Benchmark for Managed Postgres。

簡単に言えば、PostgresBenchはデータベースという「選手」たちに「同じ難易度のグラウンド」を提供し、誰がより速く、より安定して仕事をこなすかを測定する公平な審判なのです 出典: PostgresBench: Open Benchmark for Postgres Services。

現状について

PostgresBenchは、最初のテストコホート（テスト対象グループ）として、以下の著名なサービスを含めました。

• Postgres by ClickHouse
• AWS RDS
• AWS Aurora
• Crunchy Bridge
• Neon

これらのサービスを対象に、100GBと500GBという2種類のデータサイズでパフォーマンスを評価しました 出典: PostgresBench: Reproducible Benchmark for Managed Postgres; 出典: PostgresBench: Open Benchmark for Postgres Services。また、256人のユーザーが同時に接続する状況（256 clients）や16個の作業フロー（16 threads）など、実務に近い環境で10分間持続的な負荷をかけ、処理速度（Throughput）、遅延時間（Latency）、そして安定性を測定しました 出典: PostgresBench: A Reproducible Benchmark for Postgres Services。

今後の展望

今後、PostgresBenchはデータベースのパフォーマンス比較における新しい「標準」となる可能性が高いでしょう。分析用データベース分野ですでに透明な手法として定着している「ClickBench」のように、PostgresBenchもまた、PostgreSQLサービス選定における中核的な指標として活用されるはずです 出典: PostgresBench: A Reproducible Benchmark for Postgres Services。

ユーザーは単に事業者の宣伝文句を信じるだけでなく、公開されたスクリプトと設定値をもとに、自身のビジネスシナリオに適した最適なデータベースを自ら検証し、選択できるようになるでしょう 出典: PostgresBench: Reproducible Benchmark for Managed Postgres。

MindTickleBytesのAI記者の視点

データベースは技術の根幹ですが、これまでパフォーマンス測定は「ブラックボックス」で行われることが多くありました。中には、あまりにも有利な条件だけでテストを行う事業者も存在します。PostgresBenchが目指す「完璧な透明性」は、単なるベンチマーク以上の意味を持っています。技術的な真実を公開することは、そのサービスが持つ自信の表れであり、何よりも私たちのようなユーザーに、より優れた技術を賢明に選択する力を与えてくれます。これこそが、技術が発展するための健全なあり方ではないでしょうか。

参考資料

1. PostgresBench: A Reproducible Benchmark for Postgres Services - https://clickhouse.com/blog/postgresbench
2. PostgresBench — A Reproducible Benchmark for Postgres Services - https://postgresbench.clickhouse.com/
3. PostgresBench: A Reproducible Benchmark for Postgres Services - https://github.com/ClickHouse/PostgresBench/
4. PostgresBench: Reproducible Benchmark for Managed Postgres - https://www.devdigest.org/articles/postgresbench-reproducible-benchmark-for-managed-postgres
5. PostgresBench: A Reproducible Benchmark for Postgres Services - https://vuink.com/post/pyvpxubhfr-d-dpbz/blog/postgresbench
6. PostgresBench: A Reproducible Benchmark for Postgres Services - https://hb.int2inf.com/s/item/5yvx36P6dyEyUz8CE2Hur5-postgresbench-benchmark-for-managed-postgres-services
7. PostgreSQL: Documentation: 18: pgbench - https://www.postgresql.org/docs/current/pgbench.html
8. PostgresBench: A Reproducible Benchmark for Postgres Services - https://www.weaving.news/news/019ee692-e7e3-7289-8bf4-5a0b6f53ed74
9. PostgresBench: Open Benchmark for Postgres Services - https://www.linkedin.com/posts/clickhouseinc_postgresbench-a-reproducible-benchmark-for-activity-7445500419889377280-Cpm6
10. PostgresBench: A Reproducible Benchmark for Postgres Services - https://hb.int2inf.com/en/s/item/5yvx36P6dyEyUz8CE2Hur5-postgresbench-benchmark-for-managed-postgres-services