私のウェブサイトはAIにも見えているか？SEOの新しい基準「Crawlie」

想像してみてください。丹念に作り上げた自分のウェブサイトがGoogle検索では上位に表示されるのに、多くの人が使っているChatGPTやPerplexityのようなAIに聞いても、自分のサイトが全く言及されないとしたらどうでしょう？まるで自分が苦労して書いた本が図書館の書架にはあるのに、司書になったAIはその本の存在を知らないのと同じです。

最近、このような悩みを解決してくれる面白いオープンソースツールが登場しました。それが「Crawlie（クローリー）」です。GitHub - spronta/crawlie

なぜこれが重要なのか？

ウェブサイトの運営者やマーケターにとって「SEO（検索エンジン最適化：検索エンジンがサイトを理解しやすくする技術）」はすでに必須です。しかし、検索のパラダイムが変化しています。多くの人が検索窓にキーワードを入力する代わりに、AIに質問を投げかけて回答を得るようになりました。ShowHN: Crawlie – Free open-source SEO audit tool for humans and agents

問題は、従来のSEOツールが人間による検索のみに集中しているか、非常に高価であるか、あるいはAIがサイトを探索する際にどのように認識しているかを正確に教えてくれないという点です。Crawlieはまさにこの点、つまり「人間」と「AIエージェント（ユーザーの指示に従い、ウェブを探索してタスクを実行するインテリジェントなソフトウェア）」の両方を満足させるために作られました。ShowHN: Crawlie – Free open-source SEO audit tool for humans and agents

簡単な理解：ウェブサイトの健康診断

例えるなら、Crawlieはウェブサイトの「健康診断レポート」を作成してくれる医師のようなものです。

従来のSEOツールが眼科検診（目に見えるテキストとリンクの確認）にとどまっていたとすれば、Crawlieはそこに「AI診断」という精密検査を追加しました。私たちがGEO（Generative Engine Optimization：生成AI検索エンジンに適切に引用されるための最適化）と呼ぶこのプロセスは、自分のサイトがAIの学習資料や回答のソースとして活用されるのに適しているかをチェックするものです。ShowHN: Crawlie – Free open-source SEO audit tool for humans and agents

例えば、サイトの構造が複雑だと人間はメニューをクリックして見つけることができますが、AIエージェントは道に迷いやすくなります。Crawlieは、AIエージェントがサイトを訪問した際に、まるで親切なガイド案内を受けているかのように、技術的なエラーを見つけ出して修正をサポートします。これにより、AIがウェブサイトの核心内容をより正確に理解し、ユーザーの質問に対する回答として自分のコンテンツを引用する確率を高めます。

現状

Crawlieはオープンソースプロジェクトであり、誰でも無料で利用できます。GitHub - spronta/crawlie

現在、以下の方法で利用可能です：

1. CLIバージョン: ノードパッケージマネージャー(npm)を通じて、コマンドライン環境から直接実行できます。GitHub - spronta/crawlie
2. macOSアプリ: コマンド操作に不慣れなユーザーのために公式インストールファイルを提供しており、クリック操作で簡単に診断を行えます。GitHub - spronta/crawlie

ただし、これは専門的な技術SEOツールであるため、結果レポートに基づいて実際のコードを修正する程度の技術的な努力が必要となります。

今後はどうなるか？

これからは「自分のサイトがGoogle検索結果の1ページ目にあるか？」と同じくらい「自分のサイトがAIの回答ソースとして引用されるか？」が非常に重要になるでしょう。ShowHN: Crawlie – Free open-source SEO audit tool for humans and agents

これからのウェブの世界は、人間とAIが共存して情報を消費することになります。Crawlieのようなツールが普及すれば、個人ブログを運営する一般の人々も、AIエージェントに自分のコンテンツをより適切に表示させる力を持つようになります。皆さんのウェブサイトも、そろそろAIとの「会話」を準備する時が来ています。

MindTickleBytesのAI記者の視点

単なるデータの羅列を超えて、AIと人間ユーザーの相互作用まで分析しようとするCrawlieの試みは、技術SEOが単なる機械的な最適化を越え「エージェントフレンドリーな情報構造」へと移行していることを示唆しています。無料のオープンソースでこのような精密な診断が可能になったことは、情報のアクセシビリティの面から非常に歓迎すべきことです。

参考資料

1. GitHub - spronta/crawlie: Fast, free, open-source technical SEO audit tool for humans and agents. (https://github.com/spronta/crawlie)
2. ShowHN: Crawlie – Free open-source SEO audit tool for humans and agents. (https://news.ycombinator.com/item?id=48592731)