想像一下，你精心製作的網站雖然在 Google 搜尋中名列前茅，但當人們詢問 ChatGPT 或 Perplexity 等 AI 工具時，它們卻完全不提及你的網站。這就像是你寫的文章雖然放在圖書館的架子上，但擔任圖書館員的 AI 卻不知道這本書的存在。
最近，一款能解決這種困擾的有趣開源工具出現了，它就是「Crawlie」。GitHub - spronta/crawlie
對於網站經營者或行銷人員來說，「SEO（搜尋引擎最佳化，幫助搜尋引擎理解網站的技術）」已經是基本功。然而，搜尋的典範正在轉移。現在許多人不再在搜尋框中輸入關鍵字，而是向 AI 提出問題來獲取答案。ShowHN: Crawlie – Free open-source SEO audit tool for humans and agents
問題在於，現有的 SEO 工具往往只專注於人類搜尋、價格昂貴，或者無法正確說明 AI 在瀏覽你的網站時是如何感知的。Crawlie 的誕生正是為了滿足這個需求——即同時服務「人類」與「AI 代理（依據使用者指示瀏覽網路並執行任務的智慧型軟體）」。ShowHN: Crawlie – Free open-source SEO audit tool for humans and agents
簡單比喻，Crawlie 就像是一位為網站開立「健康檢查報告」的醫師。
如果說現有的 SEO 工具僅止於眼科檢查（確認肉眼可見的文字與連結），那麼 Crawlie 更加入了一項名為「AI 診療」的精密檢查。我們稱之為 GEO（Generative Engine Optimization，生成式 AI 搜尋引擎最佳化）的過程，旨在檢測你的網站是否適合作為 AI 的學習資料或回答來源。ShowHN: Crawlie – Free open-source SEO audit tool for humans and agents
例如，如果網站結構過於複雜，人類或許能透過選單找到目標，但 AI 代理卻很容易迷路。Crawlie 能協助找出技術性錯誤並進行修正，讓 AI 代理在造訪你的網站時，如同獲得親切的地圖指引。透過這種方式，AI 能更精確地理解網站的核心內容，並提高將你的內容作為使用者問題答案引用的機率。
Crawlie 是一個開源專案，任何人皆可免費使用。GitHub - spronta/crawlie
目前可透過以下方式使用：
不過，由於這是專業的技術 SEO 工具，後續仍需要根據診斷報告，進行一些實際修改程式碼的技術努力。
未來，「我的網站是否在 Google 搜尋結果的第一頁？」將與「我的網站是否被引用為 AI 回答的來源？」同樣重要。ShowHN: Crawlie – Free open-source SEO audit tool for humans and agents
未來的網路世界將是人類與 AI 共存並消費資訊的時代。隨著像 Crawlie 這類工具日益普及，即使是經營個人部落格的普通人，也有能力讓 AI 代理更好地看見自己的內容。現在，是時候準備好讓你的網站與 AI 進行「對話」了。
Crawlie 不僅僅是列出數據，更試圖分析 AI 與人類使用者之間的互動，這項嘗試暗示了技術 SEO 正從單純的機械式最佳化，轉向「對代理友善的資訊架構」。能透過免費開源工具達成如此精確的診斷，在資訊近用性方面是非常值得肯定的進展。