我的网站在AI眼中表现如何？SEO新标准：Crawlie

想象一下：你精心制作的网站在谷歌搜索中排名很高，但当人们向如今常用的ChatGPT或Perplexity等AI提问时，它们却完全不提及你的网站。这就像你写的书被整齐地放在了图书馆的书架上，但作为图书管理员的AI却不知道这本书的存在。

最近，一个可以解决这种烦恼的有趣开源工具问世了，它就是“Crawlie”。GitHub - spronta/crawlie

为什么这很重要？

对于网站运营者和营销人员来说，“SEO（搜索引擎优化，即帮助搜索引擎更好地理解你的网站的技术）”已经是必修课。但搜索的范式正在发生改变。许多人现在不再在搜索框中输入关键词，而是通过向AI提问来获取答案。ShowHN: Crawlie – Free open-source SEO audit tool for humans and agents

问题在于，传统的SEO工具要么只关注人类搜索，要么价格昂贵，要么无法准确告诉你AI在浏览你的网站时是如何感知的。Crawlie的诞生正是为了填补这一空白，即同时满足“人类”和“AI代理（根据用户指令浏览网页并执行任务的智能软件）”的需求。ShowHN: Crawlie – Free open-source SEO audit tool for humans and agents

简单理解：网站的健康检查

打个比方，Crawlie就像是一位为你网站撰写“健康检查报告”的医生。

传统的SEO工具仅限于眼科检查（确认可见的文本和链接），而Crawlie在此基础上增加了一项名为“AI诊疗”的精密检查。我们称之为GEO（Generative Engine Optimization，生成式引擎优化，即通过技术优化使网站更容易被生成式AI搜索引擎引用），这个过程旨在检查你的网站是否适合作为AI的学习资料或答案来源。ShowHN: Crawlie – Free open-source SEO audit tool for humans and agents

例如，如果网站结构复杂，人类可以通过点击菜单找到路径，但AI代理却很容易迷路。Crawlie可以找出技术错误并帮助修复，就像为访问你网站的AI代理提供清晰的地图指引。这使得AI能够更准确地理解你网站的核心内容，从而提高你的内容被引用为用户搜索答案的概率。

现状

Crawlie是一个开源项目，任何人都可以免费使用。GitHub - spronta/crawlie

目前可以通过以下方式使用：

1. CLI版本：可以通过节点包管理器（npm）在命令行环境中直接运行。GitHub - spronta/crawlie
2. macOS应用：为不熟悉命令行的用户提供官方安装文件，只需点击即可便捷地进行诊断。GitHub - spronta/crawlie

不过，由于这是一个专业的技术SEO工具，根据诊断报告进行实际代码修改仍需要一定的技术基础。

未来展望

未来，“我的网站是否在谷歌搜索结果的第一页？”和“我的网站是否被引用为AI答案的来源？”将变得同样重要。ShowHN: Crawlie – Free open-source SEO audit tool for humans and agents

未来的Web世界将是人类与AI共存并共同消费信息的环境。随着像Crawlie这样的工具逐渐普及，即使是运营个人博客的普通人，也将有能力让AI代理更好地呈现自己的内容。现在，是时候让你的网站为与AI的“对话”做好准备了。

MindTickleBytes AI记者观点

Crawlie不仅局限于罗列数据，还试图分析AI与人类用户之间的互动。这一尝试表明，技术SEO正在从简单的机械优化向“代理友好的信息结构”转变。通过免费开源实现这种精准诊断，在信息获取的普及性方面是非常值得欢迎的进步。

参考资料

1. GitHub - spronta/crawlie: Fast, free, open-source technical SEO audit tool for humans and agents. (https://github.com/spronta/crawlie)
2. ShowHN: Crawlie – Free open-source SEO audit tool for humans and agents. (https://news.ycombinator.com/item?id=48592731)