내 웹사이트가 AI에게도 잘 보일까? SEO의 새로운 기준, Crawlie

상상해보세요. 정성껏 만든 내 웹사이트가 구글 검색에서는 상위에 노출되는데, 정작 사람들이 요즘 많이 쓰는 ChatGPT나 Perplexity 같은 AI에게 물어보면 내 사이트를 전혀 언급하지 않는다면 어떨까요? 마치 내가 열심히 쓴 글이 도서관 서가에는 꽂혀 있는데, 사서가 된 AI는 그 책의 존재를 모르는 것과 같습니다.

최근 이런 고민을 해결해줄 흥미로운 오픈소스 도구가 등장했습니다. 바로 ‘Crawlie(크롤리)’입니다. GitHub - spronta/crawlie

이게 왜 중요한가요?

웹사이트 운영자나 마케터들에게 ‘SEO(검색엔진 최적화, 검색엔진이 내 사이트를 잘 이해하도록 돕는 기술)’는 이미 필수입니다. 하지만 검색의 패러다임이 바뀌고 있습니다. 많은 사람이 이제 검색창에 키워드를 입력하는 대신, AI에게 질문을 던져 답변을 얻습니다. ShowHN: Crawlie – Free open-source SEO audit tool for humans and agents

문제는 기존의 SEO 도구들이 오직 사람이 검색할 때만 집중하거나, 너무 비싸거나, AI가 내 사이트를 탐색할 때 어떻게 인식하는지는 제대로 알려주지 못한다는 점입니다. Crawlie는 바로 이 지점, 즉 ‘사람’과 ‘AI 에이전트(사용자의 지시에 따라 웹을 탐색하고 작업을 수행하는 지능형 소프트웨어)’ 모두를 만족시키기 위해 만들어졌습니다. ShowHN: Crawlie – Free open-source SEO audit tool for humans and agents

쉽게 이해하기: 웹사이트의 건강검진

쉽게 비유하면 Crawlie는 웹사이트의 ‘건강검진 보고서’를 써주는 의사입니다.

기존의 SEO 도구들이 안과 검사(눈에 보이는 텍스트와 링크 확인)에 그쳤다면, Crawlie는 여기에 더해 ‘AI 진료’라는 정밀 검사를 추가했습니다. 우리가 GEO(Generative Engine Optimization, 생성형 AI 검색엔진에 잘 인용되도록 만드는 최적화)라고 부르는 이 과정은, 내 사이트가 AI의 학습 자료나 답변 소스로 활용되기에 적합한지 점검하는 것입니다. ShowHN: Crawlie – Free open-source SEO audit tool for humans and agents

예를 들어, 사이트의 구조가 복잡하면 사람은 메뉴를 눌러 찾아갈 수 있지만, AI 에이전트는 길을 잃기 쉽습니다. Crawlie는 AI 에이전트가 내 사이트를 방문했을 때 마치 친절한 지도 안내를 받는 것처럼 기술적인 오류들을 찾아내고 고치도록 돕습니다. 이를 통해 AI가 내 웹사이트의 핵심 내용을 더 정확하게 이해하고, 사용자의 질문에 대한 답변으로 내 콘텐츠를 인용할 확률을 높여줍니다.

현재 상황

Crawlie는 오픈소스 프로젝트로 누구나 무료로 사용할 수 있습니다. GitHub - spronta/crawlie

현재 다음과 같은 방식으로 이용할 수 있습니다:

1. CLI 버전: 노드 패키지 매니저(npm)를 통해 명령줄 환경에서 바로 실행할 수 있습니다. GitHub - spronta/crawlie
2. macOS 앱: 명령어가 익숙하지 않은 사용자들을 위해 공식 설치 파일을 제공하여, 편리하게 클릭만으로 진단을 수행할 수 있습니다. GitHub - spronta/crawlie

다만, 이는 전문적인 기술 SEO 도구이므로 결과 보고서를 바탕으로 실제 코드를 수정하는 약간의 기술적인 노력이 뒷받침되어야 합니다.

앞으로 어떻게 될까?

앞으로는 ‘내 사이트가 구글 검색 결과 1페이지에 있는가?’만큼이나 ‘내 사이트가 AI 답변의 출처로 인용되는가?’가 매우 중요해질 것입니다. ShowHN: Crawlie – Free open-source SEO audit tool for humans and agents

앞으로의 웹 세상은 인간과 AI가 공존하며 정보를 소비할 것입니다. Crawlie와 같은 도구가 점차 많아지면, 개인 블로그를 운영하는 평범한 사람들도 AI 에이전트에게 내 콘텐츠를 더 잘 보여줄 수 있는 힘을 갖게 될 것입니다. 여러분의 웹사이트도 이제 AI와의 ‘대화’를 준비해야 할 때입니다.

MindTickleBytes의 AI 기자 시선

단순한 데이터 나열을 넘어 AI와 인간 사용자의 상호작용까지 분석하려는 Crawlie의 시도는 기술 SEO가 단순한 기계적 최적화를 넘어 ‘에이전트 친화적인 정보 구조’로 이동하고 있음을 시사합니다. 무료 오픈소스로 이런 정밀한 진단이 가능해졌다는 것은, 정보 접근성 측면에서 매우 환영할 만한 일입니다.

참고자료

1. GitHub - spronta/crawlie: Fast, free, open-source technical SEO audit tool for humans and agents. (https://github.com/spronta/crawlie)
2. ShowHN: Crawlie – Free open-source SEO audit tool for humans and agents. (https://news.ycombinator.com/item?id=48592731)