웹사이트의 불필요한 광고만 쏙 골라내는 똑똑한 '웹 청소부', Pulpie 이야기

상상해보세요. 오늘 아침, 당신이 꼭 읽고 싶었던 긴 기사를 찾았습니다. 그런데 막상 접속해보니 기사 본문은 손톱만큼 작고, 사방에서 번쩍이는 광고 배너와 복잡한 메뉴 바, 그리고 ‘지금 인기 있는 글’ 같은 사이드바가 화면을 가득 채우고 있습니다. 글을 읽으려고 스크롤을 내리다 보면 광고를 클릭하게 되고, 도대체 어디가 진짜 기사인지 찾느라 진이 빠지죠. 인공지능(AI) 시대, 우리는 수많은 정보를 수집해야 하지만, 이처럼 웹사이트의 ‘쓰레기’들 때문에 정보 수집은 생각보다 훨씬 피곤한 일이 되곤 합니다.

최근 이런 고민을 해결해줄 똑똑한 도구가 등장했습니다. 바로 ‘Pulpie(펄파이)’라는 오픈소스 웹 추출 도구입니다.

이게 왜 중요한가요?

웹사이트에서 본문만 깔끔하게 골라내는 작업은 AI를 학습시키거나 방대한 데이터를 분석하는 사람들에게는 가장 먼저 수행해야 하는 기초 공사입니다. 하지만 웹은 생각보다 훨씬 지저분하죠. 기존에는 복잡한 코드를 짜거나 성능이 낮은 방식으로 내용을 추출해야 해서 비용도 많이 들고 시간도 오래 걸렸습니다.

Pulpie는 이 문제를 획기적으로 해결했습니다. 웹사이트의 광고, 헤더(사이트 상단 메뉴), 사이드바를 가차 없이 ‘쓰레기’로 분류해 버리고, 우리가 읽어야 할 진짜 핵심 본문만 쏙 골라냅니다 [출처: Pulpie: Pareto-OptimalModelsforCleaningtheWeb, 출처: Claude Science: AI Workbench for Scientists #1868 - Geek News Central]. 이는 단순히 우리가 보기 편하게 만드는 것을 넘어, 기업들이 고품질의 데이터를 확보하고 비용을 아끼는 데 큰 도움을 줍니다.

쉽게 말해서: ‘필터’의 마법

Pulpie의 작동 원리를 쉽게 이해하기 위해, 사진 보정 앱을 떠올려 보세요. 우리가 인물 사진을 찍으면 앱이 배경의 잡티를 지우고 인물만 또렷하게 강조해주죠? Pulpie도 마찬가지입니다.

그렇다면 기존 방식은 왜 그렇게 느리고 복잡했을까요? 보통 인공지능이 문장을 이해할 때 복잡한 ‘디코더(Decoder, 문장을 생성하는 구조)’를 사용하곤 했는데, 이것이 메모리 자원을 너무 많이 잡아먹었기 때문입니다. Pulpie는 여기서 창의적인 결정을 내렸습니다. 문장을 생성하는 대신, 문장의 의미를 파악하는 데 특화된 ‘인코더(Encoder, 입력을 받아 특징을 추출하는 구조)’ 모델을 사용한 것이죠 [출처: GitHub - feyninc/pulpie].

비유하자면, 기존 방식이 방 전체의 짐을 일일이 확인하며 옮기는 작업이었다면, Pulpie는 마치 도서관의 ‘검색 엔진’처럼 필요한 키워드와 핵심 데이터만 즉각적으로 찾아내는 방식입니다. 덕분에 메모리 부담은 줄고, 대신 인공지능의 연산 능력을 최대한 활용하게 된 것입니다.

현재 상황: 얼마나 빠를까요?

Pulpie의 실력은 숫자에서 명확히 드러납니다. 테스트 결과, Pulpie는 NVIDIA L4 그래픽카드가 장착된 서버에서 초당 15.1개의 페이지를 처리할 수 있습니다 [출처: pulpie· PyPI]. 이는 기존의 ‘Dripper(드리퍼)’라는 모델보다 무려 16.4배나 빠른 속도입니다 [출처: pulpie· PyPI].

더 놀라운 것은 효율성입니다. Pulpie는 Dripper보다 덩치가 3분의 1 수준(210M 파라미터)으로 작지만, 성능은 오히려 더 뛰어납니다 [출처: Pulpie: Pareto-Optimal Models for Cleaning the Web — Feyn]. 10억 개의 페이지를 정제하는 데 드는 비용이 겨우 6,500달러 수준이니, 데이터 수집가들에게는 그야말로 희소식이 아닐 수 없습니다 [출처: pulpie· PyPI]. 현재 이 기술은 오픈소스로 공개되어 누구나 Hugging Face를 통해 활용할 수 있습니다 [출처: Pulpie: Pareto-OptimalModelsforCleaningtheWeb].

앞으로 어떻게 될까?

Pulpie는 데이터 수집의 문턱을 획기적으로 낮췄습니다. 앞으로는 누구나 더 저렴한 비용으로 대규모의 깨끗한 데이터를 모을 수 있게 될 것입니다. Feyn의 Shreyash Nigam과 Bhavnick Singh Minhas가 개발한 이 도구는 [출처: The DevTools Weekly Roundup: Edition 137 - Develocity], 이제 막 세상에 나왔지만 웹 데이터 처리의 표준을 바꾸는 역할을 할 것으로 기대됩니다.

정보의 홍수 속에서 진짜 알짜배기 정보만 골라내는 AI의 시대, Pulpie는 우리가 더 효율적으로 학습하고 더 명확하게 판단할 수 있도록 돕는 든든한 ‘웹 청소부’가 되어줄 것입니다.

참고자료

1. Pulpie: Pareto-OptimalModelsforCleaningtheWeb - https://huggingface.co/blog/feyninc/pulpie
2. GitHub - feyninc/pulpie: Pareto-optimalmodelsforcleaningtheweb - https://github.com/feyninc/pulpie
3. Claude Science: AI Workbench for Scientists #1868 - Geek News Central - https://geeknewscentral.com/2026/07/02/claude-science-ai-workbench-for-scientists-1868/
4. pulpie· PyPI - https://pypi.org/project/pulpie/
5. The DevTools Weekly Roundup: Edition 137 - Develocity - https://develocity.io/the-devtools-weekly-roundup-edition-137/
6. Pulpie: Pareto-Optimal Models for Cleaning the Web — Feyn - https://usefeyn.com/blog/pulpie-pareto-optimal-models-for-cleaning-the-web/