웹 스크래핑의 새로운 전쟁, AI가 방패를 뚫고 있다

20만 번 다운로드된 도구의 정체

샌프란시스코에서 OpenClaw가 화제다. 하지만 이번엔 좋은 이유가 아니다. 사용자들이 이 AI 도구를 Scrapling이라는 오픈소스 프로그램과 결합해 웹사이트 보안을 우회하고 있기 때문이다.

Scrapling은 클라우드플레어 턴스타일 같은 봇 차단 시스템을 뚫도록 설계된 파이썬 기반 도구다. 출시 이후 20만 회 이상 다운로드됐다. 월요일, X(옛 트위터)에서 "봇 탐지 없음. 셀렉터 유지보수 없음. 클라우드플레어 악몽 없음"이라는 홍보 글이 바이럴을 탔다.

클라우드플레어의 반격

클라우드플레어는 이미 Scrapling의 이전 버전들을 차단했다. 하지만 개발자들이 계속 새로운 우회 방법을 만들어내고 있다.

"우리가 변화를 만들면, 그들도 변화를 만든다"고 클라우드플레어의 CTO 데인 넥트는 말한다. 그는 회사의 방대한 웹사이트 데이터와 트렌드 추적 능력이 우위를 준다고 자신한다.

클라우드플레어는 지난 1년도 안 되는 기간 동안 4,160억 건의 무단 스크래핑 시도를 차단했다고 주장한다. 이는 하루 평균 10억 건 이상의 공격을 막았다는 뜻이다.

암호화폐 사기극의 그림자

Scrapling이 주목받자 암호화폐 투기꾼들이 달려들었다. $Scrapling 밈코인이 등장했고, Scrapling 개발자 카림 쇼아이르가 이를 홍보했다. 하지만 5시간 만에 가격이 폭락하며 "사기꾼들"이라는 비난이 쏟아졌다.

쇼아이르는 WIRED와의 인터뷰에서 "코인이 만들어질 때 내가 무엇에 개입하는지 몰랐다"며 "인출한 돈은 자선단체에 기부하겠다"고 해명했다.

웹의 미래, 인간과 AI의 공존

대형언어모델들은 인터넷 전체를 스크래핑해서 훈련됐다. 어떤 면에서 Scrapling 사용자들은 원조 모델 제작자들의 발자취를 따르고 있는 셈이다. 다만 개인 단위로 말이다.

클라우드플레어의 넥트조차 "인간과 에이전트 모두에게 친화적이면서 웹사이트 소유자의 의사가 존중받는 인터넷으로 가는 길이 있다"고 본다.