platinumGScrapling 쓸 수 있음 설치형
|무료브라우저를 안 켜고도 봇 차단 공개 페이지를 긁는 파이썬 스크래핑 프레임워크
- 되는 것: Windows 사전빌드 휠 전부 있어 컴파일러 불필요 · Python 3.10+ · BSD-3 무료(키·구독 없음)
- 되는 것: 릴리즈 v0.4.12~0.4.15 가 2026-07-26~08-23 에 2주 간격, 이슈 종결률 98.8% · ⭐8만 2천
- 되는 것: PyPI 정본 일치(레포에서 직접 trusted publishing)
- 조건: 실제 사이트를 때리는 통합 테스트 0건 — 안티봇 주장은 코드 검토(L1)로만 확인
무엇인가
파싱 엔진 + fetcher 3종(HTTP·동적·스텔스) + Scrapy식 크롤러를 한 패키지에 묶었다. 기본 Fetcher는 HTTP + TLS 임퍼소네이션이라 브라우저 없이 돌고, 필요할 때만 크로미움을 띄운다. 사이트 구조가 바뀌면 셀렉터를 스스로 다시 찾는 기능이 있다.
왜 볼만한가
공개 페이지인데 Cloudflare 같은 봇 차단에 막혀 requests로는 안 열릴 때, 브라우저 자동화까지 가지 않고 해결하는 중간층이 필요하다.
주의할 점
- '안티봇 우회'는 Cloudflare Turnstile 한 종류를 뜻한다 — hCaptcha·GeeTest·Akamai·DataDome은 메인테이너가 범위 밖이라 명시(#265)
- 브라우저 fetcher를 쓰면 드라이버·크로미움 350~630MB 다운로드(10~20분)
- CI가 macOS에서만 돈다 — Windows 함정 3건은 닫혔지만 새 버그는 Windows에서 먼저 드러날 수 있음