매일 경쟁사 가격을 옮겨 적는 일은 번거롭다. 파이썬 웹 크롤링은 Playwright나 Selenium으로 브라우저를 조작해 필요한 정보를 파일로 모으는 방식으로 시작할 수 있다. 크롤링 목표 정하기 요약: 수집할 항목과 비교 기준을 먼저 정해야 쓸 만한 데이터가 쌓인다. 공개 상품 페이지의 상품명·가격·옵션·수집 시각·출처 URL을 저장하는 목표가 적당하다. 가격 비교라면 통화와 배송비, 회원 할인 조건도 구분하는 편이 좋다. 자료를 비교하며 중요하다고 느낀 점은 기준의 일관성이다. 용량이나 묶음 구성이 다르면 비교 결과도 어긋난다.대상 사이트의 공식 API와 이용 조건도 확인한다. robots.txt는 접근 권한을 부여하는 문서가 아니다. 수집 경로 허용을 모든 재이용의 허가로 판단하지 않는다...