크롤러 개발

목적

외부 상품을 빙글에 불러오고, 갱신할 수 있도록 한다.
정확한 정보를 가져오는 것이 가장 큰 목표이다.

크롤러 개발 목표

크롤러는 한번 개발하여 ‘정확한 정보를 가져올 수 있다’라는 목적을 달성하면, 대상 웹페이지 구조가 바뀌지 않는 한 크게 수정할 일이 없다.
따라서 코드가 가독성 있어야 한다거나, 유지보수성이 좋아야 한다거나, 범용적이어야 할 필요가 크게 없다.
최대한 의존성 없이 독립적이고 간단하게 유지하는 것이 지속가능성에 도움이 된다.

개발 방법

1. 크롤링 대상을 선정한다.
2. 크롤러를 검증할 다양한 상품들을 선정한다.
3. 아래 항목들이 표시되는 요소를 CSS Selector를 통해 일반화한다.
   • 상품명
   • 상품 상태
   • 할인 전 가격
   • 할인 후 가격
   • 브랜드
   • 표준 사이즈
   • 치수
   • 상세 설명
   • 썸네일 이미지
   • 상세 이미지(들)
   • 상품 링크
   • 판매자 도메인
4. 찾아낸 CSS Selector들을 활용해 크롤러를 개발한다.
5. 미리 선정한 상품들을 통해 크롤러가 정확한 정보를 가져오는지 검증한다.