본문 바로가기
Coding/HTML&CSS

웹 크롤링(crawling) 관련 자료 정리 ,모음

by 우지uz 2023. 3. 18.

https://www.fun-coding.org/crawl_basic2.html#gsc.tab=0

 

잔재미코딩 온라인 강의 사이트입니다

잔재미코딩에서 만든 온라인 강의 리스트를 공유하는 웹페이지입니다.

www.fun-coding.org

크롤링(crawling) 이란?

  • Web상에 존재하는 Contents를 수집하는 작업 (프로그래밍으로 자동화 가능)
    1. HTML 페이지를 가져와서, HTML/CSS등을 파싱하고, 필요한 데이터만 추출하는 기법
    2. Open API(Rest API)를 제공하는 서비스에 Open API를 호출해서, 받은 데이터 중 필요한 데이터만 추출하는 기법
    3. Selenium등 브라우저를 프로그래밍으로 조작해서, 필요한 데이터만 추출하는 기법

 

유튜브 자료

https://youtu.be/xXDYz6hu7XI

https://youtu.be/hTF-z5PZ-OI

https://youtu.be/yQ20jZwDjTE