Try to 개발자 EthanJ의 성장 로그

Python crawler with traversal in Nested loop 이중 반복문을 활용한 파이썬 순회 크롤러 # crwaling library import from bs4 import BeautifulSoup from selenium import webdriver import requests # 코드 진행 지연을 위한 time 임포트 import time # 2022-07 이후 selenium 업데이트로 인한 XPATH 추적 시 사용하는 임포트 from selenium.webdriver.common.by import By # file io import codecs 1. bs4.element 내부 item 접근 my_driver = webdriver.Chrome() # 알라딘 베스트셀러 사이트..

Python crawler with traversal 파이썬 순회 크롤러 같은 양식의 페이지를 순회하면서 자료를 수집해오는 크롤러 원 페이지 크롤러 제작 후 > 완성된 크롤러를 반복문에 넣어서 만든다 반복을 어디부터 돌릴지에 대한 파악이 제일 중요! # crwaling library import from bs4 import BeautifulSoup from selenium import webdriver import requests # 코드 진행 지연을 위한 time 임포트 import time # 2022-07 이후 selenium 업데이트로 인한 XPATH 추적 시 사용하는 임포트 from selenium.webdriver.common.by import By # file io import codecs ..

Python Crawling 파이썬 크롤링 with selenium, BeautifulSoup 크롤링(Crawling) 웹에서 원하는 자료를 컴퓨터에게 수집해오도록 하는 기술 requests library를 활용한 브라우저 없는 crawling urlib library를 활용한 브라우저 없는 crawling crawler의 역할은 원하는 정보를 포함한 자료를 수집해 오는 것까지이며 실제로 원하는 데이터를 용도에 맞게 처리하는 것은 BeautifulSoup가 담당한다 selenium 설치 anaconda navigator 좌측 environments 선택 중간에 base(root) 우측 재생버튼 클릭 > open terminal 선택 열리는 cmd창에서 "pip install selenium" 입력 # 크..