Try to 개발자 EthanJ의 성장 로그

Python crawler with traversal in Nested loop 이중 반복문을 활용한 파이썬 순회 크롤러 # crwaling library import from bs4 import BeautifulSoup from selenium import webdriver import requests # 코드 진행 지연을 위한 time 임포트 import time # 2022-07 이후 selenium 업데이트로 인한 XPATH 추적 시 사용하는 임포트 from selenium.webdriver.common.by import By # file io import codecs 1. bs4.element 내부 item 접근 my_driver = webdriver.Chrome() # 알라딘 베스트셀러 사이트..

Python crawler with traversal 파이썬 순회 크롤러 같은 양식의 페이지를 순회하면서 자료를 수집해오는 크롤러 원 페이지 크롤러 제작 후 > 완성된 크롤러를 반복문에 넣어서 만든다 반복을 어디부터 돌릴지에 대한 파악이 제일 중요! # crwaling library import from bs4 import BeautifulSoup from selenium import webdriver import requests # 코드 진행 지연을 위한 time 임포트 import time # 2022-07 이후 selenium 업데이트로 인한 XPATH 추적 시 사용하는 임포트 from selenium.webdriver.common.by import By # file io import codecs ..

Python File IO with codecs and Encoding codecs 라이브러리를 활용한 파이썬 파일 입출력 and Encoding 1. codecs 라이브러리 Python ver.3.5. > 내장 라이브러리로 바뀜 (예전에는pip install codecs 명령어 수행해야 했음) 파이썬으로 (텍스트)파일을 제어할 수 있도록 (읽어오기, 쓰기) 도와줌 console에 출력된 내용을 txt로 옮겨서 출력, 읽어올 때 사용 특이사항 개행은 "\r\n"으로 처리 현재는 "\n"으로 개행 처리 가능 mode w: 기존에 있던 자료 없에고 새 파일 입력 a: 기존에 있던 자료에 이어서 계속 입력 r: 기존 파일에 있던 내용 읽어오기 # import codecs library import codecs..

Python Crawling 파이썬 크롤링 with selenium, BeautifulSoup 크롤링(Crawling) 웹에서 원하는 자료를 컴퓨터에게 수집해오도록 하는 기술 requests library를 활용한 브라우저 없는 crawling urlib library를 활용한 브라우저 없는 crawling crawler의 역할은 원하는 정보를 포함한 자료를 수집해 오는 것까지이며 실제로 원하는 데이터를 용도에 맞게 처리하는 것은 BeautifulSoup가 담당한다 selenium 설치 anaconda navigator 좌측 environments 선택 중간에 base(root) 우측 재생버튼 클릭 > open terminal 선택 열리는 cmd창에서 "pip install selenium" 입력 # 크..

Using Markdown 마크다운으로 문서 작성하기 0. 원문 https://gist.github.com/ihoneymon/652be052a0727ad59601 https://www.markdownguide.org/getting-started/ 1. 마크다운에 관하여 1.1 마크다운이란? 텍스트 기반의 마크업 언어 웹에서 쉽고 빠르게 작성, 직관적 독해 가능 → HTML로 변환 가능 Github "README.md": repo 정보 기록 마크다운 문서 → 설치 방법, 소스코드 설명, 이슈 기록 및 가독성 up! 1.2 마크다운의 장/단점 1.2.1. 장점 간결하다 별도의 도구없이 작성가능하다 다양한 형태로 변환 가능 Text 저장 → 용량↓ → 보관 용이 지원 프로그램 및 플랫폼 다양 1.2.2. 단점..

파이썬 제어문 Python Control statement 3) for 반복문 (for loop) data(list, tuple, string, dict, ...)의 모든 item에 대하여, 처음부터 마지막까지 차례대로 접근 > 실행문 적용 ▶ 기본 문법 for 임시변수 in data : 수행할 문장1 수행할 문장2 ... ▶ 임시변수 for 반복문이 실행 > data의 item이 차례대로 임시변수에 할당 (임시변수 = item) 기본적으로 변수는 할당문이 필수 존재, but 임시변수는 할당문이 필요 없는 객체 # 하나의 아이템에 접근 : list 자료형 a = [1, 2, 3] for i in a: print("Hello world") Hello world Hello world Hello world #..

파이썬 제어문 Python Control statement 2) while 반복문 (+조건문) while loop 주어진 조건을 판단하여 조건이 참일 동안 특정한 명령문을 반복적으로 수행하는 것 ▶ 기본 문법 while 조건문: 반복적으로 수행할 문장1 반복적으로 수행할 문장2 ... ▶ 주의해야할 문법 : 조건문 뒤에 반드시 콜론(:)을 써야 한다. 조건문이 있는 문장 하위에 속하는 실행문장들은 반드시 한 번 들여쓰기 되어야 한다. ( 자동 / tab / space 4번) 무한반복문에 대한 이해와 관련된 키워드(break, continue 등)를 활용할 수 있어야 한다. ▶ 무한반복문 : 조건문이 무조건 참인 경우, while 반복문은 무한히 반복된다. break 키워드 : 특정 조건을 만족할 경우 제..

파이썬 제어문 Python Control statement 1) 조건문 if문 (if statement) 주어진 조건을 판단하여 해당 조건이 참일 때와 거짓일 때에 맞는 명령문을 수행하는 것 ▶ 기본 문법 if 조건문1 : 조건문1이 참일 때 실행할 문장1 조건문1이 참일 때 실행할 문장2 elif 조건문2 : (조건문1이 거짓일 때 elif 블럭으로 이동) 조건문2가 참일 때 실행할 문장1 조건문2가 참일 때 실행할 문장2 조건문2가 참일 때 실행할 문장2 else : 조건문1, 조건문2가 모두 거짓일 때 실행할 문장1 조건문1, 조건문2가 모두 거짓일 때 실행할 문장2 => elif, else는 상황에 따라 생략될 수 있다. ▶ 주의해야할 문법 : 조건문 및 else 뒤에 반드시 콜론(:)을 써야 한..