Try to 개발자 EthanJ의 성장 로그

Pandas Series 판다스 시리즈¶ Pandas¶ 데이터 처리 및 분석을 위한 library 대용량 Data를 안정적이면서도 간편하게 처리 서로 다른 data type으로 column 단위들을 구성할 수 있음 c.f. Numpy: 전체 배열 원소를 '동일한 타입'으로 제한 주요 기능 데이터 입출력: .csv, .xlsx, RDB, JSON 등 다양한 format의 data 처리 가능 데이터 가공: 분리, 결합, 계층, 피봇 등 통계 분석 처리 등 In [1]: #pandas library, Series, DataFrame namespace 불러오기 import pandas as pd Series¶ 1차원 배열과 유사한 자료형 색인 index : 행 번호 각각의 데이터에 부여하는 속성, default..

Numpy array Manipulating 넘파이 배열 변형 In [1]: import numpy as np def np_print(nparr): print(''' type : {} shape : {} dimension : {} dtype : {} data :\n {} '''.format(type(nparr), nparr.shape, nparr.ndim, nparr.dtype, nparr)) 1. 배열 정렬(sorting)¶ arr.sort() method : axis를 기준으로 요소를 오름차순 정렬 default: axis=-1 : 현재 배열의 마지막 axis axis=0 : 열 단위 정렬 axis=1 : 행 단위 정렬 원본 객체에 정렬 결과가 반영됨 np...

Python_API_Crawling_Project 주택 전세 가격과 경제 변수간의 관계 한국은행 Open API를 이용한 데이터 수집 및 시각화 최근 주택 전세 가격 하락에 대한 뉴스를 쉽게 접할 수 있다. 데이터 분석으로 활용할 수 있는 주제로, 주택 전세 가격에 영향을 미치는 변수들을 찾고자 했다. 관련 내용 탐색 중, "한국건설관리학회 논문집 제13권 제2호 2012년 3월"에 실린 "주택 전세가격과 거시경제변수간의 관계연구"를 확인할 수 있었다. 논문 내용을 토대로 다음과 같은 데이터 분석을 실시하고자 했다. 먼저, 주택 전세가격 data와 그에 영향을 미치는 주택 수요자 중심의 요소 네가지, 즉 가계 대출금리, 가계 예금총액, 주택 매매가격, 취업자 수 data가 있다. 논문에서는 2007년에서..

NumPy Operation 넘파이 연산¶ In [1]: import numpy as np 1. 산술연산¶ 더하기: +, add() 빼기: -, subtract() 나누기: /, divide() 곱하기: *, multiply() 지수곱: exp() 제곱근: sqru() 로그: log() 내적(행렬곱): dot() In [2]: # Numpy 객체 정보를 확인하기 위한 사용자 함수 정의 : 객체타입, 구조, 차원, 데이터타입 def np_print(arr): text=""" type : {} shape : {} dimension : {} dtype : {} data : \n {}""".format(type(arr), arr.shape, arr.ndim, arr.dtype, arr) print(text) 1..

Basic Numpy 넘파이 기초¶ NumPy (Numeriacal Python)¶ Python Machine learning package scikit-learn > numpy 제공 배열 class numpy.ndarray instance를 기본 Data structure로 사용 Python 기반 Data Analysis environment > 행렬(matrix), 벡터(vector) operation에 필요한 다양한 method 제공 Memory usage가 많은 loop문 사용 없이, 전체 data array에 빠른 연산을 처리할 수 있는 표준 수학 function 배열(array) 동일한 특성(data type) 및 일정한 규칙을 가지는 여러개의 요소(items)가 나열되어 있는 Data str..

Python OOP Inheritance and Overriding 파이썬 객체 지향 프로그래밍 상속과 오버라이딩 1. 상속 : 부모 class의 정보를 활용해 자식 class를 생성하는 것 문법 class [class 이름](부모 class): ... 상속 시 부모 class의 item(variable, method)을 자식 class에 물려준다. 상속은 자식 class 선언 시 부모 class명을 지목해서 실행된다 자식 class는 새로운 변수, method를 선언 해 사용할 수 있다. class Person: name = "" age = 0 height = 0 def get_info(self): print("이름 : %s, 나이 : %s살, 키 : %scm" %(self.name, self.age,..

Python OOP with Structures and Classes 파이썬 객체 지향 프로그래밍 with 구조체와 클래스 1. 구조체 클래스(class): C언어의 구조체에서 확장된 개념 > 클래스 이전에 구조체 학습 구조체: 배열과 달리 인덱스가 아닌 "변수명"으로 object를 사용 1.1. 추상화 (abstaction) : 일부 관점(기준)으로 바라본 요소를 추출해서 표현하는 것 예를 들어, 사람을 프로그래밍적 관점에서 표현하면, 인간의 모든 구성 중에서 숫자로 표현 가능한 것, bool type으로 표현할 수 있는 것 등으로 추려서 표현하는 것 추상화(abstraction)를 통해 programming 개발에 사용 가능! 추상화 예시 고양이의 요소(item): 털 색, 무게, 품종, 나이, 선호..

Python crawling with browserless 파이썬 browserless 크롤링 requests library requests는 브라우저 없이 Python에서 다이렉트로 server에 http 요청 전송 request를 받은 webpage server는 해당 page의 source code를 Python 내부로 전송 단, 버튼 클릭이나 광고 닫기 등의 web page내에서의 작업은 물리 browser가 없기 때문에 불가능 오로지 특정 url로 접속했을 떄 최초에 response되는 webpage code만 가져오기 가능 대신 물리 브라우저를 직접 켜지 않고, 코드 내에서 request만 수행 > 속도, resource면에서 우월함 웹페이지와 네트워크 user가 브라우저로 특정 서버 주소를 ..