Language 검색 결과
241 개의 검색 결과가 있습니다.
Language/Python

파이썬 SQLite3 DBMS로 저장하기

파이썬 SQLite3 DBMS로 저장하기 1. SQLite3 DBMS > 파일시스템 기반의 경량 관계형 DBMS > 경량 관계형 DBMS로 스마트폰 등의 embedded 환경에서 널리 사용 > 파이썬에서는 SQLite3가 기본 모듈로 제공 > 대용량 데이터 및 트랜잭션 처리 부적합 > 경량 데이터 및 트랜잭션 처리, 교육용 목적 등으로 사용 import pandas as pd import sqlite3 from pandas.io import sql import os DB_NAME = 'top_cities.db' TABLE_NAME = 'TOP_CITIES' def db_save(df, db_name, table_name) : with sqlite3.connect(db_name) as con : try :..

2020. 9. 1.
Language/Python

파이썬 XML을 이용하여 기상청 데이터 스크래핑하기

파이썬 XML을 이용하여 기상청 데이터 스크래핑하기 # ElementTree 모듈을 로드 from xml.etree import ElementTree import pandas as pd #parse() 함수로 파일을 읽고 ElementTree 객체를 생성 tree = ElementTree.parse('rss.xml') # getroot() 메서드로 XML의 루트 element를 추출 root = tree.getroot() 데이터프레임_리스트 = [] for item in root.findall('channel/item/description/body/location/data') : #find()메서드로 element 탐색, text 속성으로 값을 추출 tm_ef = item.find('tmEf').text..

2020. 9. 1.
Language/Python

파이썬 정규 표현식을 사용하기 위한 re 모듈

파이썬에서는 정규 표현식을 사용하기 위해서 re 모듈을 import 해야 한다. re 모듈은 파이썬을 설치했다면 자동적으로 설치되어 있는 기본 라이브러리입니다. 1. re 모듈의 메서드 1) match() > 문자열의 처음부터 정규식과 매치되는지 확인 > match되는 문자열이 없으면 None 반환 2) search() > 문자열 전체를 검색하여 정규식과 매치되는지 확인 3) findall() > 정규식과 매치되는 모든 문자열을 리스트로 반환 4) finditer() > 정규식과 매치되는 모든 문자열을 반복 가능한 객체로 반환 2. match 객체의 메서드 1) group() > 매치된 문자열을 반환 2) start() > 매치된 문자열의 시작 위치 반환 3) end() > 매치된 문자열의 끝 위치 반환..

2020. 9. 1.
Language/Python

파이썬 웹 페이지에서 데이터 추출하기

파이썬 웹 페이지에서 데이터 추출하기 1. 웹 페이지에서 데이터 추출 > 정규 표현식을 이용한 스크래핑은 HTML을 단순한 문자열로 취급하여 필요한 정보 추출 > 마크업되지 않은 웹 페이지에서도 문자열의 특징을 파악하면 스크래핑 가능하다. > XML 파서를 이용한 스크래핑은 XML 태그를 파싱하여 필요한 정보를 추출 > 블로그 또는 뉴스사이트 정보를 전달하기 위한 RSS와 같이 많은 데이터가 XML 형태로 제공 > XML 파서를 사용하면 정규 표현식보다 간단하고 효과적으로 필요한 정보 추출 가능 > HTML을 스크래핑할 때는 HTML 전용 파서가 필요 > 파이썬의 표준 모듈인 html.parser 모듈을 사용하면 HTML 파싱 가능 > lxml 등과 같은 라이브러리를 사용하여 HTML 파싱 필요 2. 정..

2020. 9. 1.
Language/Python

파이썬 웹페이지 추출하기

파이썬 웹페이지 추출하기 1. 웹페이지 추출 > 웹페이지 추출 시 HTTP 헤더와 HTML의 meta 태그를 기반으로 인코딩 방식을 판별이 필요하다. > 표준 라이브러리 urllib.request 모듈을 사용하여 웹페이지를 추출한다. > urllib.request에 포함되어 있는 urlopen() 함수에 url을 지정하면 웹 페이지 추출이 가능하다. > HTTP 헤더를 변경 불가, Basic 인증을 사용을 위한 복잡한 처리가 필요하다. > HTTP 헤더 변경 및 Basic 인증을 위해 urllib 대신 Requests 모듈 사용이 필요하다. > HTTPResponse.read() 메서드로 추출할 수 있는 본문은 bytes 자료형이다. > 문자열(str 자료형)로 다루려면 문자 코드를 지정해서 디코딩 필요..

2020. 9. 1.
Language/Python

주피터 노트북 테마 변경 및 종류

1. Anaconda Prompt 실행시킨 후 명령어 입력 > pip install jupyterthemes 2. jt -l을 입력하여 테마 목록 보기 3. jt -t 테마명 명령어를 입력하여 변경하기 > 입력하고 주피터 노트북을 다시 재실행해야 테마가 적용됩니다. 1) chesterish 2) grade3 3) gruvboxd 4) gruvboxl 5) monokai 6) oceans16 7) onedork 8) solarizedd 9) solarizedl

2020. 8. 31.