빅데이터 분석/빅데이터 분석 학습 검색 결과
18 개의 검색 결과가 있습니다.
빅데이터 분석/빅데이터 분석 학습

[데이터 크롤링] 서울 약국 경위도 크롤링하기 with Python

츄르사려고 코딩하는 코집사입니다. [데이터 크롤링] 서울 약국 경위도 크롤링하기 with Python 자세한 설명은 아래의 링크에서 볼 수 있다. 전체 코드는 아래에 있다. https://yongku.tistory.com/entry/%EB%8D%B0%EC%9D%B4%ED%84%B0-%ED%81%AC%EB%A1%A4%EB%A7%81-%EC%B9%B4%EC%B9%B4%EC%98%A4-api%EB%A5%BC-%ED%99%9C%EC%9A%A9%ED%95%9C-%EC%84%9C%EC%9A%B8-%ED%8E%B8%EC%9D%98%EC%A0%90-%EA%B2%BD%EC%9C%84%EB%8F%84-%ED%81%AC%EB%A1%A4%EB%A7%81%ED%95%98%EA%B8%B0-with-Python [데이터 크롤링] ..

2021. 5. 25.
빅데이터 분석/빅데이터 분석 학습

[데이터 크롤링] 서울 카페 경위도 크롤링하기 with Python

츄르사려고 코딩하는 코집사입니다. [데이터 크롤링] 서울 카페 경위도 크롤링하기 with Python 자세한 설명은 아래의 링크에서 볼 수 있다. 전체 코드는 아래에 있다. https://yongku.tistory.com/entry/%EB%8D%B0%EC%9D%B4%ED%84%B0-%ED%81%AC%EB%A1%A4%EB%A7%81-%EC%B9%B4%EC%B9%B4%EC%98%A4-api%EB%A5%BC-%ED%99%9C%EC%9A%A9%ED%95%9C-%EC%84%9C%EC%9A%B8-%ED%8E%B8%EC%9D%98%EC%A0%90-%EA%B2%BD%EC%9C%84%EB%8F%84-%ED%81%AC%EB%A1%A4%EB%A7%81%ED%95%98%EA%B8%B0-with-Python [데이터 크롤링] ..

2021. 5. 25.
빅데이터 분석/빅데이터 분석 학습

[Python 크롤링] 네이버 뉴스 크롤링하기 with Python

츄르사려고 코딩하는 코집사입니다. [Python 크롤링] 네이버 뉴스 크롤링하기 with Python 1. 네이버 뉴스 크롤링하기 with Python 1) 라이브러리 import # 데이터 프레임 라이브러리 import import pandas as pd # 뉴스 크롤링 라이브러리 import from selenium import webdriver from bs4 import BeautifulSoup # 크롤링 라이브러리 import import requests # 운영체제 제공 라이브러리 import import os # 정규표현 라이브러리 import import re # 시간 라이브러리 import from datetime import datetime 2) 시간 설정 # 현재 시간 문자열 저장 d..

2021. 5. 24.
빅데이터 분석/빅데이터 분석 학습

[데이터 크롤링] 카카오 api를 활용한 서울 편의점 경위도 크롤링하기 with Python

츄르사려고 코딩하는 코집사입니다. [데이터 크롤링] 카카오 api를 활용한 서울 편의점 경위도 크롤링하기 with Python 웹 개발 프로젝트를 하면서 지도 api에 편의 시설과의 거리와 마커를 찍기 위해 경위도가 필요해 데이터 크롤링이 필요했다. cctv와 같은 공공 데이터는 공공데이터 포털에서 수집할 수 있었지만, 편의점 데이터는 구할 수가 없어 카카오 api를 이용하여 편의점 경위도를 찾기로 했다. 편의점의 경위도는 내가 가지고 있는 서울 동 데이터(총 319개)의 10KM 기준 편의점을 크롤링했다. 20KM로 설정하면 겹치는 부분이 많기 때문에, 리스트에 저장하는데 시간이 많이 소요된다. 1. 카카오 api를 활용한 서울 편의점 경위도 크롤링하기 with Python 1) 라이브러리 import..

2021. 5. 21.
빅데이터 분석/빅데이터 분석 학습

엔트로피(Entropy) 머신러닝 통계 - 의사결정나무(Decision Tree)

츄르사려고 코딩하는 코집사입니다. 1. 엔트로피(Entropy) 머신러닝(Machine Learning)에서 자주 들어보는 단어 중 하나이다. 엔트로피는 불순도를 수치화한 지표 중 하나이며, 확률 변수의 불확실성을 수치로 나타낸 것이다. 또한, 정보량의 기댓값이라고 할 수 있다. 이 불순도를 수치화한 지표는 엔트로피, 지니계수 등이 있다. 우리가 의사결정나무(Decision Tree)를 시각화하면 의사결정나무의 노드에 entropy라는 것을 볼 수 있는데, 이 entropy의 값에 따라 의사결정나무(Decision Tree)의 분류가 일어나는 것을 확인할 수 있다. 아래의 사진을 보면 각 노드에 entropy가 존재하는 것을 볼 수 있다. 이 엔트로피(Entropy) 수치의 의미는 아래와 같다. 1) 엔..

2020. 12. 17.
빅데이터 분석/빅데이터 분석 학습

파이썬 크롤링을 이용한 주식매매동향 간략한 데이터 분석

츄르사려고 코딩하는 코집사입니다. 파이썬 크롤링을 이용하여 네이버 주식 매매 동향 데이터를 가져와 간단한 데이터 분석을 해보려고 합니다. 네이버의 주소는 아래의 Url입니다. finance.naver.com/sise/sise_trans_style.nhn 1. 라이브러리 불러오기 import requests #크롤링을 위한 라이브러리 import pandas as pd import seaborn as sns import matplotlib.pyplot as plt from io import BytesIO from datetime import datetime # 오늘 날짜 불러오는 라이브러리 1) requests - 크롤링을 위한 라이브러리 2. plt 라이브러리를 이용한 그래프에서 글자 깨짐 방지 #plo..

2020. 11. 28.