빅데이터 분석 AI 조류 인플루엔자 데이터 전처리(1) - 기상데이터

@notepad_jj2

츄르사려고 코딩하는 코집사입니다.

---

1. 기상데이터

- 기존 연도별 데이터에서 필요한 컬럼 변수만 추출하여 새로운 데이터프레임 생성

 

 

 

In [1]:

import pandas as pd

In [2]:

기상데이터_2003 = pd.read_csv('C:/Users/User/Desktop/AI data/기상데이터/2003년 기상데이터.csv', encoding="CP949")
기상데이터_2004 = pd.read_csv('C:/Users/User/Desktop/AI data/기상데이터/2004년 기상데이터.csv', encoding="CP949")
기상데이터_2005 = pd.read_csv('C:/Users/User/Desktop/AI data/기상데이터/2005년 기상데이터.csv', encoding="CP949")
기상데이터_2006 = pd.read_csv('C:/Users/User/Desktop/AI data/기상데이터/2006년 기상데이터.csv', encoding="CP949")
기상데이터_2007 = pd.read_csv('C:/Users/User/Desktop/AI data/기상데이터/2007년 기상데이터.csv', encoding="CP949")
기상데이터_2008 = pd.read_csv('C:/Users/User/Desktop/AI data/기상데이터/2008년 기상데이터.csv', encoding="CP949")
기상데이터_2009 = pd.read_csv('C:/Users/User/Desktop/AI data/기상데이터/2009년 기상데이터.csv', encoding="CP949")
기상데이터_2010 = pd.read_csv('C:/Users/User/Desktop/AI data/기상데이터/2010년 기상데이터.csv', encoding="CP949")
기상데이터_2011 = pd.read_csv('C:/Users/User/Desktop/AI data/기상데이터/2011년 기상데이터.csv', encoding="CP949")
기상데이터_2012 = pd.read_csv('C:/Users/User/Desktop/AI data/기상데이터/2012년 기상데이터.csv', encoding="CP949")
기상데이터_2013 = pd.read_csv('C:/Users/User/Desktop/AI data/기상데이터/2013년 기상데이터.csv', encoding="CP949")
기상데이터_2014 = pd.read_csv('C:/Users/User/Desktop/AI data/기상데이터/2014년 기상데이터.csv', encoding="CP949")
기상데이터_2015 = pd.read_csv('C:/Users/User/Desktop/AI data/기상데이터/2015년 기상데이터.csv', encoding="CP949")
기상데이터_2016 = pd.read_csv('C:/Users/User/Desktop/AI data/기상데이터/2016년 기상데이터.csv', encoding="CP949")
기상데이터_2017 = pd.read_csv('C:/Users/User/Desktop/AI data/기상데이터/2017년 기상데이터.csv', encoding="CP949")
기상데이터_2018 = pd.read_csv('C:/Users/User/Desktop/AI data/기상데이터/2018년 기상데이터.csv', encoding="CP949")

 

C:\Users\User\anaconda3\lib\site-packages\IPython\core\interactiveshell.py:3071: DtypeWarning: Columns (60) have mixed types.Specify dtype option on import or set low_memory=False.
  has_raised = await self.run_ast_nodes(code_ast.body, cell_name,

In [3]:

최종_기상데이터_2003 = 기상데이터_2003[['지점명','일시','평균기온(°C)','최저기온(°C)','최고기온(°C)','최대 순간 풍속(m/s)','최대 풍속(m/s)','평균 풍속(m/s)']]
최종_기상데이터_2004 = 기상데이터_2004[['지점명','일시','평균기온(°C)','최저기온(°C)','최고기온(°C)','최대 순간 풍속(m/s)','최대 풍속(m/s)','평균 풍속(m/s)']]
최종_기상데이터_2005 = 기상데이터_2005[['지점명','일시','평균기온(°C)','최저기온(°C)','최고기온(°C)','최대 순간 풍속(m/s)','최대 풍속(m/s)','평균 풍속(m/s)']]
최종_기상데이터_2006 = 기상데이터_2006[['지점명','일시','평균기온(°C)','최저기온(°C)','최고기온(°C)','최대 순간 풍속(m/s)','최대 풍속(m/s)','평균 풍속(m/s)']]
최종_기상데이터_2007 = 기상데이터_2007[['지점명','일시','평균기온(°C)','최저기온(°C)','최고기온(°C)','최대 순간 풍속(m/s)','최대 풍속(m/s)','평균 풍속(m/s)']]
최종_기상데이터_2008 = 기상데이터_2008[['지점명','일시','평균기온(°C)','최저기온(°C)','최고기온(°C)','최대 순간 풍속(m/s)','최대 풍속(m/s)','평균 풍속(m/s)']]
최종_기상데이터_2009 = 기상데이터_2009[['지점명','일시','평균기온(°C)','최저기온(°C)','최고기온(°C)','최대 순간 풍속(m/s)','최대 풍속(m/s)','평균 풍속(m/s)']]
최종_기상데이터_2010 = 기상데이터_2010[['지점명','일시','평균기온(°C)','최저기온(°C)','최고기온(°C)','최대 순간 풍속(m/s)','최대 풍속(m/s)','평균 풍속(m/s)']]
최종_기상데이터_2011 = 기상데이터_2011[['지점명','일시','평균기온(°C)','최저기온(°C)','최고기온(°C)','최대 순간 풍속(m/s)','최대 풍속(m/s)','평균 풍속(m/s)']]
최종_기상데이터_2012 = 기상데이터_2012[['지점명','일시','평균기온(°C)','최저기온(°C)','최고기온(°C)','최대 순간 풍속(m/s)','최대 풍속(m/s)','평균 풍속(m/s)']]
최종_기상데이터_2013 = 기상데이터_2013[['지점명','일시','평균기온(°C)','최저기온(°C)','최고기온(°C)','최대 순간 풍속(m/s)','최대 풍속(m/s)','평균 풍속(m/s)']]
최종_기상데이터_2014 = 기상데이터_2014[['지점명','일시','평균기온(°C)','최저기온(°C)','최고기온(°C)','최대 순간 풍속(m/s)','최대 풍속(m/s)','평균 풍속(m/s)']]
최종_기상데이터_2015 = 기상데이터_2015[['지점명','일시','평균기온(°C)','최저기온(°C)','최고기온(°C)','최대 순간 풍속(m/s)','최대 풍속(m/s)','평균 풍속(m/s)']]
최종_기상데이터_2016 = 기상데이터_2016[['지점명','일시','평균기온(°C)','최저기온(°C)','최고기온(°C)','최대 순간 풍속(m/s)','최대 풍속(m/s)','평균 풍속(m/s)']]
최종_기상데이터_2017 = 기상데이터_2017[['지점명','일시','평균기온(°C)','최저기온(°C)','최고기온(°C)','최대 순간 풍속(m/s)','최대 풍속(m/s)','평균 풍속(m/s)']]
최종_기상데이터_2018 = 기상데이터_2018[['지점명','일시','평균기온(°C)','최저기온(°C)','최고기온(°C)','최대 순간 풍속(m/s)','최대 풍속(m/s)','평균 풍속(m/s)']]

In [4]:

기상데이터_컬럼 = ['최종_기상데이터_2003','최종_기상데이터_2004','최종_기상데이터_2005','최종_기상데이터_2006','최종_기상데이터_2007','최종_기상데이터_2008','최종_기상데이터_2009','최종_기상데이터_2010','최종_기상데이터_2011','최종_기상데이터_2012','최종_기상데이터_2013','최종_기상데이터_2014','최종_기상데이터_2015','최종_기상데이터_2016','최종_기상데이터_2017','최종_기상데이터_2018']

In [5]:

기상데이터_2003.head()

Out[5]:

	지점	지점명	일시	평균기온(°C)	최저기온(°C)	최저기온 시각(hhmi)	최고기온(°C)	최고기온 시각(hhmi)	강수 계속시간(hr)	10분 최다 강수량(mm)	...	0.5m 지중온도(°C)	1.0m 지중온도(°C)	1.5m 지중온도(°C)	3.0m 지중온도(°C)	5.0m 지중온도(°C)	합계 대형증발량(mm)	합계 소형증발량(mm)	9-9강수(mm)	기사	안개 계속시간(hr)
0	90	속초	2003-01-01	-2.7	-7.3	2322	1.4	1359	NaN	NaN	...	NaN	NaN	NaN	NaN	NaN	NaN	NaN	NaN	NaN	NaN
1	90	속초	2003-01-02	-2.6	-8.1	308	2.3	1333	NaN	NaN	...	NaN	NaN	NaN	NaN	NaN	NaN	NaN	NaN	NaN	NaN
2	90	속초	2003-01-03	-1.4	-5.3	2322	2.9	1224	0.5	NaN	...	NaN	NaN	NaN	NaN	NaN	NaN	NaN	0.0	NaN	NaN
3	90	속초	2003-01-04	-8.0	-11.8	2357	-5.2	0	NaN	NaN	...	NaN	NaN	NaN	NaN	NaN	NaN	NaN	NaN	NaN	NaN
4	90	속초	2003-01-05	-10.9	-14.3	735	-6.4	1508	NaN	NaN	...	NaN	NaN	NaN	NaN	NaN	NaN	NaN	NaN	NaN	NaN

5 rows × 62 columns

In [6]:

기상데이터_2003.columns

Out[6]:

Index(['지점', '지점명', '일시', '평균기온(°C)', '최저기온(°C)', '최저기온 시각(hhmi)', '최고기온(°C)',
       '최고기온 시각(hhmi)', '강수 계속시간(hr)', '10분 최다 강수량(mm)', '10분 최다강수량 시각(hhmi)',
       '1시간 최다강수량(mm)', '1시간 최다 강수량 시각(hhmi)', '일강수량(mm)', '최대 순간 풍속(m/s)',
       '최대 순간 풍속 풍향(16방위)', '최대 순간풍속 시각(hhmi)', '최대 풍속(m/s)', '최대 풍속 풍향(16방위)',
       '최대 풍속 시각(hhmi)', '평균 풍속(m/s)', '풍정합(100m)', '최다풍향(16방위)',
       '평균 이슬점온도(°C)', '최소 상대습도(%)', '최소 상대습도 시각(hhmi)', '평균 상대습도(%)',
       '평균 증기압(hPa)', '평균 현지기압(hPa)', '최고 해면기압(hPa)', '최고 해면기압 시각(hhmi)',
       '최저 해면기압(hPa)', '최저 해면기압 시각(hhmi)', '평균 해면기압(hPa)', '가조시간(hr)',
       '합계 일조시간(hr)', '1시간 최다일사 시각(hhmi)', '1시간 최다일사량(MJ/m2)', '합계 일사량(MJ/m2)',
       '일 최심신적설(cm)', '일 최심신적설 시각(hhmi)', '일 최심적설(cm)', '일 최심적설 시각(hhmi)',
       '합계 3시간 신적설(cm)', '평균 전운량(1/10)', '평균 중하층운량(1/10)', '평균 지면온도(°C)',
       '최저 초상온도(°C)', '평균 5cm 지중온도(°C)', '평균 10cm 지중온도(°C)',
       '평균 20cm 지중온도(°C)', '평균 30cm 지중온도(°C)', '0.5m 지중온도(°C)',
       '1.0m 지중온도(°C)', '1.5m 지중온도(°C)', '3.0m 지중온도(°C)', '5.0m 지중온도(°C)',
       '합계 대형증발량(mm)', '합계 소형증발량(mm)', '9-9강수(mm)', '기사', '안개 계속시간(hr)'],
      dtype='object')

In [7]:

최종_기상데이터_2003.isnull().sum()

Out[7]:

지점명              0
일시               0
평균기온(°C)         0
최저기온(°C)         0
최고기온(°C)         0
최대 순간 풍속(m/s)    0
최대 풍속(m/s)       0
평균 풍속(m/s)       0
dtype: int64

In [ ]: