빅데이터 분석/빅데이터 분석 학습 검색 결과
18 개의 검색 결과가 있습니다.
빅데이터 분석/빅데이터 분석 학습

20190520 빅데이터의 이해 및 활용 - 군집분석

20190520 빅데이터의 이해 및 활용 - 군집분석 1. 군집분석 - 일련의 관측값들을 여러 개의 부분집합들로 할당하여 나누는 것. - 각 집합별 특성을 파악하여 전체 자료 구조에 대한 이해를 높임 - 이 때, 이 부분집합들을 군집(cluster)라 함. - 대표적인 비지도학습(unsupervised learning)의 일종 2. 군집분석 vs 분류분석 1) 군집분석 - 범주에 대한 사전정보가 없는 경우 - 모든 변수가 독립변수 - 군집분석은 목표변수(반응변수)의 부재로 인하여 명확한 평가가 어려움 2) 분류분석 - 범주에 대한 사전정보가 존재 - 독립변수와 (범주형)반응변수 - 분류분석은 평가가 비교적 명확함 3. 군집분석의 원리 - 각 군집내 개체들은 서로 유사하도록 - 서로 다른 군집간에는 이질성..

2019. 5. 20.
빅데이터 분석/빅데이터 분석 학습

20190513 빅데이터 이해 및 활용 - (2)

분류분석이란? 주어진 입력변수에 근거하여 범주형 반응변수(0,1,2,3,4 등)를 예측하는 작업이다. 예 : - 신용카드 사용자의 다양한 변수를 사용하여 사용자가 디폴트(default)할 확률을 계산한다. - 투자할 회사의 다양한 속성변수를 사용하여 투자가 성공할 확률을 계산한다. - 웹 방문자 정보, 사이트 정보, 방문시간 등을 사용하여 특정 광고를 클릭할 확률을 계산한다. kNN I kNN (k-Nearest Neighbors) : k개의 근접자료를 이용하여 예측하는 기법 - 알고리즘 적용 1) k를 정한다. 2) k개의 가장 가까운 포인트 값들 중, 다수결로 새로운 데이터 포인트의 예측값을 정한다. 3) 단, 동점이 발생했을 경우, 단독 1등이 생길 때까지 k를 하나씩 줄인다. 동점을 처리하는 방법..

2019. 5. 13.
빅데이터 분석/빅데이터 분석 학습

20190513 빅데이터 이해 및 활용

기계학습 I 모델(model) : 다양한 변수 간의 수학적(혹은 확률적) 관계를 표현한 것 I 기계학습(machine learning) : 데이터를 통해 모델 (model)을 만들고 사용하는 것 I 예 : I 이메일이 스팸 메일인지 아닌지 예측 I 신용카드 사기 예측 I 쇼핑 고객이 클릭할 확률이 높은 광고 예측 I 슈퍼볼에서 우승할 미식 축구팀 예측 I 지도 학습(supervised learning) : 학습에 사용될 데이터에 정답이 포함되어 있음 I 비지도 학습(unsupervised learning) : 정답이 포함되어 있음 I 준지도 학습(semi-supervised learning) : 데이터의 일부에만 정답이 포함되어 있음 I 온라인 학습(online learning) : 새로 들어오는 데이터..

2019. 5. 13.
빅데이터 분석/빅데이터 분석 학습

20190408 빅데이터 분석 이해 - 통계 기초

중심 경향성 - 중심을 나타내는 방법 - 데이터의 중심위치를 나타낸다. 평균 : 자료의 값을 다 더해서 갯수로 나눈 것 - 평균의 단점은 자료에 이상치가 많으면 제대로 중심의 위치를 반영하지 못한다. - 데이터의 값을 데이터 포인트의 개수로 나눈 값. - 이상치에 영향을 많이 받음. 중앙값(중위수) : 자료를 크기 순으로 정렬했을 떄의 중앙에 있는 값. - 자료의 갯수가 홀수개이면 중앙값은 쉽게 찾을 수 있음 가운데 위치하는것 - 하지만, 자료의 갯수가 짝수개면 양쪽을 더해 평균을 내면 된다. 최빈값 : 데이터에서 가장 자주 나오는 값 분위수 : 데이터의 특정 백분위보다 낮은 값. 전체 갯수 * 퍼센트 산포도 : 데이터가 얼마나 퍼져 있는지를 나타냄 범위 : 최댓값과 최솟값의 차이-> max(x) - m..

2019. 4. 8.
빅데이터 분석/빅데이터 분석 학습

빅데이터 이해 및 활용 20190401

def vector_add(v, w): return [v_i+w_i for v_i, w_i in zip(v,w)] def vector_sum(vectors): result = vectors[0] for vector in vectors[1:]: result = vector_add(result, vector) return result vectors=[[170,65,30],[180,74,28],[168,60,20]] vector_sum(vectors) vector_add(vectors[0],vectors[1]) def scalar_multiply(c,v): return [c*v_i for v_i in v] def vector_mean(vectors): n = len(vectors) return scalar_m..

2019. 4. 1.
빅데이터 분석/빅데이터 분석 학습

BEPS R을 이용한 빅데이터 분석

안녕하세요, 츄르 사려고 코딩하는 집사 코집사입니다. 이번 글은 BEPS 데이터를 가지고 R을 이용한 간단한 분석입니다. 1. BEPS를 구성하는 변수에 대한 설명 - BEPS는 1997년부터 2001년까지 영국 선거 관리 위원회로부터 나온 데이터 1) vote - Party choice(당 선택) : Conservative, Labour, or Liberal Democrat - Conservative(보수당) - Labour(노동당) - Liberal Democrat(자유민주당) 2) age - 나이 3) economic.cond.national(국가 경제 상황) - 현재 국가 경제 상황 평가(1부터 5로 평가) 4) economic.cond.household(가정 경제 상황) - 현재 가정 경제 상황..

2019. 3. 5.