TIL(Today I Learned) 20200909

안녕하세요, 츄르 사려고 코딩하는 집사! 코집사입니다.

---

1. 빅데이터 분석의 종류와 기술

2. 인포그래픽과 빅데이터 시각화 차이

3. UnicodeDecodeError: 'utf-8' codec can't decode byte 0xb1 in position 0: invalid start byte 문제 해결

---

빅데이터 분석의 종류와 기술

---

1) 단순분석(정형분석)

> 주로 Excel이나 SQL에 의해 4칙 연산 및 그에 따른 그래프, 장표를 만드는 것

> 이미 그래프와 장표의 형식이 정해져 있음

> Hadoop에서는 이러한 단순 분석에 MR(Map&Reduce) 프로그래밍을 해야 함.

> SQL 하나의 문장으로 같은 결과를 처리할 수 있음

 

2) Ad-hoc분석(임의 분석)

> 미리 정해진 형식에 없는 분석

> Excel 같으면 데이터 가공을 다시 하고, SQL 같은 경우는 다시 SQL를 만들어야 함.

> 최악의 경우에는 데이터 수집부터 다시 해야 함

> Hadoop에서도 MR 프로그래밍을 다시 짜야함

 

3) OLAP분석(On Line Analytical Processing 분석)

> 다차원 분석이라고도 하며, 차원과 팩트를 미리 정해 놓은 점에서는 정형분석이라고 할 수 있음

> RDB에서 SQL을 활용해서 나오는 결과

 

4) 실시간 분석

> SQL로 쿼리를 던지면 바로 답이 나오는 경우.

> 데이터는 이미 하둡에 들어있어야 함

> RDB 같은 경우는 실시간 분석이라고 할 수 있음

 

5) 통계분석

> R, SAS, SPSS 등의 통계 패키지를 활용한 분석

> 통계알고리즘 및 데이터 마이닝 기법을 적용하여 예측, 시뮬레이션 등에 활용

> 빅데이터 분석에도 활용

 

6) 머신러닝 예측

> 다양한 분석 및 예측모델을 만들어서 분석

---

인포그래픽과 빅데이터 시각화 차이

---

yongku.tistory.com/entry/%EC%9D%B8%ED%8F%AC%EA%B7%B8%EB%9E%98%ED%94%BD%EA%B3%BC-%EB%B9%85%EB%8D%B0%EC%9D%B4%ED%84%B0-%EC%8B%9C%EA%B0%81%ED%99%94%EC%9D%98-%EC%B0%A8%EC%9D%B4

인포그래픽과 빅데이터 시각화의 차이

---

UnicodeDecodeError: 'utf-8' codec can't decode byte 0xb1 in position 0: invalid start byte 문제 해결

---

yongku.tistory.com/entry/UnicodeDecodeError-utf-8-codec-cant-decode-byte-0xb1-in-position-0-invalid-start-byte

UnicodeDecodeError: 'utf-8' codec can't decode byte 0xb1 in position 0: invalid start byte

---