[ADsP] 데이터 마이닝 개요

1. 데이터 이해 
1-1. 데이터의 이해 
1-2. 데이터의 가치와 미래 
1-3. 가치 창조를 위한 데이터 사이언스와 전략 인사이트 

2. 데이터 분석 기획 
2-1. 데이터 분석 기획의 이해 
2-2. 분석 마스터 플랜 

3. 데이터 분석 
3-1. R 기초와 데이터 마트 
3-2. 통계분석 
3-3. 정형 데이터 마이닝 
  3-3-1. 데이터 마이닝 개요 
  3-3-2. 분류 분석 
  3-3-3. 군집 분석 
  3-3-4. 연관 분석

 

 

#데이터 마이닝의 정의

 - 거대한 양의 데이터 속에서 쉽게 드러나지 않는 유용한 정보를 찾아내는 과정

 - 기업이 보유한 고객, 거래, 상품데이터 등과 이외의 기타 외부 데이터를 기반으로 감춰진 지식, 새로운 규칙 등을 발견하고 이를 비즈니스 의사결정 등에 활용하는 일련의 작업

 

 

#데이터 마이닝의 기능

 1) 분류(Classification)

  - 새롭게 나타난 현상을 검토하여 기존의 분류, 정의된 집합에 배정하는 것

  - 잘 정의된 분류기준과 선분류되어진 검증 집합이 필요

  - 기법 : 의사결정나무, memory-based reasoning, link analysis 등

 

 2) 추정(Estimation)

  - '수입, 수준, 신용카드 잔고' 등 연속된 변수의 값을 추정하는 것

  - 주어진 데이터를 활용해 알려지지 않은 결과값을 추정한다

  - 기법 : 신경망 모형

 

 3) 예측(Prediction)

  - 분류와 추정과 유사하지만, 미래의 값이라는 차이가 있다

  - 예측 작업의 정확성을 알아보는 방법은 기다리고 지켜보는 것 뿐이다.

  - 기법 : 장바구니 분석, memory-based reasoning, 의사결정나무, 신경망 등이 모두 사용될 수 있음

                         (입력 데이터의 성격에 따라 기술의 사용이 결정된다.)

 

 4) 연관 분석(Association Analysis)

  - '같이 팔리는 물건'과 같이 아이템의 연관성을 파악하는 분석

  - 기법 : 장바구니 분석

 

 5) 군집(Clustering)

  - 모집단을 동질성을 지닌 그룹으로 세분화하는 것

  - 선분류 되어있는 기준에 의존하지 않는다는 점이 분류와의 차이

  - 레코드 자체가 지니고 있는 다른 레코드와의 유사성에 의해 그룹화되고, 이질성에 의해 세분화된다.

  - 주로 데이터 마이닝이나 모델링의 준비단계로서 사용됨

 

 6) 기술(Description)

  - 데이터가 가지고 있는 의미를 단순하게 기술하여, 의미를 파악할 수 있도록 함

  - 데이터가 암시하는 바에 대해 설명이 가능해야 하며, 설명에 대한 답을 찾아낼 수 있어야 한다.

 

 

#데이터 마이닝 5단계

 1) 목적 정의

   - 데이터 마이닝을 통해 무엇을 왜 하는지 명확한 목적을 설정해야 함

   - 이해 관계자 모두가 목적에 동의하고 이해할 수 있어야 함

   - 1단계부터 전문가가 참여하여 목적에 맞는 데이터 마이닝 모델, 기법, 필요 데이터를 정의하는 것이 바람직

      

 2) 데이터 준비

   - 데이터 마이닝 수행에 필요한 데이터 수집

   - IT부서와의 사전 협의, 일정 조율 필요

   - 데이터 준비 -> 정제, 품질보증 -> 데이터 보강 등의 작업을 거친다.

 

  3) 데이터 가공

  - 모델링 목적에 따라 변수를 정의하고, 소프트웨어 적용에 적합하도록 데이터를 가공한다.

       

 4) 데이터 마이닝 기법의 적용

  - 데이터 마이닝 기법을 적용하는 단계

 - 어떤 기법을 활용하고 어떤 값을 입력하느냐 등에 따라 성과가 달라지므로 데이터분석에 대한 전문성이 필요

 

 5) 검증

 - 추출된 정보를 검증하는 단계

 - 테스트 마케팅이나 과거 데이터 활용

 - 검증 후에는 자동화 방안을 협의하여 업무에 적용하도록 함

 - 보고서 작성 및 경영진에게 기대효과(연간 추가수익, 투자대비성과(ROI) 등)를 알림

 

 

(참고사이트)

https://logoflife.tistory.com/28