[ADsP] 데이터 분석 기획의 이해

1. 데이터 이해 
1-1. 데이터의 이해 
1-2. 데이터의 가치와 미래 
1-3. 가치 창조를 위한 데이터 사이언스와 전략 인사이트 

2. 데이터 분석 기획 
2-1. 데이터 분석 기획의 이해 
2-2. 분석 마스터 플랜 

3. 데이터 분석 
3-1. R 기초와 데이터 마트 

3-2. 통계분석 

3-3. 정형 데이터 마이닝 

 

 

데이터 분석 기획의 이해 

분석 기획 방향성 도출

분석 방법론

분석 과제 발굴

분석 프로젝트 관리 방안

 

분석 기획 방향성 도출

#분석 기획의 정의

- 실제 분석을 수행하기에 앞서 분석을 수행할 과제의 정의 및 의도했던 결과를 도출할 수 있도록 하는 방안을 사전에 계획하는 일련의 작업

 

- 분석 과제 및 프로젝트를 직접 수행하는 것은 아니지만, 어떠한 목표를 달성하기 위하여 어떤 데이터를 가지고 어떤 방식으로 수행할지에 대한 일련의 계획을 수립하는 작업이기 때문에 성공적인 분석 결과를 도출하기 위한 중요한 사전 작업

 

- 분석을 기획한다는 것은 해당 문제 영역에 대한 전문성 역량 및 수학/통계학적 지식을 활용한 분석 역량과 분석의 도구인 데이터 및 프로그래밍 기술 역량에 대한 균형 잡힌 시각을 가지고 방향성 및 계획을 수립해야 한다는 것을 의미

 

- 목표 시점 별로는 당면한 과제를 빠르게 해결하는 "과제 중심적인 접근 방식"과 지속적인 분석 내재화를 위한 "장기적인 마스터 플랜 방식"으로 나눌 수 있다.

 

- 분석기획에서는 문제 해결(Problem solving)을 위한 단기적인 접근 방식과 분석 과제 정의(Problem definition)을 위한 중장기적인 마스터플랜 접근방식을 융합하여 적용하는 것이 중요하다.

 

- 의미 있는 분석을 위해서는 분석 기술, IT 및 프로그래밍, 분석 주제에 대한 도메인 전문성, 의사소통이 중요하고 분석대상 및 방식에 따른 다양한 분석 주제를 과제 단위 혹은 마스터 플랜 단위로 도출할 수 있어야 한다.

 

 

#분석 기획 시 고려사항

(1) 데이터

- 분석을 위한 데이터의 확보가 우선적이며, 데이터의 유형에 따라서 적용 가능한 솔루션 및 분석 방법이 다르기 때문에 데이터에 대한 분석이 선행적으로 이루어져야 한다.
예) 반정형 데이터: 센서 중심으로 스트리밍되는 머신 데이터

 

(2) 분석을 통해서 가치가 창출될 수 있는 적절한 활용방안과 활용 가능한 유즈케이스의 탐색이 필요하다.

- 기존에 잘 구현되어 활용되고 있는 유사
분석 시나리오 및 솔루션을 최대한 활용하는 것이 중요하다.

 

(3) 분석을 수행함에 있어서 발생하는 장애요소들에 대한 사전 계획 수립이 필요하다.

- 일회성 분석으로 그치지 않고 조직의 역량으로 내재화하기 위해서는 충분하고 계속적인 교육 및 활용방안 등의 변화 관리가 고려되어야 한다.

 

 

분석 방법론

#방법론의 적용 업무의 특성에 따른 모델

 (1) 폭포수 모델(Waterfall model)
  - 단계를 순차적으로 진행하는 방법으로, 이전 단계가 완료되어야 다음 단계로 진행될 수 있으며 문제가 발견되면 피드백 과정이 수행

 (2) 나선형 모델(Spiral model)

  - 반복을 통해 점증적으로 개발하는 방법으로 처음 시도하는 프로젝트에 적용이 용이하지만 관리 체계를 효과적으로 갖추지 못한 경우 복잡도가 상승하여 프로젝트 진행이 어려움

 (3) 프로토타입 모델(Waterfall model)

  - 폭포수 모델의 단점을 보완하기 위해 점진적으로 시스템을 개발해 나가는 접근 방법으로 고객의 요구를 완전하게 이해하고 있지 못하거나 완벽한 요구 분석의 어려움을 해결하기 위하여 개발의 일부분만을 우선 개발한다. 사용자는 시험 사용을 하게 되고 이를 통해서 요구를 분석하거나 요구 정당성을 점검, 성능을 평가하여 그 결과를 개선 작업에 반영

 

 

#방법론의 구성

- 일반적으로 방법론은 계층적 프로세스 모델의 형태로 구성

(1) 단계(Phase): 최상위 계층. 프로세스 그룹을 통하여 완성된 단계별 산출물이 생성

(2) 태스크(Task): 단계를 구성하는 단위 활동으로써 물리적 또는 논리적 단위로 품질검토의 항목이 된다.

(3) 스텝(Step): 단계는 기준선으로 설정되어 관리되어야 하며 버전관리 등을 통해 통제

 

 

#KDD 분석 방법론

- 프로파일링 기술을 기반으로 데이터로부터 통계적 패턴이나 지식을 찾기 위해 활용할 수 있도록 체계적으로 정리한 데이터 마이닝 프로세스로써 데이터마이닝, 기계학습, 인공지능, 패턴인식, 데이터 시각화 등에서 응용될 수 있는 구조를 가지고 있다.

- 데이터에서 패턴을 찾는 과정을 9개의 프로세스로 제시

(1) 분석 대상 비즈니스 도메인의 이해

(2) 분석 대상 데이터셋 선택과 생성

(3) 데이터에 포함되어 있는 노이즈(Noise)와 이상값(Outlier) 등을 제거하는 정제작업이나 전처리작업 실시

(4) 분석 목적에 맞는 변수를 찾고 필요시 데이터의 차원을 축소하여 데이터를 변경

(5) 분석 목적에 맞는 데이터마이닝 기법 선택

(6) 분석 목적에 맞는 알고리즘 선택

(7) 데이터마이닝 실행

(8) 데이터마이닝 결과에 대한 해석

(9) 데이터마이닝에서 발견된 지식 활용

 

 

#KDD 분석 절차

(1) 데이터셋 선택
- 데이터셋 선택에 앞서 분석 대상 비즈니스 도메인의 대한 이해와 프로젝트 목표 설정

- 데이터베이스 또는 원시 데이터에서 분석에 필요한 데이터 선택

- 데이터마이닝에 필요한 목표 데이터 구성

 

(2) 데이터 전처리
- 추출된 분석 대상용 데이터셋에 포함되어 있는 잡음과 이상치, 결측치를 식별하고 필요시 제거하거나 의미있는 데이터로 재처리하여 데이터셋을 정제
- 데이터 전처리 단계에서 추가로 요구되는 데이터 셋이 있을 경우 데이터셋 선택 프로세스 재실행

 

(3) 데이터 변환
- 데이터 전처리 과정을 통해 정제된 데이터에 분석 목적에 맞는 변수를 생성, 선택하고 데이터의 차원을 축소하여 효율적으로 데이터마이닝을 할 수 있도록 변경
- 학습용 데이터와 시험용 데이터로 분리

 

(4) 데이터마이닝
- 학습용 데이터를 이용해서 분석 목적에 맞는 데이터마이닝 기법을 선택하고 적절한 알고리즘을 적용하여 데이터마이닝 작업 실행

- 필요에 따라 데이터 전처리와 데이터 변환 프로세스를 추가로 실행하여 최적 결과 산출

 

(5) 결과 평가
- 데이터마이닝 결과에 대한 해석과 평가 그리고 분석 목적과의 일치성을 확인

- 활용 방안 마련 및 필요에 따라 이전 프로세스를 반복 수행

 

 

#CRISP-DM 방법론
- 계층적 프로세스 모델로써 4개 레벨로 구성된다.

- 최상위 레벨은 여러 개의 단계(Phases)로 구성되고 각 단계는 일반화 태스크(Generic tasks)를 포함한다. 일반화 태스크는 데이터마이닝의 단일 프로세스를 완전하게 수행하는 단위이며, 일반화 태스크는 구체적으로 수행하는 레벨인 세분화 태스크(Specialized tasks)로 구성된다.

- 마지막 레벨인 프로세스 실행(process instances)은 데이터마이닝을 위한 구체적인 실행을 포함한다.

 

 

#CRISP-DM 프로세스

(Wikipedia)

- 6단계로 구성되어 있으며, 각 단계는 한 방향으로 구성되어 있지 않고 단계 간 피드백을 통해 단계별 완성도를 높이게 되어 있다.

(1) 업무이해
- 비즈니스 관점에서 프로젝트의 목적과 요구사항을 이해하기 위한 단계로써 도메인 지식을 데이터 분석을 위한 문제정의로 변경하고 초기 프로젝트 계획을 수립하는 단계

- 업무 목적 파악, 상황 파악, 데이터 마이닝 목표 설정, 프로젝트 계획 수립

(2) 데이터 이해
- 분석을 위한 데이터를 수집하고 데이터 속성을 이해하기 위한 과정으로 데이터 품질에 대한 문제점을 식별하고 숨겨져 있는 인사이트를 발견하는 단계이다.

- 초기 데이터 수집, 데이터 기술 분석, 데이터 탐색, 데이터 품질 확인

(3) 데이터 준비
- 분석을 위해 수집된 데이터에서 분석 기법에 적합한 데이터로 편성하는 단계로써 많은 시간이 소요될 수 있다.

- 데이터셋 선택, 데이터 정제, 데이터셋 편성, 데이터 통합

(4) 모델링
- 다양한 모델링 기법과 알고리즘을 선택하고 모델링 과정에서 사용되는 파라미터를 최적화해 나가는 단계이다. 데이터셋이 추가로 필요한 경우 데이터 준비 단계를 반복 수행할 수 있으며, 모델링 결과를 테스트용 데이터셋으로 평가하여 모델 과적합 문제를 확인한다.

- 모델링 기법 선택, 모델 테스트 계획 설계, 모델 작성, 모델 평가

(5) 평가
- 모델링 결과가 프로젝트 목적에 부합하는지 평가하는 단계로 데이터마이닝 결과를 최종적으로 수용할 것인지 판단한다.

- 분석결과 평가, 모델링 과정 평가, 모델 적용성 평가

(6) 전개
- 모델링과 평가 단계를 통해 완성된 모델을 실제 업무에 적용하기 위한 계획을 수립하고 모니터링과 모델의 유지보수 계획을 마련한다. 모델은 적용되는 비즈니스 도메인의 특성, 입력되는 데이터 품질 편차, 운영모델의 평가 기준에 따라 생명주기가 다양하므로 상세한 전개 계획이 필요하다.

- 프로젝트 종료 관련 프로세스를 수행하여 프로젝트를 마무리한다.

- 전개 계획 수립, 모니터링과 유지보수 계획 수립, 프로젝트 종료보고서 작성, 프로젝트 리뷰

 

 

#빅데이터 분석 방법론

- 빅데이터를 분석하기 위한 방법론은 계층적 프로세스 모델로써 3계층으로 구성된다.

- 최상위 계층인 단계에서는 프로세스 그룹을 통하여 완성된 단계별 산출물이 생성되며, 각 단계는 기준선으로 설정되어 관리되어야 한다. 또한 버전관리 등을 통해 통제해야 한다.

- 각 단계는 여러 개의 태스크로 구성. 각 태스크는 단계를 구성하는 단위 활동이며 물리적 또는 논리적 단위로 품질 검토의 항목

- 스텝은 입력자료, 처리 및 도구, 출력자료로 구성된 단위 프로세스이다.

- 빅데이터 분석 방법론은 분석 기획, 데이터 준비, 데이터 분석, 시스템 구현, 평가 및 전개의 5단계로 구성되어 있다.

 

(1) 분석 기획

- 비즈니스 도메인과 문제점을 인식하고 분석 계획 및 프로젝트 수행계획을 수립한다.

· 비즈니스 이해 및 범위 설정
- 비즈니스에 대한 충분한 이해와 도메인에 대한 문제점을 파악한다. 업무 매뉴얼 및 업무 전문가와의 대화를 통해 프로젝트 범위를 명확하게 하기 위한 구조화된 명세서를 작성하게 된다.

· 프로젝트 정의 및 계획 수립
- 빅데이터 분석 프로젝트 추진 목표를 명확하게 정의하고 구체화하기 위하여 모델의 운영 이미지를 설계. 또한 모델 평가 기준을 설정함으로써 프로젝트 정의를 명확하게 한다.

- 데이터 확보 계획, 빅데이터 분석 방법, 일정계획, 예산계획, 품질계획, 인력구성 계획, 의사소통 계획 등을 포함하는 프로젝트 수행 계획을 작성한다.

· 프로젝트 위험계획 수립
- 빅데이터 분석 프로젝트는 데이터 획득 및 활용에 현실적으로 많은 어려움이 있다. 프로젝트를 진행하면서 발생 가능한 모든 위험을 발굴하여 사전에 대응 방안을 수립함으로써 프로젝트 진행의 완전성을 높인다. 

 

(2) 데이터 준비

- 비즈니스 요구사항과 데이터 분석에 필요한 원천 데이터를 정의하고 준비하는 단계이다.

· 필요 데이터 정의
- 정형·비정형·반정형 등의 모든 내·외부 데이터를 포함하고 데이터의 속성, 데이터 오너, 데이터 관련 시스템 담당자 등을 포함하는 데이터 정의서를 작성한다. 데이터 정의서를 이용하여 구체적인 데이터 획득 방안을 상세하게 수립함으로써 데이터 획득 과정에서 발생하는 프로젝트 지연을 방지한다.

· 데이터 스토어 설계
- 프로젝트의 목적을 파악하고 필요한 데이터를 정의한 후 데이터 획득 방안이 수립되면 데이터를 저장하기 위한 전사 차원의 데이터 스토어를 설계한다. 데이터 스토어는 정형·비정형·반정형 데이터를 모두 저장할 수 있도록 설계한다.

· 데이터 수집 및 정합성 점검
- 저장된 데이터는 데이터의 품질을 확보하기 위한 정합성 검증을 실시하고 데이터 거버넌스에 근거하여 메타 데이터 및 데이터 사전 등이 작성되고 적용되고 있는지 주기적으로 확인한다.

 

(3)데이터 분석

- 원천 데이터를 분석용 데이터 셋으로 편성하고 다양한 분석 기법과 알고리즘을 이용하여 데이터를 분석하는 단계. 분석 단계를 수행하는 과정에서 추가적인 데이터 확보가 필요한 경우 데이터 준비 단계로 피드백하여 두 단계를 반복 진행한다.

· 분석용 데이터 준비
- 분석에 필요한 데이터셋을 준비하기 위해 프로젝트 목표와 도메인을 이해하고 비즈니스 룰을 확인한다. 전사 차원으로 구축된 데이터 스토어에서 분석용 데이터셋을 추출하고 데이터베이스나 구조화된 데이터 형태로 편성한다.

· 텍스트 분석
- 텍스트로부터 분석 목적에 맞는 적절한 모델을 구축한다. 텍스트 분석 결과는 모델링 태스크와 연동하여 프로젝트 목적에 부합되는 최종 모델을 구축하기도 한다.

· 탐색적 분석
- 분석용 데이터 셋에 대한 정합성 검토, 데이터 요약, 데이터 특성을 파악하고 모델링에 필요한 데이터를 편성한다.

- EDA는 다양한 데이터 시각화를 활용하여 데이터의 가독성을 명확히 하고 데이터의 형상 및 분포 등 데이터 특성을 파악하는 태스크이다.

· 모델링
- 분석용 데이터를 이용한 가설 설정을 통해 통계 모델을 만들거나 기계학습을 이용한 데이터의 분류, 예측, 군집 등의 기능을 수행하는 모델을 만드는 과정

- 기계학습은 지도학습과 비지도학습 등으로 나뉘어 다양한 알고리즘을 적용할 수 있다. 모델링을 효과적으로 진행하기 위해서는 모델링 전에 데이터셋을 훈련용과 시험용으로 분할함으로써 모델의 과적합을 방지하거나 모델의 일반화에 이용된다.

· 모델 평가 및 검증
- 분석 기획 단계에서 작성된 프로젝트 정의서의 평가 기준에 따라 모델의 완성도를 평가한다. 모델 검증은 분석용 데이터 셋이 아닌 별도의 데이터 셋으로 모델의 객관성과 실무 적용성을 검증해야 한다. 검증 스텝에서 요구되는 성능 목표에 미달하는 경우 모델링 태스크를 반복하는 등 모델 튜닝 작업을 수행한다.

 

(4) 시스템 구현
- 분석 기획에 맞는 모델을 도출하고 이를 운영중인 가동 시스템에 적용하거나 시스템 개발을 위한 사전 검증으로 프로토타입 시스템을 구현한다.

· 설계 및 구현
- 모델링 결과를 시스템으로 구현하기 위해서는 모델링 태스크에서 작성된 알고리즘 설명서와 데이터 시각화 보고서를 이용하여 시스템 및 데이터 아키텍처 설계, 사용자 인터페이스 설계를 진행한다. 가동 중인 시스템에 적용하기 위해서는 운영 시스템에 대한 분석도 수행한다.

- 시스템 설계서를 바탕으로 BI 패키지를 활용하거나 새로운 프로그램 코딩을 통해 시스템을 구축한다.

· 시스템 테스트 및 운영
- 시스템에 구현된 모델은 테스트를 통해 가동 중인 시스템에 적용하고 효율적인 운영을 위한 프로세스를 진행한다.

 

(5) 평가 및 전개

- 데이터 분석 및 시스템 구현 단계를 수행한 후 프로젝트의 성과를 평가하고 정리(Lesson learned)하거나 모델의 발전 계획을 수립하여 차기 분석 기획으로 전달하고 프로젝트를 종료하는 단계이다.

· 모델 발전 계획 수립
- 모델의 생명 주기를 설정하고 주기적인 평가를 실시하여 모델을 유지보수 하거나 재구축하기 위한 방안을 마련한다. 모델 업데이트를 자동화하는 방안을 수립하여 적용할 수도 있다.

· 프로젝트 평가 및 보고
- 분석 기획 단계에서 설정된 기준에 따라 프로젝트의 성과를 정량적, 정성적으로 평가하고 프로젝트 진행 과정에서 산출된 지식, 프로세스, 출력자료를 지식자산화 하고 프로젝트 최종 보고서를 작성한 후 의사소통 계획에 따라 보고함으로써 프로젝트를 종료한다.

 

 

분석 과제 발굴

#하향식(Top-down) 접근 방식

(1) 문제 탐색 (Problem discovery)
- 전체적인 관점의 기준 모델을 활용하여 빠짐없이 문제를 도출하고 식별하는 것이 중요

- 문제를 해결함으로써 발생하는 가치에 중점을 두는 것이 중요하다.

· 비즈니스 모델 기반 문제 탐색
- 기업 내·외부 환경을 포괄하는 비즈니스 모델이라는 틀을 활용하여 문제를 발굴하고, 기회를 추가로 도출하는 작업을 수행한다.

- 현재 사업을 영위하고 있는 환경, 경쟁자, 보유하고 있는 역량, 제공하고 있는 시장을 넘어서 거시적 관점의 요인, 경쟁자의 동향, 시장의 니즈 변화, 역량의 재해석 등 새로운 관점의 접근을 통해 새로운 유형의 분석 기회 및 주제 발굴을 수행해야 한다.

· 외부 참조 모델 기반 문제 탐색
- 데이터 분석을 통한 인사이트(Insight)를 도출하고 업무에 활용하는 사례들을 발굴, 자사의 업종 및 업무 서비스에 적용하며 평상시 지속적인 조사와 데이터 분석을 통한 가치 발굴 사례를 정리하여 풀(Pool)로 만들어 둔다면 과제 발굴 및 탐색 시 빠르고 의미있는 분석 기회도출이 가능하다.

· 분석 유즈 케이스 정의
- 현재의 비즈니스 모델 및 유사·동종사례 탐색을 통해서 빠짐없이 도출한 분석 기회들을 구체적인 과제로 만들기 전에 분석 유즈 케이스로 표기하는 것이 필요하다.

- 분석 유즈 케이스는 풀어야 할 문제에 대한 상세한 설명 및 해당 문제를 해결했을 때 발생하는 효과를 명시함으로써 향후 데이터 분석 문제로의 전환 및 적합성 평가에 활용

 

(2) 문제 정의 (Problem definition)
- 식별된 비즈니스 문제를 데이터의 문제로 변환하여 정의하는 단계이며, 앞서 수행한 문제 탐색의 단계가 무엇을(What) 어떤 목적으로(Why) 수행해야 하는지에 대한 관점이었다면, 본 단계에서는 이를 달성하기 위해 필요한 데이터 및 기법(How)을 정의하기 위한 데이터 분석의 문제로의 변환을 수행

- 분석을 수행하는 당사자 뿐만 아니라 해당 문제가 해결 되었을 때 효용을 얻을 수 있는 최종 사용자 관점에서 이루어져야 한다.

- 데이터 분석 문제가 잘 정의되었을 때 필요한 데이터의 정의 및 기법 발굴이 용이하기 때문에 가능한 정확하게 분석의 관점으로 문제를 재정의할 필요가 있다.

 

(3) 해결방안 탐색(Solution search)
- 기존 정보시스템의 단순한 보완으로 분석이 가능한지 고려

- 엑셀 등의 도구로 분석이 가능한지 고려

- 하둡 등 분산병렬처리를 활용한 빅데이터 분석 도구를 통해 보다 체계적이고 심도 있는 방안 고려

- 분석 역량을 기존에 가지고 있는 지의 여부를 파악하여 보유하고 있지 않은 경우에는 교육이나 전문 인력 채용을 통한 역량을 확보하거나 분석 전문 업체를 활용하여 과제를 해결하는 방안에 대해 사전 검토를 수행한다.

 

(4) 타당성 검토(Feasibility study)
- 도출된 분석 문제나 가설에 대한 대안을 과제화하기 위해서는 경제적, 기술적 및 데이터 타당성 분석이 수행되어야 한다.

- 도출된 여러 대안 중에서 평가 과정을 거쳐 가장 우월한 대안을 선택

- 도출한 데이터 분석 문제 및 선정된 솔루션 방안을 포함

- 분석과제 정의서의 형태로 명시하는 후속작업을 시행

- 프로젝트 계획의 입력 물로 활용

 

 

#상향식(Bottom-up) 접근 방식

(1) 기존 하향식 접근법의 한계를 극복하기 위한 분석 방법론

- 하향식 접근 방식은 문제의 구조가 분명하고 문제를 해결하고 해결책을 도출하기 위한 솔루션 도출에는 유효하지만 새로운 문제의 탐색에는 한계가 있다.

- 따라서 기존의 하향식 접근 방식은 최근 복잡하고 다양한 환경에서 발생하는 문제에는 적합하지 않을 수 있다.

- 통상적인 관점에서는 분석적으로 사물을 인식하려는 "Why"를 강조하지만, 이는 우리가 알고 있다고 가정하는 것이기 때문에 문제와 맞지 않는 솔루션인 경우 오류가 발생할 소지가 있다. 그렇기 때문에, 답을 미리 내는 것이 아니라 사물을 있는 그대로 인식하는 "What" 관점에서 보아야 한다는 것이다.

- 객관적으로 존재하는 데이터 그 자체를 관찰하고 실제적으로 행동에 옮김으로써 대상을 좀 더 잘 이해하는 방식으로의 접근을 수행하는 것이다.

· 비지도 학습(Unsupervised learning)
- 비지도 학습은 데이터 분석의 목적이 명확히 정의된 형태의 특정 필드의 값을 구하는 것이 아니라 데이터 자체의 결합, 연관성, 유사성 등을 중심으로 데이터의 상태를 표현하는 것이다.

- 비지도 학습의 경우 목표 값을 사전에 정의하지 않고 데이터 자체만을 가지고 그룹들을 도출함으로써 해석이 용이하지는 않지만 새로운 유형의 인사이트를 도출하기에 유용한 방식으로 활용할 수 있다.

- 반대로 명확한 목적 하에 데이터 분석을 실시하는 것은 지도학습(Supervised learning)이라고 하며, 분류·추측·예측·최적화를 통해 사용자의 주도하에 분석을 실시하고 지식을 도출하는 것이 목적이다.

- 지도학습의 경우 결과로 도출되는 값에 대하여 사전에 인지하고 어떠한 데이터를 넣었을 때 어떠한 결과가 나올지를 예측하는 것

- 통계적 분석에서는 인과관계 분석을 위해 가설을 설정하고 이를 검정하기 위해 모집단으로부터 표본을 추출하고 그 표본을 이용한 가설 검정을 실시하는 방식으로 문제를 해결.

- 빅데이터 환경에서는 이런 논리적인 인과관계 분석 뿐만 아니라 상관관계 분석 또는 연관 분석을 통해 다양한 문제 해결에 도움을 받을 수 있다. 인과관계로부터 상관관계 분석으로의 이동이 빅데이터 분석에서의 주요 변화라고 할 수 있다.

- 다량의 데이터 분석을 통해서 "왜" 그러한 일이 발생하는지 역으로 추적하면서 문제를 도출하거나 재정의 할 수 있는 것이 상향식 접근 방식이다.

 

(2) 시행착오를 통한 문제 해결

- 프로토타이핑 접근법은 사용자의 요구사항이나 데이터를 정확히 규정하기 어렵고 데이터 소스도 명확히 파악하기 어려운 상황에서 일단 분석을 시도해보고 그 결과를 확인해가면서 반복적으로 개선해 나가는 방법.

- 하향식 접근방식은 문제가 정형화되어 있고 문제해결을 위한 데이터가 완벽하게 조직에 존재할 경우에 효과적이다.

- 프로토타이핑 방법론은 비록 완전하지는 못하다 해도 신속하게 해결책이나 모형을 제시함으로써 이를 바탕으로 문제를 좀 더 명확하게 인식하고 필요한 데이터를 식별하여 구체화할 수 있게 하는 유용한 상향식 접근 방식.

· 빅데이터 환경에서 프로토타이핑의 필요성
- 문제에 대한 인식 수준
- 필요 데이터 존재 여부의 불확실성
- 데이터 사용 목적의 가변성

 

(3)디자인 사고(Design thinking)
- 새로운 상품을 개발하거나 전략수립 등 중요한 의사결정을 할 때 가능한 옵션을 도출하는 상향식 접근 방식의 발산(Diverge) 단계와 도출된 옵션을 분석하고 검증하는 하향식 접근 방식의 수렴(Converge) 단계를 반복적으로 수행하며 상호 보완한다.

- 동적인 환경에서 분석의 가치를 높일 수 있는 최적의 의사결정 방식

 

 

분석 프로젝트 관리 방안

#분석 과제 관리를 위한 5가지 주요 영역

(1) Data size
- 분석하고자 하는 데이터의 양을 고려한 관리 방안 수립이 필요하다.

 

(2) Data complexity
- 비정형 데이터 및 다양한 시스템에 산재되어 있는 원천 데이터들을 통합해서 분석 프로젝트를 진행할 때는, 초기 데이터의 확보와 통합 뿐 아니라 해당 데이터에 잘 적용될 수 있는 분석 모델의 선정 등에 대한 사전 고려가 필요하다.

 

(3) Speed
- 분석 결과가 도출되었을 때 이를 활용하는 시나리오 측면에서의 속도를 고려해야 한다.

 

(4) Analytic complexity
- 분석 모델의 정확도와 복잡도는 트레이드 오프 관계가 존재한다. 분석 모델이 복잡할수록 정확도는 올라가지만 해석이 어려워지는 단점이 존재하므로 이에 대한 기준점을 사전에 정의해 두어야 한다.

- 해석이 가능하면서도 정확도를 올릴 수 있는 최적 모델을 찾는 방안을 사전에 모색

 

(5) Accuracy & Precision
- Accuracy는 모델과 실제 값 사이의 차이가 적다는 정확도를 의미하고 Precision은 모델을 지속적으로 반복했을 때의 편차의 수준으로써 일관적으로 동일한 결과를 제시한다는 것을 의미한다.

- 분석의 활용적인 측면에서는 Accuracy가 중요하며, 안정성 측면에서는 Precision이 중요하다. 그러나 Accuracy와 Precision은 트레이드 오프가 되는 경우가 많기 때문에 모델의 해석 및 적용 시 사전에 고려해야 한다.

 

 

#분석 프로젝트의 특성
- 분석가에게는 개별적인 분석 업무 수행뿐만 아니라 전반적인 프로젝트 관리 또한 중요

- 분석 프로젝트에서는 데이터 영역과 비즈니스 영역의 현황을 이해하고 프로젝트의 목표인 분석의 정확도 달성과 결과에 대한 가치 이해를 전달하는 조정자로서의 분석가의 역할이 중요하다. 조정자로서의 분석가가 해당 프로젝트의 관리자까지 겸임하게 되는 경우가 대부분이므로 프로젝트 관리방안에 대한 이해와 주요 관리 포인트를 사전에 숙지하는 것이 필수적이다.

- 분석 프로젝트는 도출된 결과의 재해석을 통한 지속적인 반복 및 정교화가 수행되는 경우가 대부분이므로 프로토타이핑 방식의 애자일 프로젝트 관리방식에 대한 고려도 필요

- 데이터 분석의 지속적인 반복 및 개선을 통해 의도했던 결과에 더욱 가까워지는 형태로 프로젝트가 진행될 수 있도록 적절한 관리 방안 수립이 사전에 필요하다.