데이터 마이닝, 데이터 안에 숨은 패턴을 찾아라!
데이터 마이닝의 시작은 통계학에서 시작되었습니다. 실제 통계학의 많은 절차와 방법이 데이터 마이닝에 적용되었죠. 통계학의 기본은 몇 개의 이론(가설)을 세운 다음 데이터를 이용해 그 이론을 검증하는데 있습니다. 데이터 마이닝은 통계학의 이런 특성을 물려 받았기 때문에 다음 두 개 목적으로 많이 이용됩니다.
1. 데이터를 이용한 특정 현상 및 상황의 이해
2. 데이터를 이용한 향후 예측
데이터 마이닝은 여러 가지 알고리즘을 이용해 데이터 안에 숨어 있는 일정한 패턴을 찾아냅니다. 잘 알려진 월마트 사례를 다시 꺼내 보죠. 판매 데이터를 분석해 보니 아기 기저귀 구매 고객의 맥주 구매 비율이 높다는 점을 발견합니다. 분석해 보니 기저귀를 사러 온 아기 아빠들이 맥주도 같이 산다는 것이었죠. 월마트는 기저귀와 맥주 부스를 조정하자 맥주 매출이 크게 늘었죠.
월마트가 판매 데이터를 이용해 기저귀 구매 고객이 맥주를 구매하는 비율이 높다는 패턴을 찾아낸 것처럼 기업은 과거의 생산, 재고 및 판매 데이터를 통해 고객의 구매 패턴을 찾아내거나 향후의 매출 및 수익을 예측해 볼 수 있는 것이죠. 데이터를 이용해 이런 분석 작업을 하는 것이 알고리즘의 역할입니다. 데이터 마이닝은 기업뿐 아니라 경제, 과학 및 사회 현상 분석에도 많이 사용됩니다. 데이터가 존재한다면 어느 영역에도 적용할 수 있습니다.
데이터 마이닝 알고리즘의 주요 역할은 다음과 같습니다
✅ 예측: 과거 데이터의 분석 결과를 이용한 예측하는 기능
✅ 일반화: 가장 중요한 데이터 값만을 분석해 제공하는 데이터에 대한 설명
✅ 패턴 인식: 데이터 요소간의 관계와 문제를 찾아내는 기능
이를 위해 클러스터링 및 분류 학습 (Classification training) 같은 기술을 이용합니다. 요즘 굉장히 핫한 머신러닝, 딥러닝처럼 데이터 마이닝 알고리즘도 데이터를 통해 학습을 하는 것이죠. 데이터 마이닝 알고리즘의 학습 방법도 Supervised learning (지도형 학습)과 Unsupervised learning (비지도형 학습)으로 나눠지죠. 여기까지 오면 데이터 마이닝이 머신러닝, 딥러닝의 형님이란 것을 눈치채셨죠.
프로세스 마이닝, 프로세스 성과를 높여라!
프로세스 마이닝도 데이터를 이용하는 것은 같습니다. 그런데 실제 실행된 프로세스에서 추출한 데이터만을 이용하고 프로세스 집중한다는 점이 데이터 마이닝과 다릅니다. 그 이유는 위에서 설명한 것처럼 프로세스 마이닝은 ERP, CRM 등 IT시스템에 기록된 이벤트 로그 데이터를 이용하게 되는데, 실제 일어나지 않은 일은 이벤트 로그에 저장되지 않기 때문입니다. 프로세스 마이닝의 목표는 대상 프로세스 그리고 회사별로 다 다를 수 있습니다.
예를 들어, 자동차 부품을 생산하는 A사는 재고관리 프로세스상의 문제점을 찾아내 재고 관리 비용을 줄이고 생산 라인 중단 시간을 최소화하기 위해 프로세스 마이닝을 이용할 때, B 생명보험은 보험금 지불 업무의 병목 현상을 찾아내 보험금 지불 기간을 단축해 고객 만족도와 재계약율을 높이려는 목표를 가질 수 있습니다. 물론, 프로세스 안에 숨어 있는 문제점을 찾아내 해결한다는 궁극적 목표는 같지만요.
이미 실행된 프로세스에 집중하는 프로세스 마이닝은 크게 3가지를 기본으로 합니다.
하지만 저희 아이오코드는 프로세스 시뮬레이션까지 포함해 4가지를 기본으로 생각합니다.
1. 프로세스 발견 (Discovery)
- 이벤트 로그 데이터 분석을 통해 실제 프로세스를 찾아내고 시각화해서 제공하는 기능입니다. 프로세스 디스커버리의 목표는 프로세스를 정확하게 파악하고 이해하는데 있죠. 이를 프로세스 투명성이라고도 합니다. 프로세스의 변형된 부분이 명확해지고 문제가 될 프로세스 왜곡 및 컴플라이언스 위반 요소들을 찾아냅니다.
2. 정합성 점검 (Conformance Checking)
- 데이터 분석으로 찾아낸 실제 프로세스를 표준 (혹, 레퍼런스) 모델과 비교하고 차이점을 도출하는 기능입니다.
3. 모델 개선 (Model Enhancement)
- 프로세스의 최적화 가능성을 찾아내기 위해 프로세스 데이터를 분석하는 기능입니다. 기업이 어떤 개선 목표를 갖는가에 따라 개선의 방향은 달라질 수 있습니다. 많은 경우, 사이클 타임 및 대기 시간 등을 개선 목표로 하지만 프로세스의 변수 조건 및 변형 제거 등이 목표인 경우도 많습니다.
4. 프로세스 시뮬레이션
- 프로세스상의 문제를 발견했다고 하더라도 실제로 프로세스를 변경하는 것은 많은 비용과 작업을 요구합니다. 특히 생산 공정 변경 등은 굉장한 비용과 위험이 따르죠. 프로세스 시뮬레이션은 실제 변경 없이 가상으로 변경된 환경을 구성해 적용하고 시뮬레이션해보는 기능입니다.
위에서 살펴본 바와 같이 프로세스 마이닝 목표는 프로세스 효율성을 높이고 이를 통해 비용 절감이나 계속 증가하는 각종 컴플라이언스 (법 및 규제)의 위험성을 낮추는데 있습니다. 그리고 이런 효과가 지속되도록 주기적으로 프로세스를 개선하는 것이 주된 목적입니다. 이에 비해 데이터 마이닝은 데이터를 이용해 생산, 매출 및 장애 발생 등 다양한 분야의 패턴을 찾아내거나 향후 상황을 예측하는데 이용되고 있습니다.
프로세스 마이닝과 데이터 마이닝이 여러 기술을 공유합니다. 데이터 마이닝의 패턴 인식 기술이 프로세스 마이닝의 프로세스 발견 및 정합성 점검에 이용되고 프로세스 발견 기능은 데이터 일반화를 위해 클러스터링 기술을 쓰는 것이 좋은 예입니다.
그리고 가장 중요한 공통점은 데이터 준비 과정입니다. 데이터 마이닝과 프로세스 마이닝 모두 데이터가 핵심이기 때문에 데이터 선정, 전처리 및 데이터 변환의 준비 과정이 동일합니다. 프로세스 마이닝과 데이터 마이닝은 데이터를 핵심으로 하고 여러 기술을 공유하지만 활용 목표와 용도는 다르다는 것을 이해하셨을 겁니다.
