딥 데이터(Deep Data) & 다크 데이터(Dark Data)

앞에서 설명한 빅데이터(Big Data), 스몰 데이터(Small Data) 이외에도 딥 데이터(Deep Data)와 다크 데이터(Dark Data)라는 개념이 있습니다.

빅데이터(Big Data) vs. 스몰 데이터(Small Data)

Deep이나 Dark가 주는 단어적인 의미로만 해석해 본다면 명시적으로 드러나지 않는 '숨겨진 데이터' 라는 느낌이 듭니다. 단어 자체가 주는 부정적 어감이 강하지만, 반대로 이것은 데이터가 가진 숨겨진 통찰력 또는 잠재력과 관련되어 있다고 해석할 수도 있습니다. 

딥 데이터(Deep Data)와 다크 데이터(Dark Data) (생성형 AI - ChatGPT 사용)

딥 데이터(Deep Data)

딥 데이터는 쉽게 파악하기는 어렵지만, 정확하고 구체적인 정보가 담긴 데이터를 의미합니다. 고품질 데이터로서 데이터 분석을 통해 통찰력 있는 정보를 제공하는데 활용되는 데이터라고 할 수 있습니다.
각 가정 또는 사무실에서 보유하고 있는 가전제품 보유현황 데이터가 그 예라고 할 수 있습니다. 서로 다른 제조사의 다양한 제품들에 대한 보유 정보를 모두 확인할 수 있다면, 미보유 제품 또는 교체 시기가 도래한 제품을 대상으로 타겟 마케팅을 할 수도 있습니다. 문제는 이런 정보를 수집하거나 데이터화 하기가 쉽지 않다는 점입니다.
기업 간 비즈니스와 관련된 거래 정보도 마찬가지입니다. 예를 들면 제품 제조사 입장에서 온/오프라인 유통사에 제품을 납품한 후, 판매된 제품에 대한 주문과 판매 상세정보, 배송 및 설치에 대한 정보 등을 확보할 수 있다면 재고 관리 뿐만 아니라 고객 접점에서 개선사항도 발굴할 수 있습니다. 의료 데이터도 마찬가지라고 할 수 있습니다.

딥 데이터는 통찰력의 수준을 높여주는데 많은 도움이 됩니다. 하지만 그만큼 확보하기가 용이하지는 않습니다. 보통 딥 데이터는 B2C 영역보다는 B2B 영역에서 많이 존재합니다. 기업 내부의 Value Chain 상에서 발생하는 데이터도 딥 데이터의 한 예가 될 수 있습니다. 제품 생산에 필요한 원재료나 부품 등을 구매할 때, 각 부품사별로 부품 수급 현황이나 가격 동향을 지속적으로 모니터링 한다면, 시장에서의 원자재 가격의 급격한 변화나 부품업계 동향을 빠르게 파악할 수 있습니다. 이를 통해 시장 상황에 맞는 신속한 대응 및 전략 수립이 가능합니다. 이는 쉽게 확보하기 어려운 데이터로서, 기존의 빅데이터로도 파악하기가 많이 복잡하고 상당한 노력이 필요합니다.

다크 데이터(Dark Data)

다크 데이터는 조직 내에 수집 및 저장되고는 있지만, 비즈니스 목적이나 의사결정을 위해 적극적으로 활용되지 않는 많은 양의 데이터를 의미합니다. 빅데이터의 일종이기는 하지만 제대로 활용되지 않는 데이터라고 할 수 있습니다. 제대로 활용되지 않는 이유는 이러한 데이터를 활용한 Use Case가 구체화되지 못했기 때문에 데이터 활용의 필요성을 느끼지 못하는 경우가 대부분입니다. 또한 데이터 관리가 체계적이지 못한 이유도 있는데, 데이터가 로그 형태의 파일이나 문서 등 구조화되지 않은 상태의 비정형 형태로 존재하는 경우가 이에 해당합니다. 쉽게 말해서 데이터 활용에 엄두가 나지 않기 때문입니다.

다크 데이터는 아직 적극적으로 활용되지는 않지만, 제대로만 활용한다면 다양한 분야에서 인사이트를 제공해 줄 수 있는 잠재력이 있는 데이터라고 할 수 있습니다. 반면에 데이터의 특성상 효율적인 데이터 관리 체계가 필요하기도 합니다. 적극적으로 활용되지 않더라도 엄연히 수집/저장되고 있기 때문에 이런 관점에서 비용 효율성도 고려해야 하며, 데이터 보안 체계도 적용될 필요성이 있습니다. 결국 다크 데이터는 최대한 비용 효율적으로 관리하되, 주요 Usecase 또는 과제를 중심으로 '음지'의 데이터를 '양지'로 끌어냄으로써 다크 데이터에 대한 관리체계를 적용하고 인사이트 발굴을 강화하는 노력이 필요합니다.

딥 데이터는 확보하기가 쉽지 않고, 다크 데이터는 보유는 하고 있지만 아직 활용되지 않는 데이터입니다. 그렇지만 공통적으로 새로운 인사이트를 제공해 줄 수 있는 잠재력을 보유하고 있는 데이터입니다. 아직 인지하지 못하고 있는 딥 데이터와 활용되지 않고 있는 다크 데이터를 잘 정의하여 관리한다면 새로운 경쟁력을 만들 수 있습니다. 이를 위해서는 사소한 데이터라도 관심을 가지고, 어떻게 활용할지 있을지 고민하면서 데이터가 가진 잠재력을 파악하고자 하는 노력이 필요합니다.