데이터의 관계를 정의하라 - Ontology (2)

앞에서 AI 분석에서 온톨로지 적용을 위해서는 먼저 해결하고자 하는 문제가 정의되어야 한다고 설명했습니다.

데이터의 관계를 정의하라 - Ontology (1)

하지만 해결하고자 하는 특정한 문제가 정의되지 않은 상태에서 온톨로지 개념을 적용할 수는 없을까요? 즉 데이터 관리 측면에서 메타정보를 충실히 관리하는 것에 추가하여, 데이터의 의미와 관계를 미리 정의해 놓고 쉽고 빠르게 활용하는 것이 가능할까요?  

데이터 카탈로그를 활용한 온톨로지 구성

기업의 데이터를 관계 중심으로 구조화할 때 가장 쉽게 접근할 수 있는 방법은 데이터 카탈로그를 활용하는 것입니다. 일반적으로 데이터 카탈로그는 데이터 특성에 따라 구분된 데이터셋을 기본으로하여 관리되며, 이 데이터셋은 여러 개의 데이터 항목들로 구성되어 있습니다. 여기에 온톨로지 개념을 적용해 보면 데이터셋은 객체(Objects)가 되고, 데이터셋을 구성하는 데이터 항목들은 속성(Properties)에 해당됩니다. 그리고 데이터셋들 간의 관계는 링크(Links)를 통해 정의될 수 있습니다.
이론적으로는 해결하고자 하는 특정 과제가 정의되어 있지 않더라도 사내 데이터를 데이터셋 기준으로 미리 온톨로지화 한다면, 향후 특정 문제를 해결하고자 하는 과제가 생겼을 때 빠르게 온톨로지 개념을 적용할 수 있을 것입니다. 그리고 문제 해결 과정에서 수정/보완된 온톨로지 결과물을 다시 반영하고 업데이트 함으로써 온톨로지 기반 데이터 자산화도 가능할 수 있습니다.
하지만 현실적으로 해결하고자 하는 과제가 특정되지 않은 상황에서는 객체와 속성, 링크를 정의하기가 매우 어렵습니다. 또한 동일한 데이터셋과 데이터 항목정보라고 하더라도 해결하고자 하는 문제에 따라서 객체와 속성 그리고 링크는 달라지기 때문에 하나의 유형으로 정의하기도 쉽지 않습니다.

데이터 카탈로그 기반의 온톨로지 구성

이런 상황들을 고려하여 온톨로지 개념을 적용하여 데이터를 정의하고 관계를 구조화하는 방법에는 어떤 것이 있을까요?
먼저 해결하고자 하는 문제가 정의된 경우에는, 데이터 관리 조직의 주관하에 해당 데이터에 대한 도메인 지식이 있는 사람들이 모여서 해당 문제에 필요한 데이터 속성 파악 뿐만 아니라 관계를 정의하는 것입니다. 이 경우에는 정확성 있게 데이터 정의 및 관계를 구조화 할 수 있지만 많은 노력이 소요됩니다.
한편 해결하고자 하는 문제가 명확하게 정의되지 않은 경우에는 데이터 속성을 정의하는 것도 어렵고 관계까지 미리 정의한다는 것은 매우 어렵습니다. 따라서 이 경우에는 데이터의 일반적인 속성만 정의하고, 데이터 사이의 관계는 기존의 분석과제 유형을 활용하여 일반화하는 적용하는 것을 생각해 볼 수 있습니다. 상대적으로 정확도는 떨어질 수 있지만, 사전에 데이터 속성을 정의해두면 나중에 분석 과제가 생겼을 때 빠르게 수정하여 적용할 수 있습니다. 이를 위해서는 LLM 기술을 활용하는 것도 빠르고 효과적인 방법입니다.

LLM을 활용하여 데이터를 온톨로지화 하는 방법은 다음과 같습니다. 먼저 데이터셋을 기준으로 데이터 카탈로그에서 해당 데이터셋의 정의나 설명을 활용하여 객체(Objects) 성격의 주요 키워드를 추출합니다. 그리고 해당 데이터셋을 구성하는 핵심 데이터 항목을 기반으로 속성(Properties) 정보를 정의합니다. 이 상태에서 그 동안 분석에 활용된 과제나 Use Case를 분석하여 데이터 간의 관계를 정의합니다. 이런 과정을 여러 차례 반복함으로써 기본적인 온톨로지 Framework을 구성합니다. 즉 데이터의 기본 속성만 일반화하여 먼저 정의하고, 데이터 사이의 관계는 기존의 사례를 활용함으로써 온톨로지의 완성도를 점진적으로 높여가는 방식입니다.

온톨로지 형태의 관계형 데이터 구조화는 Vector DB 또는 Graph DB 형태로 관리할 수 있습니다. 뒤에서 설명하겠지만 Vector DB는 유사성을 기반으로, Graph DB는 관계성을 기반으로 합니다. 따라서 온톨로지를 적용할 때 분석 또는 활용 목적에 따라 Vector DB 또는 Graph DB를 효과적으로 사용해야 합니다.