[Datahub] 오픈소스 메타 데이터 플랫폼, 데이터 허브에 대해 알아보자 🙋‍♂️

🙇‍♂️ 들어가며
사내 대시보드를 만들 때 모르는 컬럼이 있으면 슬랙에 검색하거나 팀에 문의해야 했습니다. 그 과정에서 헷갈린 사람이 저뿐만이 아니라는 것을 깨달았는데요, 이러한 문제를 해결할 수 있는 데이터 허브에 대해서 알아보겠습니다!

 

Datahub

LinkedIn에서 만든 오픈소스 메타 데이터 플랫폼으로 메타 데이터 관리, 데이터 검색 및 데이터 거버넌스를 위해 만들어졌습니다. Airflow, BigQuery, CSV, Mysql 등의 다양한 소스를 사용할 수 있습니다.
 

1. Data Ingestion

가장 먼저 해야할 일은 메타데이터를 입력하는 것입니다. 데이터 허브의 UI를 이용하거나 YAML 형식으로 작성한  recipe를 작성해 메타 정보를 ingestion, 즉 섭취(?)할 수 있게 해줘야 합니다. 이 과정은 Airflow의 DAG로 만들 수 있습니다.
 
*recipe: 메타 데이터 수집을 위한 구성 파일로 데이터를 어디에서 가져와(Source) 어디에 둘지(Sink) 정의하고 규칙을 설정합니다. vscode에서 Redhat의 yaml플러그인을 설치하면 .dhub.yaml 확장자로 자동완성과 구문 검증 기능을 사용할 수 있습니다.
 

Ingestion시 Form과 YAML 중 선택 가능

YAML로 변경 시

 

2. Data Asset

 데이터를 가져왔다면 이를 사용자들이 더 쉽게 찾고 이해할 수 있도록 해야합니다. 아래 Domain, Glossary Terms, Tags 세 가지 기능을 통해 관리할 수 있습니다.

 

✔️ Domain

데이터 자산의 중앙 집중화를 위해 그룹화된 최상위 폴더(또는 범주)입니다. 하나의 자산은 하나의 도메인에만 속할 수 있습니다. 아래와 같이 Ingestion 단계의 YAML 레시피에서 미리 만들어둔 도메인을 사용할 수 있습니다.

• 예) 비즈니스(금융, 마케팅, 분석 등) 팀 도메인 생성

source: 
    (...)
    domain:
      Analytics:
        allow:
          - "long_tail_companions.analytics.*"
      Finance:
        allow:
          - "long_tail_companions.ecommerce.*"

 

✔️ Glossary Terms

데이터 표준화를 위해 중앙에서 관리하는 용어(또는 용어집)입니다. 용어 간 관계 설정 및 그룹화가 가능하며, 만들어진 용어집은 자산과 연결해 사용할 수 있습니다. YAML 파일로 관리가 가능합니다.

• 예) KPI, OKR, 전문 용어 또는 약어 등 보관

📌  용어집을 통해 사내에서 사용하는 용어의 뜻을 파악하고, 연결된 데이터를 확인하고, 궁금한 점 또는 개선할 점이 있는 경우 소유자에게 문의할 수 있습니다.

 

✔️ Tags

검색을 위해 사용하는 도구입니다. 하나의 자산에는 여러개의 태그를 붙일 수 있습니다. 중앙에서 관리하지 않는 비공식적인 도구로 빠르게 데이터를 라벨링 할 때 사용합니다.
 
 
 
데이터 자산을 분류하고 검색 성능을 높였다면, 아래 두 기능을 사용해 Datahub를 더 잘 사용할 수 있습니다.
 
 

3. SQL Profiling

데이터의 테이블 및 컬럼 수준의 통계 정보를 수집합니다. 이를 통해 데이터를 더 잘 이해하고 품질을 유지할 수 있습니다. Ingestion 단계의 YAML 레시피에서 profiling 내 enabled=True로 설정하면 자산의 Stats 탭에서 아래 정보를 확인할 수 있습니다.

• NULL의 개수 및 비율
• DISTINCT 값의 개수 및 비율
• MIN, MAX, AVG 등의 통계 정보 등

📌 단, 여러 테이블이나 컬럼에 대해 프로파일링을 실행하면 상당한 쿼리 비용이 발생할 수 있으니 주의해야 합니다. 매일 실행하기보다는 데이터에 따라 주에 한번 등 주기를 두고 실행하는 방법 등을 사용할 수 있습니다.

 

4. Data Lineage

데이터가 어디에서 왔는지 그래프를 통해 확인합니다. 테이블 뿐만 아니라 *Airflow DAG의 Task와도 연결해 사용할 수 있습니다. 이를 통해 데이터와 관련된 워크플로우를 확인하고 수정 시 영향도를 파악할 수 있습니다 (이전 회사에서는 인터넷을 사용할 수 없는 환경에서 이를 수기로 관리했기에 너무나 반가운(!) 기능이었습니다).

*acryl-datahub-airflow-plugin 설치 필요

 

 

🙇‍♂️ 마치며

 이렇게 데이터허브에 대해 간단히 살펴봤습니다. 당장 표준화를 위한 용어집을 만들고 모든 테이블에 적용하기는 무리일 수 있지만 에어플로우 DAG를 연결하고 설명과 태그를 잘 달아주기만 해도 데이터를 더 쉽게 이해할 수 있을 것 같습니다. 저의 경우 이미 팀 내부에 데이터 허브가 구축되어 있어 배운 내용을 하나씩 적용해 보도록 하겠습니다 ☘️   
 

---

 

What is DataHub? | DataHub