Donghae Blog

Donghae Blog

  • Category (121)
    • Computer Science (28)
      • Computational thinking (7)
      • Algorithem (10)
      • Data structure (6)
      • Operating system (5)
    • Programming (25)
      • C (20)
      • Python (3)
      • SQL (2)
    • Data Engineering (3)
      • Linux (1)
      • Docker (1)
      • Apache Airflow (3)
      • Apache Spark (5)
      • BigQuery (5)
      • Datahub (1)
    • Problem Solving (26)
      • Baekjoon Online Judge (13)
      • Programmers (10)
      • CodeUp (2)
    • Conference (2)
    • Code States AI (4)
    • LIKELION 9th (12)
    • Writing (5)
  • 홈
  • 태그
  • 방명록
  • 글쓰기
RSS 피드
로그인
로그아웃 글쓰기 관리

Donghae Blog

컨텐츠 검색

태그

포인터 장고 글또 시간복잡도 문자열 백준 부스트코스 네이버 알고리즘 bigquery cs50 프로그래머스 코딩테스트 자료구조 스택 파이썬 c언어 배열 멋쟁이사자처럼 Django

최근글

댓글

공지사항

아카이브

Data Engineering/Datahub(1)

  • [Datahub] 오픈소스 메타 데이터 플랫폼, 데이터 허브에 대해 알아보자 🙋‍♂️

    🙇‍♂️ 들어가며사내 대시보드를 만들 때 모르는 컬럼이 있으면 슬랙에 검색하거나 팀에 문의해야 했습니다. 그 과정에서 헷갈린 사람이 저뿐만이 아니라는 것을 깨달았는데요, 이러한 문제를 해결할 수 있는 데이터 허브에 대해서 알아보겠습니다! DatahubLinkedIn에서 만든 오픈소스 메타 데이터 플랫폼으로 메타 데이터 관리, 데이터 검색 및 데이터 거버넌스를 위해 만들어졌습니다. Airflow, BigQuery, CSV, Mysql 등의 다양한 소스를 사용할 수 있습니다. 1. Data Ingestion가장 먼저 해야할 일은 메타데이터를 입력하는 것입니다. 데이터 허브의 UI를 이용하거나 YAML 형식으로 작성한  recipe를 작성해 메타 정보를 ingestion, 즉 섭취(?)할 수 있게 해줘야 합..

    2024.09.21
이전
1
다음
티스토리
© 2018 TISTORY. All rights reserved.

티스토리툴바