들어가며현재 사내에서는 구성원들이 BigQuery를 통해 직접 쿼리를 실행하고 있습니다. 하지만 팀에서 예상하지 못한 방식으로 테이블이 조회되는 경우가 종종 있는데요, 비용 문제 뿐만 아니라 테이블의 설계, 사용자 계정 권한 문제와도 연관있기 때문에 모니터링이 필요했습니다. 오늘은 BigQuery INFORMATION_SCHEMA를 활용해 실시간으로 빅쿼리 사용을 파악하는 방법을 정리해 보겠습니다. 제가 모니터링을 살펴보기 전부터 팀에는 Google Cloud Monitoring을 통해 1TB 이상 사용량이 감지되면 슬랙 알림이 전송되도록 설정되어 있었습니다. 하지만 시간이 지나면서 몇 가지 문제가 발생했습니다. 데이터를 활용하는 팀이 많아지며 알림이 자주 발생했습니다알림 메시지만으로는 쿼리 원인을 세..

들어가며 저는 현재 데이터 엔지니어로서 Airflow, Datahub 등의 데이터 플랫폼 도구를 사용하고 있습니다. 이 도구들은 모두 GCP VM 환경 위에서 동작하며 Docker 기반으로 관리 중인데요, 최근에는 리소스 최적화와 확장성 측면에서 Kubernetes와 같은 오케스트레이션 도구의 필요성을 느끼고 있어 Minikube 실습을 진행해 보았습니다. 1. Minikube 설치 Minikube는 로컬에서 단일 노드 Kubernetes 클러스터를 구성할 수 있는 도구입니다. macOS ARM64 기준 설치 과정은 다음과 같습니다.curl -LO https://github.com/kubernetes/minikube/releases/latest/download/minikube-darwin-arm64s..

들어가며 최근 GCP 환경에서 *Zabbix Agent를 설치하던 중 포트 연결 오류가 발생했습니다. 원인은 GCP 방화벽의 인그레스(ingress) 규칙이 설정되지 않아 Zabbix 서버가 Agent에 접근할 수 없었던 것이었습니다. 이 일을 계기로 방화벽 설정의 중요성을 다시 한번 깨달았습니다. 오늘은 GCP 방화벽의 개념과 방화벽 규칙 설정 방법에 대해 정리해보겠습니다. *Zabbix: 서버 및 네트워크의 상태를 실시간으로 모니터링할 수 있는 오픈소스 기반의 모니터링 툴 이 글에서는 다음 내용을 다룹니다.GCP 방화벽의 개념과 설정 방법방화벽 설정 시 주의사항 1. GCP 방화벽 개념 GCP 방화벽은 VPC(Virtual Private Cloud)안에서 동작합니다. VPC는 GCP 내에서 가상으로 ..

들어가며 지난 글에서는 Dremel 논문[1]을 통해서 Nested Data(중첩 데이터)를 저장하기 위한 아이디어인 반복 레벨과 정의 레벨에 대해 살펴보았습니다. 오늘은 논문의 뒷부분인 반복 레벨과 정의 레벨을 이용해 효율적으로 column stripe를 생성하는 방법과 이를 다시 레코드로 바꾸는 방법을 알아보도록 하겠습니다. 그리고 이렇게 만들어진 레코드를 어떻게 쿼리로 처리하는지까지 살펴보도록 하겠습니다.*column stripe: 컬럼 기반 저장 방식에서 데이터를 나누는 단위. ✅ 레코드 -> 컬럼 Google에서 사용하는 많은 데이터는 희소한(Sparse) 형태, 예를 들자면 수천 개의 필드 중 실제로 값이 존재하는 필드는 백개 정도에 불과하는 형태를 갖고 있었습니다. 때문에 사용되는 필..

들어가며 빅쿼리로 수집되는 서비스의 데이터를 보면 > 와 같은 데이터 타입을 자주 볼 수 있습니다. 복잡한 데이터 구조를 효율적으로 저장하고 처리하기 위해 이러한 타입이 사용되는데요, 지난주에도 평소와 같이 데이터를 조회하다가 문득 이런 생각이 들었습니다.컬럼 기반 스토리지에서는 중첩된 데이터를 어떻게 처리할까? 컬럼 기반 스토리지는 각 컬럼을 따로 저장해서 압축률을 높이고 조회 성능을 최적화하는데요, STRUCT나 ARRAY와 같이 중첩되고 반복되는 데이터는 단순한 구조가 아니어서 궁금증이 생겼습니다. 이를 이해하기 위해 BigQuery의 기반이 되는 Dremel이 어떻게 Nested Data를 다루는지 알아보았습니다. Dremel의 등장 : Nested Data를 다루는 방법 Dremel은 구글이 2..