들어가며다사다난했던 12월도 어느덧 지나가 새해가 밝았습니다. 오늘은 지나간 2024년을 돌아보고, 2025년의 다짐을 담은 글을 작성해보겠습니다. 👀 2024년에는 무슨 일이 있었나?1. 이직 지난해 5월 이직을 했습니다. 팀의 규모는 이전보다 작아졌지만 조금 더 자유롭게 시도를 해볼 수 있는 환경입니다.BigQuery, Looker Studio와 SQL을 활용해 데이터 마트를 만들고 대시보드로 공유하는 작업을 많이 했습니다.다른 팀과 협업해야 하는 일이 생기면서 커뮤니케이션의 어려움을 느끼기도 했습니다.  ✔️ 최근에 『상자 밖에 있는 사람』이라는 책을 읽으며 혹시 내가 협업을 할때 자기 배반을 하고 상자속에 있지는 않았는지 돌아보게 되었습니다(이와 관련된 생각은 나중에 별도의 포스팅으로 정리해보..

들어가며 최근 업무에서 빅쿼리를 더 효과적으로 활용하는 방법을 고민하던 중 글또에서 성윤님(aka. 카일스쿨)의 인프런 강의 챌린지 소식을 듣게 되었어요. 일명 '빠짝 스터디'라는 이름으로 4주간 BigQuery 활용편 강의를 집중해 수강하는 프로그램이었는데요, 제가 관심있게 본 강의였고 30% 할인 쿠폰까지 제공되어 망설임 없이 신청했답니다.오늘은 강의를 선택한 이유와 스터디에서 배운 것들, 오프라인 모임에 다녀온 이야기까지 공유해보도록 할게요.  1. 강의를 듣게 된 이유 제가 속한 데이터 팀에는 분석가가 없어 직접 서비스의 지표를 구해야 하는 일이 종종 있어요. 일을 하다 보니 단순히 SQL 쿼리를 작성하는데 그치지 않고 데이터 분석의 개념과 흐름을 이해하고 싶은 생각이 들더라구요. 빅쿼리 활용편 ..

들어가며제가 속한 데이터 팀에서는 운영을 위한 별도의 PostgreSQL DB를 사용하고 있는데요, 지난 주 팀장님으로부터 DB의 백업 업무를 받게되었습니다. 오늘은 소중한 데이터를 불의의 사고(!)로 부터 지키기 위한 PostgreSQL 백업 방식과 이를 젠킨스로 자동화한 방법에 대해서 공유해보려고 합니다.  1. 콜드 백업과 핫 백업 처음 업무를 받았을 때 "콜드 백업이 아닌 핫 백업"으로 진행해달라는 요청이 있었습니다. RDB 백업은 처음이었기 때문에 용어부터 생소했던 기억이 나는데요 우선 개념을 알아보겠습니다. 1 ) 콜드 백업 데이터 베이스 서버를 내린 상태에서 진행하는 백업입니다. 오프라인 백업, 닫힌 백업이라고도 합니다. 주로 유지 관리 시간에 실행되며 백업을 하는 동안 서비스가 불가능합니다..

들어가며 최근에 읽고 있는 『구글 빅쿼리 완벽 가이드』 7장 성능 및 비용 최적화에는 컴퓨터 과학자 도널드 커누스의 말이 나옵니다.  "효율성은 향상시키려는 노력의 약 97%는 그 효과가 미비하므로 너무 집착해서는 안 된다. 성급한 최적화는 모든 문제의 근원만 될 뿐이다. 하지만 정말 중요한 3%의 최적화까지 포기해서는 안 된다."   빅쿼리를 사용한지도 어언 5개월입니다. 입사 초반에는 빅쿼리 UI에 뜨는 작은 바이트 수 변화 하나에도 집착하던 시기가 있었는데요, 아마 97%의 비효율적인 노력이 아니었나 싶습니다. 돌이켜보면 가장 빠르게 적용할 수 있고, 즉각적인 효과를 볼 수 있었던 3%의 가장 중요한 최적화는 파티셔닝과 클러스터링이었던 것 같아요. 오늘은 저와 같은 빅쿼리 초보자를 위한 파티셔닝과 ..

들어가며9월 말 글 쓰는 개발자 모임 글또(글 쓰는 또라이가 세상을 바꾼다)의 합격 메일을 받았습니다. 긴장되는 마음에 지원글을 몇 번이고 고친 기억이 나는데, 벌써 슬랙에 초대된 지도 2주 정도 시간이 흘렀네요. 첫 글이니 만큼 글또에 참여하는 이유에서부터 앞으로의 다짐을 작성해 보도록 하겠습니다!  1. 글또에 참여하는 이유- 꾸준히 글 쓰는 습관 만들기지난날을 돌아보니 적당한 에너지로 꾸준히 하는 것에는 늘 약했던 것 같아요. 블로그에 글을 쓰는 것도 마찬가지였습니다. 마음이 가는 날에만 글을 쓰다 보니 주기가 들쭉날쭉하더라구요. 글쓰기의 동력은 역시 마감기한과  독자라는 생각이 들었고, 글또에서 점점 나은 글을 써내려 가다 보면 두 가지 모두 얻을 수 있을 것 같았습니다.  - 많은 개발자들을 만..