해당 글은 개발자 글쓰기 모임 글또 10기의 지원을 위한 "자신이 어떻게 살아왔는지 - 삶의 지도"에 대한 글입니다.    삶의 지도라는 너무나 막연한 단어 앞에서 회피하기를 2일, 추석 연휴 핑계를 3일 쓰고 발등에 불이 떨어진 상태로 모니터 앞에 앉았습니다. 벌써 이렇게나 많은 분들이 지원하셨더라구요. 개인적인 이야기를 블로그에 쓰는 것이 익숙하지는 않지만 어떻게 해서 지금의 일을 하고 있는지 천천히 적어보도록 하겠습니다.  2016, 커리어 우먼에 대한 막연한 동경은 와 같은 영화를 몇 번이고 돌려봤기 때문일 것입니다. 카리스마 있는 편집장의 모습을 보여준 ‘미란다’(메릴 스트립), 압박 속에서도 누구보다 일에 열정적이었던 ‘에밀리’(에밀리 블런트), 무엇보다도 아무것도 모르는 채 패션 업계에 들어..

🙇‍♂️ 들어가며사내 대시보드를 만들 때 모르는 컬럼이 있으면 슬랙에 검색하거나 팀에 문의해야 했습니다. 그 과정에서 헷갈린 사람이 저뿐만이 아니라는 것을 깨달았는데요, 이러한 문제를 해결할 수 있는 데이터 허브에 대해서 알아보겠습니다! DatahubLinkedIn에서 만든 오픈소스 메타 데이터 플랫폼으로 메타 데이터 관리, 데이터 검색 및 데이터 거버넌스를 위해 만들어졌습니다. Airflow, BigQuery, CSV, Mysql 등의 다양한 소스를 사용할 수 있습니다. 1. Data Ingestion가장 먼저 해야할 일은 메타데이터를 입력하는 것입니다. 데이터 허브의 UI를 이용하거나 YAML 형식으로 작성한  recipe를 작성해 메타 정보를 ingestion, 즉 섭취(?)할 수 있게 해줘야 합..

1. Spark의 Partition RDD나 Dataset를 구성하고 있는 최소 단위. 각 파티션은 클러스터의 여러 노드에 분산되어 저장될 수 있으며, 익스큐터에 의해 병렬로 처리된다. 너무 작은 파티션은 네트워크 오버헤드를 증가시키고 너무 큰 파티션은 작업 효율성에 문제가 있기 때문에 주의해야한다. Partition Key 란? 데이터를 파티션으로 분할하는 데 사용되는 열. 파티션 키를 지정할 때에는 고객 ID, 번호와 같이 카디널리티가 높은(중복도가 낮은) 값을 사용하지 않는 것이 좋다. 대신 데이터를 균일하게 나눌 수 있거나 필터 및 그룹화, 조인 작업에 주로 사용되는 값을 사용하는 것이 좋다. 2. Spark의 Hint Spark SQL이 특정한 방식으로 실행 계획을 만들도록 사용자가 제안하는 것..

1. Apache Spark란 무엇인가? 스파크는 인메모리 기반의 통합 컴퓨팅 엔진이며 클러스터 환경에서 데이터를 병렬 처리하는 라이브러리 집합이다. 1) 인메모리 기반이기 때문에 처리 속도가 빠르고 2) 클러스터 환경을 통해 높은 성능, 고가용성, 확장성을 가진다. 3) 프로그래밍 언어로 R, 파이썬, 자바, 스칼라 등을 지원하고 3) 라이브러리인 SPARK SQL, MLIib, GraphX, Streaming 등을 제공한다. 사진에서와 같이 스파크는 통합이라는 관점을 중시하며 기능의 범위를 컴퓨팅 엔진으로 제한한다. 저장소 역할은 HDFS, AWS S3 등을 지원하며 서로 다른 저장소를 유사하게 볼 수 있도록 사용자 API를 제공한다. 2. Spark는 어떻게 등장했을까? 2000년대 초에는 발열, ..

1. 표준 입출력 리눅스에서는 명령어를 실행하면 표준 입출력 채널이 열린다. 표준 입출력 채널에는 세 가지가 있다. stdin: 표준 입력. 텍스트를 입력으로 받는다 (입력 예) 키보드 또는 파일). stdout: 표준 출력. 프로그램의 실행 결과를 출력한다 (출력 예) 디스플레이, 프린터, 파일 등). stderr: 표준 에러 출력. 프로그램 실행 중 발생한 에러 메시지를 출력한다. 2. 리다이렉션(Redirection) 표준 입출력의 방향을 변경하는 것. 키보드가 아닌 파일로 입력을 받거나, 모니터가 아닌 파일로 출력을 받는 등의 작업을 할 수 있다. 2-1. 표준 출력 표준 출력 리다이렉션 기호는 >을 사용한다(이는 1>을 의미한다). 주로 실행 결과를 디스플레이에 출력하는 것이 아닌 파일에 저장하..