-
Apache Spark
[Spark] Apache Spark의 Hint에 대해서 알아보자 (Partitioning Hint 편) 🙋♂️
1. Spark의 Partition RDD나 Dataset를 구성하고 있는 최소 단위. 각 파티션은 클러스터의 여러 노드에 분산되어 저장될 수 있으며, 익스큐터에 의해 병렬로 처리된다. 너무 작은 파티션은 네트워크 오버헤드를 증가시키고 너무 큰 파티션은 작업 효율성에 문제가 있기 때문에 주의해야한다. Partition Key 란? 데이터를 파티션으로 분할하는 데 사용되는 열. 파티션 키를 지정할 때에는 고객 ID, 번호와 같이 카디널리티가 높은(중복도가 낮은) 값을 사용하지 않는 것이 좋다. 대신 데이터를 균일하게 나눌 수 있거나 필터 및 그룹화, 조인 작업에 주로 사용되는 값을 사용하는 것이 좋다. 2. Spark의 Hint Spark SQL이 특정한 방식으로 실행 계획을 만들도록 사용자가 제안하는 것..
-
Apache Spark
[Spark] Apache Spark에 대해 알아보자 🙋♂️
1. Apache Spark란 무엇인가? 스파크는 인메모리 기반의 통합 컴퓨팅 엔진이며 클러스터 환경에서 데이터를 병렬 처리하는 라이브러리 집합이다. 1) 인메모리 기반이기 때문에 처리 속도가 빠르고 2) 클러스터 환경을 통해 높은 성능, 고가용성, 확장성을 가진다. 3) 프로그래밍 언어로 R, 파이썬, 자바, 스칼라 등을 지원하고 3) 라이브러리인 SPARK SQL, MLIib, GraphX, Streaming 등을 제공한다. 사진에서와 같이 스파크는 통합이라는 관점을 중시하며 기능의 범위를 컴퓨팅 엔진으로 제한한다. 저장소 역할은 HDFS, AWS S3 등을 지원하며 서로 다른 저장소를 유사하게 볼 수 있도록 사용자 API를 제공한다. 2. Spark는 어떻게 등장했을까? 2000년대 초에는 발열, ..
-
Linux
[Linux] 표준 입출력과 리다이렉션(Redirection)
1. 표준 입출력 리눅스에서는 명령어를 실행하면 표준 입출력 채널이 열린다. 표준 입출력 채널에는 세 가지가 있다. stdin: 표준 입력. 텍스트를 입력으로 받는다 (입력 예) 키보드 또는 파일). stdout: 표준 출력. 프로그램의 실행 결과를 출력한다 (출력 예) 디스플레이, 프린터, 파일 등). stderr: 표준 에러 출력. 프로그램 실행 중 발생한 에러 메시지를 출력한다. 2. 리다이렉션(Redirection) 표준 입출력의 방향을 변경하는 것. 키보드가 아닌 파일로 입력을 받거나, 모니터가 아닌 파일로 출력을 받는 등의 작업을 할 수 있다. 2-1. 표준 출력 표준 출력 리다이렉션 기호는 >을 사용한다(이는 1>을 의미한다). 주로 실행 결과를 디스플레이에 출력하는 것이 아닌 파일에 저장하..
-
Data Engineering
[PROJECT] 나만의 작고 소중한 데이터 파이프라인 만들기🌱 | 책방 사장님의 큐레이션을 위한 대시보드 구축기
지난 2월 퇴근 후 조금씩 시간을 내 작은 프로젝트를 진행했다. 회사에서는 이미 만들어진 빅데이터 플랫폼 위에서 운영업무를 하다 보니 파이프 라인을 비슷하게나마 직접 만들어보고 싶다는 마음에서부터였다. 데이터는 한번 사용해봐서 익숙한 도서 데이터를 선택했고, 주제는 책방 사장님의 큐레이션을 위한 도서 데이터 대시보드 구축으로 정했다. 이번 글에서는 프로젝트의 과정을 되돌아보고 회고를 남겨볼까 한다. 🙋♂️ 프로젝트 과정 프로젝트는 Docker 환경에서 진행하였고 프로세스를 자동화할 수 있도록 Apache Airflow를 사용했다. 데이터는 온라인 서점 알라딘의 Open API를 활용했다. 개발 환경 및 프로세스는 다음과 같다. 개발 환경 docker 4.7.0 spark 3.3.4 airflow 2.8..
-
AWS
[AWS] RDS Connection time out 에러 해결🔨
AWS RDS에서 생성한 MySQL DB 연결 시 Connection time out 에러가 발생해 해결 방법을 찾아보았다🙋♂️ 퍼블릭 액세스 확인 데이터 베이스 생성 시 퍼블릭 엑세스 설정이 되어있는지 확인 (아래 그림의 [수정]에서 확인 가능) VPC 보안 그룹 - 인바운드 규칙 편집 MYSQL/Aurora 유형에 대해 모든 IP 주소(0.0.0.0/0)가 접근할 수 있도록(또는 특정 IP주소가 접근할 수 있도록) 편집 * AWS VPC (Virtual Private Cloud): AWS의 가상 네트워킹 환경을 제공하는 서비스. VPC를 사용하면 사용자는 AWS 클라우드 내에서 논리적으로 격리된 네트워크 환경 생성 및 구성 가능 참고자료 Troubleshooting for Amazon RDS - A..