빅데이터

[SQL] 검색 - 목록 검색 연산자와 중첩 질의 Nested Query (2)

SQL에서 목록 검색 연산자라고 하면 IN과 NOT IN이 있다. IN 연산자는 일반적으로 주 질의의 WHERE 절에서 하나의 컬럼 값이 하위 질의가 반환한 결과 목록에 포함되는지 확인을 하는 역할을 한다. 지난 첫번째 중첩질의 포스팅에서도 다뤘지만, 하위 질의는 테이블(뷰) 형태를 반환할 수 있기 때문에 두개 이상의 값을 취할 수 있다. 주 질의는 WHERE 절의 컬럼 값이 하위 질의의 결과 목록에 포함되면 True를 반환한다고 이해하면 된다. 예시를 들어보자. 다음과 같은 3개의 테이블(emplyee, department, dependent) 이 존재한다고 가정해보자. 예제 1) 관리자인 사원의 정보를 검색 중첩질의를 활용해 이 문제를 해결해보자면 다음과 같이 SQL을 만들어서 원하는 답을 구할 수..

[Zeppelin] M1 맥에서 로컬에 제플린 설치하는 방법

Zeppelin은 크게 두가지 방법으로 설치할 수 있습니다. 1. 로컬 머신 설치 2. 도커 이미지를 활용한 설치 본 포스팅에서는 로컬 머신 설치에 대해 다뤄보도록 하겠습니다. 우선 아파치 제플린 다운로드 페이지로 접속합니다. 저는 Spark 3.3.2 버전을 사용하고 있는데요. 호환성을 확인한 뒤 환경에 맞는 zeppelin을 설치하면 됩니다. 저는 0.10.0 버전을 설치했습니다. 설치하고자 하는 zeppelin 버전을 정했다면, 해당 파일을 눌러 다운로드 사이트로 들어가줍니다. 위 버튼을 클릭하면 해당 버전을 다운로드 할 수 있는 사이트가 나오는데요. 빨간 밑줄이 쳐진 url을 복사합니다. 이제 터미널로 들어가서 적당한 경로로 접속하여 아래의 커맨드를 이용해 다운받겠습니다. wget https://..

[M1 맥] 스파크 설치하기 (Spark)

스파크 설치에 앞서 하둡(Hadoop) 설치와 자바(JAVA) 설치를 선행하시는 것을 추천드립니다. M1 맥북에 Hadoop 설치하기 M1 맥북에 Java 설치하기 스파크 설치 스파크 설치 시, 본인 로컬 환경에 설치되어 있는 하둡 버전을 고려하여 설치하는 것을 추천드립니다. 따라서 brew를 통한 설치 또는 묻지마 설치 보다는, 버전을 체크하고 설치를 진행하는 것이 좋습니다. 1. Apache Spark 웹사이트 이동 그렇게 하기 위해서 아파치(apache) 웹사이트로 접속하겠습니다. https://spark.apache.org/downloads.html Downloads | Apache Spark Download Apache Spark™ Choose a Spark release: Choose a pa..

[M1 Mac]oh-my-zsh 설치 이후 command not found 이슈 해결 방법

대부분의 경우 iterm2 커스터마이징을 시작하는 시기가 '맥북을 구매한 직후 환경설정 시'가 아닐까 싶다. 하지만 필자와 같이 iterm2에 dracula와 같은 theme만 입히고 사용하다가, 가독성을 이유로 oh-my-zsh를 나중에 설치하는 경우 문제가 command not found 문제가 발생할 수 있다. 개인 로컬에서 많은 프로그래밍 작업을 하다가, oh-my-zsh를 설치하게 되면 Java 경로를, conda 경로를, brew 경로를, wget 경로를 못잡아서 스트레스를 받을 수 있다. 바로 본론으로 넘어가자. iterm2 oh-my-zsh 설치 이후, 기존에 사용하던 커맨드가 안먹히기 시작했다. 이건 ~/.zshrc 파일에 설정해 둔 path가 없어져서 문제가 되는 경우이다. 따라서 pa..

[Spark] 아파치 스파크 - 3가지 핵심요소 (통합, 컴퓨팅엔진, 라이브러리)

[ 본 페이지는 스파크 완벽 가이드 (Spark - the Definitive Guide) 책을 토대로 작성되었습니다 ] 막연하게 스파크(Spark)를 처음 공부하면, 당최 이 스파크라는 친구가 '뭐하는 녀석일까?' 라는 생각에 잠길 수 있습니다. 데이터를 저장하고, SQL도 사용하고, 파이썬 연동도 되고... 물론 숙련된(?) 데이터 엔지니어나 학습자 같은 경우에는 아니겠지만, 처음 빅데이터 세계에 입문했다면 스파크를 DBMS와의 차이점을 찾아내기가 쉽지 않을수도 있습니다. 책의 내용을 빌려 스파크를 설명하자면 스파크는 '빅데이터를 위한 통합 컴퓨팅 엔진과 라이브러리 집합' 입니다. 그렇다면 스파크가 어떻게 기존 DBMS와 다르고, 또 다른 빅데이터 플랫폼인 하둡과는 또 어떻게 다른지 핵심 3요소를 살..

[하둡] MapReduce란? (MapReduce기초1)

MapReduce는 2004년에 구글에서 발표한 데이터 처리 알고리즘입니다. Hadoop의 MapReduce는 구글이 발표한 MapReduce 논문을 자바로 구현한 애플리케이션이라고 생각하면 됩니다. MapReduce의 뜻은 함수형 프로그래밍에서의 map 함수와 reduce 함수의 합성어인데요. 구체적으로 map은 'collection에 있는 모든 원소에 적용되는 변환 함수'라고 할 수 있으며, reduce는 '각 원소에 집계함수를 적용하는 함수'라고 알고 넘어가면 되겠습니다. 하둡을 처음 공부하게 되면, 너무 많은 용어가 혼재되어 다가오기때문에 굉장히 어지럽고 복잡하게 느껴지실텐데요. 저의 이해를 위해서 최대한 간단하게 간추려서 직관적으로 설명하겠습니다. 따라서 틀린 내용이 있다면, 남겨주신다면 수정 ..

[M1 맥북] Java 설치 / 재설치 방법 / 삭제 방법

M1 맥북으로 Java 설치하는 방법에 대해 공유하도록 하겠습니다. 사실 hadoop을 이용하지 않는다면, 단순하게 brew를 통해 java설치를 진행해도 문제가 없다라고 느껴집니다. 하지만 필자처럼 hadoop 환경을 본인 맥북 로컬 환경에 설치 & 구동 하고자 하는 분들은 java 버전을 필수적으로 맞춰주어야 합니다. 따라서 저는 기존의 java 19 버전을 삭제 -> 11버전으로 재설치 과정을 거쳤습니다. M1 맥북 프로에서 기존 자바 삭제 방법 다음과 같은 과정을 통해 설치된 자바를 삭제할 수 있습니다. terminal창에 다음 명령을 복하여 붙여넣습니다. sudo rm -fr /Library/Internet\ Plug-Ins/JavaAppletPlugin.plugin sudo rm -fr /Li..