빅데이터/하둡

[하둡] MapReduce란? (MapReduce기초1)

MapReduce는 2004년에 구글에서 발표한 데이터 처리 알고리즘입니다. Hadoop의 MapReduce는 구글이 발표한 MapReduce 논문을 자바로 구현한 애플리케이션이라고 생각하면 됩니다. MapReduce의 뜻은 함수형 프로그래밍에서의 map 함수와 reduce 함수의 합성어인데요. 구체적으로 map은 'collection에 있는 모든 원소에 적용되는 변환 함수'라고 할 수 있으며, reduce는 '각 원소에 집계함수를 적용하는 함수'라고 알고 넘어가면 되겠습니다. 하둡을 처음 공부하게 되면, 너무 많은 용어가 혼재되어 다가오기때문에 굉장히 어지럽고 복잡하게 느껴지실텐데요. 저의 이해를 위해서 최대한 간단하게 간추려서 직관적으로 설명하겠습니다. 따라서 틀린 내용이 있다면, 남겨주신다면 수정 ..

[M1 맥북] 하둡(hadoop) 설치

안녕하세요. M1 맥북으로 하둡 설치하는 과정에 대해 다뤄보겠습니다. 상당히 복잡하게 느껴질 수 있으나, 아래의 흐름대로 설치하신다면 정상 작동하리라 생각됩니다. 1. 자바 설치 & 경로 설정 하둡을 정상적으로 구동하기 위해서는 자바가 설치되어 있어야 합니다. 또한 아무 버전의 자바가 아닌, 현재 시점 기준에서는 Java 8 또는 11 버전을 설치해야 합니다. 만약에 본인의 자바 버전이 둘중 하나가 아닐 경우 재설치가 필요합니다. 결국에는 하둡을 설치해도 정상적으로 작동할 수 없기 때문이죠. 자세한 내용은 아파치 하둡 공식 도큐먼트를 참고하시면 되겠습니다. 또한 m1맥북의 자바 재설치 방법은 제 블로그 내에도 기재된 포스팅이 있으니 참고하시면 도움이 되리라 생각됩니다. 아래는 자바와 관련된 체크리스트 입..

[M1 맥북] Java 설치 / 재설치 방법 / 삭제 방법

M1 맥북으로 Java 설치하는 방법에 대해 공유하도록 하겠습니다. 사실 hadoop을 이용하지 않는다면, 단순하게 brew를 통해 java설치를 진행해도 문제가 없다라고 느껴집니다. 하지만 필자처럼 hadoop 환경을 본인 맥북 로컬 환경에 설치 & 구동 하고자 하는 분들은 java 버전을 필수적으로 맞춰주어야 합니다. 따라서 저는 기존의 java 19 버전을 삭제 -> 11버전으로 재설치 과정을 거쳤습니다. M1 맥북 프로에서 기존 자바 삭제 방법 다음과 같은 과정을 통해 설치된 자바를 삭제할 수 있습니다. terminal창에 다음 명령을 복하여 붙여넣습니다. sudo rm -fr /Library/Internet\ Plug-Ins/JavaAppletPlugin.plugin sudo rm -fr /Li..