하둡(Hadoop) 설치하기[#1] - 설치 준비

  데스크탑이 너무 느려져서 포맷을 했더니, VirtualBox에서 하둡 관리노드가 있던 가상 OS만 복구가 안되는 상황을 맞이하게 되었습니다.;;
  이번 기회에 다시 한번 하둡을 설치하면서 여기에 그 과정을 정리해보고자 합니다.
  설치 할 하둡 관련 정보는 아래와 같습니다.

- Hadoop : 2.10.0
- OS : CentOS 8 (VirtualBox 6에 설치 완료)
- Java : JDK 7 (설치 완료)

 

1. 사전 작업 - 자바 설치

  하둡을 설치하기 위해서는 우선 자바가 설치되어있어야 합니다. 각 하둡 버전에 적합한 자바 버전은 하둡 위키를 참고하면 됩니다.

▶ URL : https://cwiki.apache.org/confluence/display/HADOOP2/HadoopJavaVersions

 

  JDK 7 설치 방법은 아래 블로그 내용을 참고하면 됩니다.

▶ URL : https://sparkdia.tistory.com/6

 

2. OS 그룹/사용자 추가

  하둡관련 디렉토리의 권한 관리를 위해 리눅스 그룹과 사용자를 추가하고 sudo 권한을 부여해보겠습니다.

  먼저, 그룹 hadoop 을 생성합니다.

> sudo groupadd -g 10000 hadoop

  그룹의 생성 결과는 /etc/group 파일 내용을 확인해보면 됩니다.

 

  방금 생성한 hadoop 그룹에 속하는 사용자 hduser를 만들어보겠습니다.

>sudo useradd -g hadoop -u 10000 hduser

  사용자 생성 결과는 /etc/passwd 파일 내용을 확인해보면 됩니다.

  hduser 계정의 비밀번호를 변경하고

> sudo passwd hduser

  Sudo 권한을 부여해주겠습니다. Sudo 권한 부여는 /etc/sudoers 파일에 사용자 계정과 권한 설정 내용을 추가해주면 되는데, 해당 파일은 읽기 권한만 설정되어 있기 때문에 쓰기 권한 부여 후 파일 내용을 수정해줘야 합니다.

  /etc/sudoers 파일 하단에 아래 내용을 추가합니다. 

hduser  ALL=(ALL)       NOPASSWD: ALL

  /etc/sudoers 설정 내용은 탭으로 항목을 구분하며 '사용자 \t 호스트 \t 명령어' 설정 정보를 입력해주면 되는데, 전체 대상으로 모든 권한이 필요하므로 위와 같이 입력하도록 합니다.

 

 

3. 설치파일 다운로드

  하둡 설치 파일을 다운로드 하기 위해 우선 하둡 홈페이지의 다운로드 사이트로 이동합니다.

▶URL : https://hadoop.apache.org/releases.html

Hadoop download 페이지

  하둡 설치 파일을 다운로드 할 때, 하둡 버전 외에도 두 가지 설치 방법에 따라 다운로드 해야 할 대상 파일이 달라집니다.

  1. Source(Java) 파일을 다운로드 받아 컴파일하기.
  2. Binary 파일을 받아 설치하기.

  하둡 개발을 목적으로 설치를 한다면 다운로드 페이지의 'Source download' 항목에서 원하는 버전의 'source'를 클릭하면 됩니다. 필자는 Map-Reduce 테스트를 위한 하둡 환경이 필요하므로, 2.10.0 버전의 Binary download를 클릭하였습니다.

  그러면 위와 같이 설치 파일을 다운로드 받을 수 있는 Mirror site가 list-up된 페이지를 볼 수 있습니다. 이 중에서 원하는 사이트를 선택하여 설치 파일을 다운로드 받으면 됩니다. 만약, 원격 서버나 가상 서버 내에 파일을 저장해야 한다면 해당 URL을 복사한 뒤 설치 대상 서버에서 wget을 이용해 파일을 다운로드 합니다.

> sudo wget http://mirror.apache-kr.org/hadoop/common/hadoop-2.10.0/hadoop-2.10.0.tar.gz

 

4. 설치 파일 압축풀기

  다운로드 된 파일을 확인해보겠습니다.

  위와 같이 다운로드한 파일은 압축된 상태이며, 설치를 위해서 압축을 풀어줘야 합니다. /usr/local 디렉토리에 파일을 압축해제하겠습니다.

>  sudo tar -zxvf ./hadoop-2.10.0.tar.gz -C /usr/local/

  압축 해제된 파일들의 사용자와 그룹은 hduser와 hadoop으로 변경해줍니다.

> sudo chown -R hduser:hadoop /usr/local/hadoop-2.10.0/

 

5. bashrc 설정

~/.bashrc 파일을 열어서 HADOOP_HOME 변수를 추가하고, PATH에 하둡 실행 파일을 위한 경로도 추가해줍니다.

export HADOOP_HOME=/usr/local/hadoop-2.10.0/
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin/:$HADOOP_HOME/sbin

 

  이것으로 하둡 설치를 위한 사전 작업이 완료되었습니다.
  이어서, 하둡 실행을 위한 설정 변경 작업을 진행해보도록 하겠습니다.

> 하둡(Hadoop) 설치하기[#2] - 하둡 환경 설정하기