[Hadoop] Hadoop 설치 및 개요

2023.05.30 (Tue) 학습 정리
#Hadoop

---

1. Hadoop 개념

여러 개의 저렴한 컴퓨터를 마치 하나인 것처럼 묶어 대용량 데이터를 처리하는 기술

수천대의 분산된 장비에 대용량 파일을 저장할 수 있는 기능을 제공하는 분산파일 시스템과, 저장된 파일 데이터를 분산된 서버의 CPU와 메모리 자원을 이용해 쉽고 빠르게 분석할 수 있는 컴퓨팅 플랫폼인 맵리듀스로 구성

HDFS (분산 파일 시스템)	대량의 데이터를 다양한 형식으로 저장하고 Hadoop 클러스터 전반에 걸쳐 분산 애플리케이션 데이터에 대한 여러 엑세스를 처리하며 데이터 셋이 큰 애플리케이션에 적합함
MapReduce	대용량 데이터 셋의 병렬 처리에 사용되는 프로그래밍 모델이자 빅데이터 처리 엔진
YARN	하둡에서 실행되는 클러스터 리소스 관리, 태스크 계획 및 작업 예약에 사용

---

2. Hadoop 설치

2-1. Hadoop 설치 기본

• ssh localhost 접속설정

sudo apt-get update
sudo apt-get upgrade

sudo apt-get purge openssh-server #openssh servr 설치
sudo apt-get install openssh-server

sudo service ssh --full-restart
sudo service ssh restart

ssh-keygen -t rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

• hadoop 다운로드 및 압축 해제

mkdir ~/hadoop
cd ~/hadoop
wget https://dlcdn.apache.org/hadoop/common/hadoop-3.3.4/hadoop-3.3.4.tar.gz #다운로드
tar zxvf hadoop-3.3.4.tar.gz #압축 해제

• 환경변수 설정

vi ~/.zshrc #편집기 열기

# ~/.zshrc에 아래 내용 추가

# hadoop env
export HADOOP_HOME=~/hadoop/hadoop-3.3.4
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export PATH=$PATH:$HADOOP_HOME/bin

source ~/.zshrc # 터미널 재실행

• vi $HADOOP_CONF_DIR/core-site.xml : 하둡 hdfs와 상세 속성 정의

<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://localhost:9000</value>
        </property>
</configuration>

• vi $HADOOP_CONF_DIR/hdfs-site.xml : 하둡 데이터노드, 네임노드의 저장소 디렉토리를 설정

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/home/sub/hadoop/nodes/namenode01</value> # 경로 수정 必
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/home/sub/hadoop/nodes/datanode001</value> # 경로 수정 必
  </property>
</configuration>

• vi $HADOOP_CONF_DIR/mapred-site.xml : 맵리듀스 파일 값을 정의

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
  <property>
    <name>mapreduce.application.classpath</name>
    <value>$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*:$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*</value>
  </property>
</configuration>

• vi $HADOOP_CONF_DIR/yarn-site.xml : yarn 관련 세팅 정의

<configuration>
  <!-- Site specific YARN configuration properties -->
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
    <name>yarn.nodemanager.env-whitelist</name>
    <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
  </property>
</configuration>

2-2. Java 설치

• Java 설치

sudo apt-get update 
sudo apt-get install openjdk-8-jdk

• 설치 경로 확인

which java
# ls -l 로 심볼릭 경로의 원 경로 확인

• 환경 변수 설정

#~/.zshrc에 아래 내용 추가

# java env
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 #위에서 찾은 원경로로 환경변수 설정
export PATH=$JAVA_HOME/bin:$PATH
export CLASS_PATH=$JAVA_HOME/lib:$CLASS_PATH

• 설치 적용 및 자바 설치 확인

$ source ~/.zshrc

$ java -version
openjdk version "1.8.0_362"
OpenJDK Runtime Environment (build 1.8.0_362-8u372-ga~us1-0ubuntu1~22.04-b09)
OpenJDK 64-Bit Server VM (build 25.362-b09, mixed mode)

2-3. Hadoop 실행

• namedone format

hdfs namenode -format

• hdfs 실행

$ cd $HADOOP_HOME

$ sbin/start-dfs.sh
Starting namenodes on [localhost]
Starting datanodes
Starting secondary namenodes [********]

$  jps # 자바 프로세스 확인
34849 Jps
34658 SecondaryNameNode
34468 DataNode
34316 NameNode

• 정지

sbin/start-dfs.sh

---

3. Hadoop 기본 명령어

hdfs dfs -ls / # 파일 목록 확인

hdfs dfs -mkdir /user # 폴더 만들기
hdfs dfs -mkdir /user/sub ## 폴더는 순차적으로 생성 必

hdfs dfs -put /home/sub/sub.log /user/sub/ #upload

hdfs dfs -rm -r /user/sub/sub.log #삭제
hdfs dfs -mv /user/sub/sub.log /user/ #이동
hdfs dfs -cat /user/sub/sub.log #화면 출력