[옛 글] [BigData] MapReduce 개요

최초 작성일 : 2013/05/30 15:24 

맵 리듀스 개요

맵 : 

- 원시 데이터를 key-value 쌍의 중간 파일로 만든다.

- 입력데이터가 있는 노드에서 맵 함수가 수행되는 것이 가장 좋다 (지역성 최적화)

- 맵 함수에 전달되는 입력 데이터는 라인 offset을 키로, 해당 라인 내용을 value로 하는 형태로 구성된다.

- 맵 함수는 이 입력값들로부터 필요로 하는 key와 value를 추출한다.

- 이 과정에서 잘못된 레코드를 제거하는 기능도 수행한다.

- 맵 task의 실행 결과는 HDFS가 아닌 로컬 디스크에 저장된다. (HDFS와 로컬 디스크의 개념을 명확히 구분하자)

  이유는 맵의 결과물은 단지 리듀스 함수로 전달하기 위한 중간 결과물일 뿐이며 모든 잡이 완료되면

  버려도 되는 데이터이기 때문이다.

리듀스 : 

- 각 맵 task들의 결과물들을 입력으로 받아 최종 결과물을 생성한다.

- 각 노드에 있는 맵 task의 결과물들을 입력으로 받으므로 지역성 최적화의 영향이 없다.

- 리듀스의 결과물은 안정성을 위하여 HDFS에 저장된다.

셔플 : 

- 맵 task의 결과물을 리듀스 task로 보내기 전의 중간 가공 단계

- key에 대한 정렬이나 그룹화 및 파티셔닝 작업이 이루어진다.

- 정렬은 말 그대로 정렬이며 그룹화는 같은 key로 묶는 것, 그리고 파티셔닝은 리듀스 task가 2개 이상인 경우

  결과물을 각각의 리듀스 task에 분배하기 위해 특정 기준으로 쪼개는 작업이다.

- 때때로 셔플 작업이 없을 수도 있으며 이런 경우에는 리듀스 task도 없는 맵 task만으로 이루어진

  job이 수행된다. 또한 이 상태에서는 맵 task의 결과가 HDFS에 저장된다.

컴바이너 : 

- 맵 task의 결과물을 네트워크를 통해 리듀스 task로 이동시키는 과정을 최적화하기 위한 방법 중 하나

- 같은 key를 가진 value들을 리스트로 묶어 새로운 key-value쌍을 만든다.

  즉 {key1, value1}, {key1, value2}를 {key1, list(value1, value2)}의 형태로 만드는 것이다.

- 주로 연합 연산(합계, 카운팅, 최대값 등)에 사용된다.

- 컴바이너를 사용하게 되면 맵 task 결과물의 사이즈를 줄일 수 있다. 즉 네트워크의 트래픽량을 줄일 수

  있게 되는 것이다.