shuffle1 [옛 글] [BigData] MapReduce 개요 최초 작성일 : 2013/05/30 15:24 맵 리듀스 개요 맵 : - 원시 데이터를 key-value 쌍의 중간 파일로 만든다.- 입력데이터가 있는 노드에서 맵 함수가 수행되는 것이 가장 좋다 (지역성 최적화)- 맵 함수에 전달되는 입력 데이터는 라인 offset을 키로, 해당 라인 내용을 value로 하는 형태로 구성된다.- 맵 함수는 이 입력값들로부터 필요로 하는 key와 value를 추출한다.- 이 과정에서 잘못된 레코드를 제거하는 기능도 수행한다.- 맵 task의 실행 결과는 HDFS가 아닌 로컬 디스크에 저장된다. (HDFS와 로컬 디스크의 개념을 명확히 구분하자) 이유는 맵의 결과물은 단지 리듀스 함수로 전달하기 위한 중간 결과물일 뿐이며 모든 잡이 완료되면 버려도 되는 데이터이기 때문이다.. 2013. 7. 19. 이전 1 다음 반응형