partitioning1 [옛 글] [BigData] MapReduce - 상세 기능 1 최초 작성일 : 2013/02/26 12:58 Map과 Reduce 함수를 작성하는 기본 기능이 대부분의 필요를 충족시켜주기는 하지만 여기서 보다 확장된 유용한 기능들을 설명하고자 한다. Partitioning Function MapReduce의 사용자는 그들이 원하는 reduce task들과 출력 파일의 수를 ( R )과 같이 명시한다.Data들은 중간 key를 이용하는 partitioning 함수에 의해 이 task들 상호간에 분할된다. 기본적인 분할 함수는 해싱을 이용해 제공된다.(예를들면 "hash(key) mod R" 과 같은 형태다)이러한 분할 함수는 꽤 균형이 잘 잡힌 분할을 만들어낸다. 그러나 몇몇 경우에는 다른 함수들이 데이터를분할하는데 더 유용하다. 예를들면 때때로 출력된 key들은 U.. 2013. 7. 19. 이전 1 다음 반응형