[옛 글] [BigData] MapReduce - 성능 3

최초 작성일 : 2013/04/17 13:17 

Effect of Backup Task

Figure 3 (b)에서 우리는 backup task들이 비활성화된 정렬 프로그램의 실행을 볼 수있다.

프로그램 실행의 흐름은 과도한 쓰기 작업이 있는 경우에 완료 시점까지 long tail 현상이

나타난다는 것을 제외하면 Figure 3 (a)와 유사하다.

960초 이후 5개의 reduce task들을 제외한 모든 수행이 완료되었다. 그러나 이 마지막의

straggler들은 이후 300초가 지날 때까지 끝나지 않았다. 모든 연산은 1283초가 걸렸으며

소요시간이 44% 증가하였다.

Machine Failure

Figure 3 (c)에서는 연산 중에 1746개의 작업자를 제외한 200개의 작업자를 의도적으로

몇분간 중지시킨 상태의 실행을 보여준다.

x축 아래로 내려간 클러스터 스케쥴러는 즉시 머신들 상의 새 작업자로 재시작 되었다

(프로세스들이 죽었지만 머신들은 여전히 정상적으로 동작했다).

작업자가 죽는 것은 앞서 완료됐어야 할 몇몇 map 작업이 사라졌고(통신할 map 작업자가 죽었고)

그리고 이전 상태로 되돌려져야 하기 때문에 마이너스 입력 속도를 보여준다.

이러한 map 작업의 재실행은 비교적 신속하게 이루어진다.

전체 연산은 시작시의 부하를 포함해 933초만에 끝났다(일반적인 수행에 비해 단지 5%만 상승했다).