[옛 글] [BigData] 결론

최초 작성일 : 2013/05/15 13:05 

드디어 마지막 결론입니다~~~!

그동안 발번역을 열심히 보아주신(분이 계시다면) 경의를 표합니다...^^;;;

이제 다음 주부터는 실무 연습으로 들어가야겠네요.

자세한 계획은 다음 글에...^^;;;

감사합니다.

=============================================

결론

MapReduce 프로그래밍 모델은 구글에서 여러가지 서로 다른 목적을 위해 성공적으로 사용되고 있다.

우리는 몇가지 이유로부터 이러한 성공의 결과를 찾고 있다.

첫 번째로 MapReduce의 프로그래밍 모델은 병렬화, 고장 방지, 지역 최적화, 로드 밸런싱 등의 세부적인

부분을 모두 라이브러리 내부에 감추고 있기 때문에 사용하기 쉽고 심지어 병렬이나 분산 시스템에 대한 경험이 없는

프로그래머도 사용 가능하다.

두 번째로 매우 다양한 문제들을 MapReduce 연산으로 쉽게 표현할 수 있다.

예를 들면 MapReduce는 구글의 검색 서비스, 정렬이나 데이터 마이닝, *machine learning(기계 학습),

그리고 많은 다른 시스템들을 위한 데이터를 생산해내고 있다.

세 번째로 우리는 수천대의 머신으로 구성된 대규모 클러스터를 대상으로 MapReduce 구현을 개발했다.

이러한 구현은 이러한 머신 리소스들을 보다 효과적으로 사용 가능하도록 해주며 그래서 구글에 닥친

컴퓨터와 관련된 다수의 커다란 문제점들을 다루는데 적합하다.

우리는 이 작업으로부터 몇가지를 배웠다.

첫 번째로 프로그래밍 모델을 제한하는 것이 연산을 병렬화 분산화 시키는데 쉽고

이러한 연산의 고장 관리를 하는데 쉽다는 것이다.

두 번째로 네트워크 대역폭은 부족한 자원이라는 것이다. 우리 시스템의 다수의 최적화는

데이터를 네트워크를 통해 전송하는 전송량의 감소에 초점이 맞춰져있다:로컬 최적화는 로컬 디스크로부터

데이터를 읽을 수 있도록 해주고 단일 복사본의 중간 형태의 데이터를 로컬 디스크에 기록함으로써

네트워크 대역폭을 절약하게 해준다.

세 번째로 남아도는 실행은 느린 머신들, 머신의 고장 관리, 데이터 손실 등에 의한 악영향을 감소시키는데

이용 가능하다.

* machine learning

(1) 새로운 정보를 학습하고, 습득한 정보를 효율적으로 사용할 수 있는 능력과 결부시키는 지식 습득.

(2) 작업을 반복적으로 수행함으로써 결과를 얻어내는 기술의 개선 과정.

컴퓨터인터넷IT용어대사전