Study159 [옛 글] [BigData] MapReduce - Locality 등... 최초 작성일 : 2013/02/25 12:56 ================================================================== 내용이 어려워짐에 따라 번역은 점점 발번역으로 치닫고 있습니다...ㅠ.ㅠ첫 글에 링크해드린 원문 문서를 참조해서 보세요...================================================================== Locality(지역성) 네트워크 대역폭은 우리의 컴퓨팅 환경에서 비교적 부족한 자원이다.우리는 클러스터를 구성하고 있는 머신들의 로컬 디스크에 GFS(Google File System)에 의해관리되는 입력 데이터를 저장함으로써 네트워크 대역폭을 절약할 수있다. GFS는 각각의 파일을 64Mb의 블럭으.. 2013. 7. 19. [옛 글] [BigData] MapReduce - master data structure와 고장 허용 범위 최초 작성일 : 2013/02/14 14:49 ================================================================== 내용이 어려워짐에 따라 번역은 점점 발번역으로 치닫고 있습니다...ㅠ.ㅠ첫 글에 링크해드린 원문 문서를 참조해서 보세요...================================================================== Master Data Structure master 프로그램은 몇가지 데이터 구조를 유지한다. 각각의 map task와 reduce task에 대해master는 그 상태(비가동, 프로세스 진행 중 또는 완료)와 그 작업자 머신의 식별자를 저장한다.(유휴 작업이 없도록 하기 위해) master는 map .. 2013. 7. 19. [옛 글] [BigData] MapReduce의 구현 최초 작성일 : 2013/02/05 15:23 ==============================================오늘은 MapReduce라이브러리와 이 라이브러리를 사용하는, 개발자가 작성한Map / Reduce 함수의 전체적인 프로세스를 설명하는 부분이며 삽입된 그림을기반으로 일련의 작업 순서를 설명하고 있습니다. 입력 데이터 사용자 프로그램 - master - map worker - reduce worker - 중간데이터 출력데이터 요러한 요소들의 관계를 집어가면서 보시면 될겁니다. 글이 긴 만큼 번역이 개판인데...그냥 그림 참조하셔서 보세요...^^;;;============================================== MapReduce 인터페이스는 다양한 형태로 .. 2013. 7. 19. [옛 글] [BigData] MapReduce - 조금 더 상세하게. 최초 작성일 : 2013/02/04 13:16 =======================================================나름 영문 문서를 해설 식으로 적어보고자 했으나...가면 갈수록 그냥 문서의 직역이 되고 있네요...ㅠ.ㅠ양해부탁드립니다.======================================================= 지난 시간에 살펴본 바와 같이 간단하게 말하면 Map은 논리적 레코드를 key-value형태의 중간 데이터로 만드는 작업을 수행하고reduce는 key-value를 가공하여 공통된 key를 가진 value들의 집합을 출력하는 작업을 수행한다. 요기에 대해 조금만(많이 하면 골치아픕니다…) 깊게 들어가보도록 하자. 아래와 같은 간단한 샘플코드가 .. 2013. 7. 19. [옛 글] [BigData] MapReduce란 무었인가? 최초 작성일 : 2013/02/01 17:15 ==============================================워낙에 영어 알레르기가 있는 놈이 영문 문서 보면서 발번역 하느라 토쏠립니다...ㅠ.ㅠ이점 감안하고 보시기 바랍니다...==============================================우선 앞선 글(http://www.prapps.net/587)에서 위키백과에서 정의한 내용을 간단하게적어보았다. 다음과 같은 내용이다.구글에서 분산 컴퓨팅을 지원하기 위한 목적으로 제작하여 2004년 발표한 소프트웨어 프레임워크다. 이 프레임워크는 페타바이트 이상의 대용량 데이터를 신뢰할 수 없는 컴퓨터로 구성된 클러스터 환경에서 병렬 처리를 지원하기 위해서 개발되었다. 이 프레.. 2013. 7. 19. [옛 글] [BigData] 학습 시작을 위한 용어 정리 최초 작성일 : 2013/01/31 14:58 Big Data : 기존 데이터베이스 관리도구의 데이터 수집·저장·관리·분석의 역량을 넘어서는 대량의 정형 또는 비정형 데이터 세트 및 이러한 데이터로부터 가치를 추출하고 결과를 분석하는 기술... 데이터 양(Volume),데이터 속도(Velocity),그리고 데이터 다양성(Variety) 등세 가지 요소의 복합적인 변화를 그 특징으로 한다. Big Data 분석 기법 : Text Mining(Text mining) : 텍스트 마이닝은 비/반정형 텍스트 데이터에서 자연 언어 처리 기술에 기반하여 유용한 정보를 추출, 가공하는 것을 목적으로 하는 기술이다.평판 분석 (Opinion mining) : 오피니언 마이닝은 소셜미디어 등의 정형/비정형 텍스트의 긍정,.. 2013. 7. 19. 이전 1 ··· 15 16 17 18 다음 반응형
