분류 전체보기1193 [옛 글] [BigData] 하둡 - 소소한 정보들 1 최초 작성일 : 2013/05/21 13:01 이 글에 적는 내용은 2013년 1월 3일 길벗사에서 간행한'대용량 데이터 분석 및 처리를 위한 hadoop nosql' (서상원, 김재홍, 박윤성, 이준섭, 명재석 저)의전자책 버전에서 발췌한 내용입니다.중요한 내용이 있을 때마다 이러한 정보들을 정리해 올리도록 하겠습니다. ========================================================== 1. 하둡은 크게 HDFS와 MapReduce의 두 부분으로 구성되어있으며 HDFS는 네임노드, 세컨더리 네임노드, 데이터노드를 동작시키고 MapReduce는 잡 트래커와 태스크 트래커를 동작시킨다. 네임노드와 잡 트래커는 마스터 노드(네임노드)에서, 데이터노드와 태스크 트래커는 슬.. 2013. 7. 19. [옛 글] [BigData] 하둡 - wordcount 예제 실행 최초 작성일 : 2013/05/20 13:15 일단 설치와 설정을 끝마쳤다고 생각하고 샘플 job을 수행해보기로 했다.하지만 아래의 명령을 실행시켜도 map:0% reduce:0%에서 더이상 진행이 없었다. 예제 실행 코드 ./hadoop jar ../hadoop-examples-1.0.4.jar wordcount input output input : 원본 문서가 있는 곳output : 결과 문서가 저장될 곳 아직도 분산이라는 환경에 익숙하지 않은 탓에 계속 네임노드쪽 로그만 뒤적거리면서 원인을 찾으려고 했다.하지만 네임노드쪽 로그에는 딱히 이렇다할 에러도 기록된 것이 없어 원인을 찾은데 시간만 잡아먹고 있었다. 그러다가 데이터노드 쪽으로 관심을 돌려 데이터노드의 로그를 살피기 시작했고 여기서 문제의 실.. 2013. 7. 19. [옛 글] [BigData] 하둡 설치 - 놓치는 것들에 대해 최초 작성일 : 2013/05/16 13:37 미리 말씀드리지만 이 글은 설치 안내가 아니라 설치 중에 실수할 수 있을만한 부분에 대해적은 글입니다. 설치 전반에 대해 참고한 글은 본문 중에 링크를 하였으니 참고하세요...^^ ========================================================= 원래는 교재와 함께 천천히 실습을 진행할 계획이었는데…지난 한 달 간 되지도 않는 영어실력으로 문서 번역한다고 삽질을 해놨더니 조급증이 생겨서우선 하둡부터 설치를 하고 봤다. 애초 예정대로 대상 머신들은 모두 애플의 맥 기종으로 맥북 프로1대 맥미니 서버 1대 맥미니 1대이며이 중 맥북프로와 맥미니 서버는 같은 네트워크 대역에 있으나 맥미니 1대는 다른 네트워크 대역에 있다.다음.. 2013. 7. 19. [옛 글] [BigData] 실습 준비 최초 작성일 : 2013/05/15 13:28 앞서 용어 정리도 해보았고또 없는 실력에 구글의 MapReduce에 대한 논문도 한 편 번역을 해 보았다.이제 실습을 진행할 단계인데...여전히 지식은 부족하다.해서 교재가 한 권 필요한데...우선 현재 보유하고 있는 Hadoop 관련 서적이 한 권있어서 이 책을 기반으로 실습을 진행하려고 한다. 교재 제목 : Hadoop 완벽 가이드저자 : 톰 화이트역자 : 심탁길, 김우현출판사:O'REILLY, YAHOO RESS, 한빛미디어초판 발행일 : 2010년 5월 30일 일단 발행일이 2010년이라 좀 오래된 감은 있지만 기본 적인 내용에 대한 변화는없으리라 믿고 일단 진행한다. 우선 이 책을 진행 하다가 현재의 버전과 차이가많이 난다면 그 때 새 교재를 고려해.. 2013. 7. 19. [옛 글] [BigData] 결론 최초 작성일 : 2013/05/15 13:05 드디어 마지막 결론입니다~~~! 그동안 발번역을 열심히 보아주신(분이 계시다면) 경의를 표합니다...^^;;;이제 다음 주부터는 실무 연습으로 들어가야겠네요.자세한 계획은 다음 글에...^^;;; 감사합니다.============================================= 결론 MapReduce 프로그래밍 모델은 구글에서 여러가지 서로 다른 목적을 위해 성공적으로 사용되고 있다.우리는 몇가지 이유로부터 이러한 성공의 결과를 찾고 있다. 첫 번째로 MapReduce의 프로그래밍 모델은 병렬화, 고장 방지, 지역 최적화, 로드 밸런싱 등의 세부적인부분을 모두 라이브러리 내부에 감추고 있기 때문에 사용하기 쉽고 심지어 병렬이나 분산 시스템에 대한 .. 2013. 7. 19. [옛 글] [BigData] MapReduce - 관련 작업 2 최초 작성일 : 2013/05/09 12:26 이제 마지막 여덟 번 째 섹션인 '결론'만 남았네요.결론까지 다 번역하고 나면 드디어 기다리고 기다리는 실제 구축 연습니다.빈약하지만 열심히 장비도 준비를 해놓았네요...^^;;; 오늘도 발번역 나갑니다. ============================================================= Related Work 2 MapReduce 라이브러리의 일부인 정렬 장치는 *NOW-Sort 수행과 유사하다. 소스 머신들(map 작업자들)은정렬을 위해 데이터를 분할하고 분할된 데이터를 R개의 reduce 작업자 중 하나에게 전달한다. 각각의 reduce작업자들은 로컬상에서 그 데이터들을 정렬한다(가능하다면 메모리상에서 수행한다). 물론 NOW.. 2013. 7. 19. [옛 글] 40에 도착...그리고...새로운 출발을 꿈꾸다 글 이전일 : 2013/05/03 15:52 최초 작성일 : 2009.01.12 *** 2009년에 난 40이 되었고... 40살의 난 이런 꿈을 꾸고 있었구나...^^;;; ============================================= 해가 바뀌면때론 무감각하게 때론 색다른 감상을 가지고 송구영신 하게 되지만10년 주기의 해맞이는 늘 무언가를 생각하고 결심하게 만든다.그러기를 이제 네 번째... 이 네번째의 10주년 해맞이 역시 나는 새로운 출발에 대한 꿈을 꿔본다.아니 좀 더 정확하게 말하자면. 내 주변의 모든 것들이 나를 꿈꾸게 한다. 그저 그런 대학을 졸업한 후 그저 그런, 혹은 그보다 못한 회사를 전전하면서벌이는 그저 내 나이대의 평균은 되겠지 하고 그저 현재 먹고 살기에 큰.. 2013. 7. 19. [옛 글] 솔루션 개발의 허와 실 글 이전일 : 2013/05/03 15:50 최초 작성일 : 2008.12.10 많은 소규모 SI업체들이 상황이 어려워질 때마다 입버릇 처럼 하는 말이 있다. '솔루션 하나 만들어야지...' 사실 영업에 전적으로 의존을 하여 프로젝트를 수주하는 것으로 연명하는 소규모 SI업체에게 있어서하루 하루가 불안한 연속이 아닐 수 없다. 그래서 안정적인 회사 운영의 기반으로 그럴 듯한제품 하나 만들어서 팔아먹는 것은 마치 은행에 큰 돈을 예치하고 여유있게 이자를 타먹는아주 여유로운 기분일 것이다. 하지만 모두 알고있거니와SI업체로 시작해서 쓸만한 솔루션을 만든 회사는 아직 본 적이 없다.얼핏 수많은 프로젝트를 거치면서 쌓이 Knowhow를 통해 무언가 그럴듯한 솔루션이 나올법도 한SI업체에서 제대로 된 솔루션이 나.. 2013. 7. 19. [옛 글] Hybrid Office 또는 Servlication 글 이전일 : 2013/05/03 15:40 최초 작성일 : 2008.10.17 *** 호오...이건 내가 생각해도 대견한 걸... 이유야 다를지 모르겠지만 현재도 하이브리드 클라우드가 부각되고 있는데...2008년에 내가 그런 생각을 했다니...@.@ ============================================== 최근 다가올 IT 기술의 핵심적인 내용으로 Cloud Computing이 두각을 나타내고 있다 모두가 Cloud Computing에 열광하면서 이 것이 가져올 미래에 대해 성스러운 전도를 하고 있는 시점에서 자유 소프트웨어 재단의 기수인 리챠드 스톨만은 Cloud Computing이 결국은 IT 환경을 특정 기업에 종속되도록 만들고 사용자들은 더이상 자유롭게 원하는 소프트.. 2013. 7. 19. 이전 1 ··· 66 67 68 69 70 71 72 ··· 133 다음 반응형