분류 전체보기1193 [옛 글] 재미는 어디에서 오는가? 글 이전일 : 2013/05/03 15:36 최초 작성일 : 2008.10.01 http://www.zdnet.co.kr/news/enterprise/0,39031021,39173585,00.htm 어느 시점이 기준인지는 딱부러지게 짚어내지 못하겠지만 그 이전에는 취미라는 것과 직업이라는 것은 전혀 별개의 문제였다. 한주일간 열심히 일을 하고 주말을 맞아 낚시를 떠나고 바둑을 두고 책을 읽고... 좀 더 젊어지면 만화를 보고, 게임을 하고... 그러던 것이 그 이후에는 취미 생활을 열심히, 아주 열심히 한 사람들을 중심으로 취미가 직업으로 발전을 하게 되었다. 좋은 낚시터와 그 곳에서 잘 잡히는 어종을 분석하여 잡지에 기고를 하고, 서평을 쓰고, 직접 창작에 참여를 한다든가 비평을 하고... 이렇게 예전.. 2013. 7. 19. [옛 글] 유기적인 프로젝트 팀 구성의 필요성 글 이전 일 : 2013/05/03 15:34 요건 전전 블로그에서 전 블로그로 옮겨온 글...^^;;; 최초 작성일 : 2008.09.25우리 나라의 SI 프로젝트 진행에 있어서 가장 문제가 되는 부분중의 하나는 프로젝트를 진행하는데 필요한 인력의 구성에 있다.프로젝트가 하나의 목표를 향해 다수의 사람들이 힘을 합쳐 나가는 과정이라고 봤을 때 그 구성원들의 팀워크의 중요성에 대해서는 더이상 강조할 필요 조차 없는 문제이다.현재 대부분의 SI 프로젝트의 팀 구성 형태를 보면 대분이 다수의 주 계약 업체 직원들과 그 아래 도급업체를 통해 고용한 인력 그리고 소수의 프리랜서들로 이루져 있다. 이런 환경에서는 유기적인 프로젝트 팀이 되기 어려우며 주 계약 업체의 결정 사항을 타 인력들이 수동적으로 따르는 관계.. 2013. 7. 19. [옛 글] [BigData] MapReduce - 관련 작업 1 최초 작성일 : 2013/05/03 13:04 ============================================= 문서의 막바지에 다다르니 전문 용어 및 원서와 논문들의 인용구가 많아독해에 어려움이 많네요...ㅠ.ㅠ 이미 앞서 올린 글을 통해 발번역인 거 다 아셨으니 그냥 그러려니 하고 보세요...ㅠ.ㅠ============================================= Related Work 많은 시스템들이 제한된 프로그래밍 모델들을 제공하고 자동으로 연산의 병렬화를 하는데 그 제약을 사용한다.예를 들면 associative 함수는 parallel prefix computations[6, 9, 13]을 이용하여 N개의 프로세서 상에서log N의 시간 동안 N개의 요소를 가진 .. 2013. 7. 19. [옛 글] [BigData] MapReduce - 대규모 indexing 최초 작성일 : 2013/04/23 12:47 지금까지의 MapReduce 사용에 있어 가장 주목할만한 점 한가지는 구글의 웹 검색 서비스에 사용되는데이터 구조를 생성하는 production indexing 시스템을 완전히 다시 작성했다는 것이다.indexing 시스템은 우리의 crawling 시스템이 검색해오는 대량의 문서 셋을 입력값으로 받아GFS 파일 셋으로 저장한다. 이러한 문서 셋의 원본 내용들은 20 테라바이트 이상의 데이터들이다.indexing 수행은 5개에서 10개 정도의 MapReduce 업무가 순차적으로 진행되면서 이루어진다.(이전 버전의 indexing 시스템에서 ad-hoc distributed passes를 사용하는 대신에)MapReduce를이용하는 것은 몇가지 이익을 준다. • .. 2013. 7. 19. [옛 글] [BigData] MapReduce - 경험 최초 작성일 : 2013/04/19 12:57 Experience MapReduce 라이브러리의 최초 버전은 2003년 2웖에 만들어졌다.그리고 locality 최적화, 작업자 머신들 간에 task 수행에 있어서의 동적인 로드 밸런싱 등 괄목할만한 개선이 2003년 8월에 이루어졌다. 그 때부터 우리는 우리가 작업하는 곳에서 발생하는 다양한 문제점을 해결하는데 MapReduce 라이브러리가얼마나 광범위하게 적용 가능한지를 알고 환호했다. MapReduce는 Google 내의 광범위한 도메인에 사용되어 다음과 같은 역할을 하였다. * 대규모 머신에서 배우는 문제들* 구글 뉴스와 Froogle의 생산물에 대한 클러스링 문제들* 인기있는 쿼리들(Google Zeitgeist같은)의 보고서에서 만들어지는 데이터.. 2013. 7. 19. [옛 글] [BigData] MapReduce - 성능 3 최초 작성일 : 2013/04/17 13:17 Effect of Backup Task Figure 3 (b)에서 우리는 backup task들이 비활성화된 정렬 프로그램의 실행을 볼 수있다.프로그램 실행의 흐름은 과도한 쓰기 작업이 있는 경우에 완료 시점까지 long tail 현상이나타난다는 것을 제외하면 Figure 3 (a)와 유사하다. 960초 이후 5개의 reduce task들을 제외한 모든 수행이 완료되었다. 그러나 이 마지막의straggler들은 이후 300초가 지날 때까지 끝나지 않았다. 모든 연산은 1283초가 걸렸으며소요시간이 44% 증가하였다. Machine Failure Figure 3 (c)에서는 연산 중에 1746개의 작업자를 제외한 200개의 작업자를 의도적으로몇분간 중지시킨 상.. 2013. 7. 19. [옛 글] [BigData] MapReduce - 성능 2 최초 작성일 : 2013/04/11 12:22 Sort sort 프로그램은 10의 10승개의 100바이트 크기 레코드들을 정렬한다.(약 1테라바이트의 데이터이다.)이 프로그램은 *TeraSort benchmark 이후에 모델링 되었다. 소팅 프로그램은 50 줄도 안되는 사용자 코드로 구성되어있다.3줄의 Map 함수는 text문서의 라인으로부터 10바이트의 정렬 키를 추출하고이 키와 원래 문서의 라인을 key/value 쌍으로 뽑아낸다. 우리는 라이브러리에 내장되어있는 Identity(항등)함수를 Reduce 연산자로 사용할 것이다.이 함수는 중간형태의 key/value 쌍을 아무 변화 없이 출력 key/value 쌍으로 보낸다.정렬된 최종 출력은 2방향으로 복제된 GFS 파일로 저장된다.(프로그램의 출력.. 2013. 7. 19. [옛 글] 딸 바보의 딸 걱정... 최초 작성일 : 2013/04/09 22:49 나는 딸만 둘이다. 첫째는 정말 수월하게 키운 것 같다. 아기 때도 그랬었고 7살이 된 지금도 딱히 미운짓이라곤 하지 않는다. 그런데 둘째는 좀 다르다. 아기적에는 안아주지 않으면 잠을 안자서 무척 고생했다. 그 것도 한 여름에... 지금은 엄청난 고집으로 온 식구의 분노 게이지를 상승시킨다. 특히나 지 언니가 가진 것은 무엇이든 달라고 떼를 쓴다. 오늘의 주인공은 이 둘째 녀석이다. 둘째는 좀 독특한 구석이 있는데 4살 (정확히는 35개월)이라는 나이에는 좀 지나칠 정도로 꼼꼼하다. 작년에만 해도 수건을 주로 가지고 놀았는데 이 수건을 접다가 조금이라도 4 귀가 맞지 않으면 그게 맞지 않았다고 울고불고 난리였다. 뭔가를 먹다가 살짝이라도 입가에 묻으면 닦아.. 2013. 7. 19. [옛 글] 봄맞이... 최초 작성일 : 2013/04/03 14:51 봄맞이 2013. 7. 19. 이전 1 ··· 67 68 69 70 71 72 73 ··· 133 다음 반응형
