Study159 [간보기 | Kafka] Kafka 무작정 실행하기 Kafka 무작정 실행하기참고한 자료들 지난 포스팅까지 Kafka의 개요를 알아보았다. 물론 수박 겉핥기 수준의 내용이었지만 더이상의 자세한 내용은 생략할 수밖에 없을 것 같다. 이미 많은 블로그에 보다 자세하고 정확한 내용들이 올라와있어 또다시 이 작업을 하는 것은 소모적인 일이 될 것 같아서이다. 게다가 내 짧은 지식으로는 잘못된 정보를 전달할 가능성도 높고…ㅠ.ㅠ 간단하게 참고한 블로그를 소개하자면 다음과 같다. http://epicdevs.com/17 http://blog.embian.com/category/Apache%20Kafka http://blog.jdm.kr/208 http://wiki.intellicode.co.kr/doku.php?id=개발:kafka 무작정 달려들기 일단 내가 kaf.. 2016. 4. 18. [간보기 | Kafka] Apache Kafka 개요 - 3 Consumer 일반적으로 메시징 시스템은 queuing 기반 모델과 publish-subscribe 기반의 모델로 나누어 볼 수 있다. queuing기반의 메시징 시스템은 sender가 queue에 쌓아 놓은 메시지를 pool에 있는 receiver중 하나에 각각 할당하는 방식이며 이 과정은 비동기적으로 이루어진다. (point-to-point) publish-subscribe기반의 메시징 시스템은 publisher가 메시지를 생성한 후 subscriber에게 broadcasting해준다. Kafka는 consumer group이라는 개념을 만들어 이 두가지 방식을 종합하고 있다. 토픽으로 발행된 메시지들은 분산된 프로세스나 장비에 있는 consumer 그룹 내의 consumer 중 오직 하나에게만 전.. 2016. 4. 3. [간보기 | Kafka] Apache Kafka 개요 - 2 Distributiontopic의 partition들은 Kafka 클러스터를 구성하는 서버들에 분산 저장이 된다. partition들은 내고장성을 위해 여러 서버에 복제되며 복제되는 서버의 수를 설정 할 수 있다. 각 partition은 1대의 leader 서버와 0대 이상의 follower 서버들로 구성된다.(즉, leader 서버 1대로도 Kafka 사용이 가능하다.)leader는 읽기 쓰기가 모두 가능하고 follower들은 leader의 데이터를 복제한다. 만일 leader가 고장나면 follower 중 한 대를 leader로 선출한다. 이런 구조로 클러스터 내에서의 부하가 적절히 분산된다. 지난 포스팅 (Apache kafka 시작하기)에서의 기억을 더듬어보면 일단 클러스터 내의 복제 서버는 총.. 2016. 3. 27. [간보기 | Kafka] Apache Kafka 개요 - 1 Apache Kafka 개요지난 글에서 kafka설치 및 설정, 그리고 서버 기동과 간단한 테스트를 진행해 보았다. 오늘은 kafka의 소개 내용을 간단하게 요약해보겠다. 이미 많은 블로그에 원문에 대한 번역에서부터 심층 분석까지 다양한 자료들이 포스팅 되어있으니 나는 그냥 개요만 짚어보련다~ kafka 공식 홈페이지의 indroduction을 보면 다음과 같은 내용으로 시작한다.Kafka is a distributed, partitioned, replicated commit log service. It provides the functionality of a messaging system, but with a unique design. 뭐 거의 동어 반복이다. 로그 저장에 대한 분산과 분할과 복제. 그.. 2016. 3. 26. [간보기 | kafka] Apache kafka 시작하기 Apache Kafka 시작하기참조 사이트http://kafka.apache.org http://epicdevs.com/20다행이 예전에 Hbase를 설치할 때 zookeeper를 설치해놓은 덕에 kafka를 설치하고 구동하는 과정은 그리 어렵지 않았다.아다시피 요즘 OS가 Windows만 아니면 binary 패키지를 다운로드 받고 적절한 위치에 압축 풀고 하면반은 된 것이나 다름 없다. kafka의 경우 $KAFKA_HOME/config/server.properties에 몇가지 설정만 한 후 기동시키면 된다. 다음은 내 PC 환경에서의 설정 및 구동 과정이다.PC 환경현재 맥미니 5대를 내부망으로 연결시킨 상태로 각각의 PC에 대한 정보는 /etc/hosts 파일에 설정이 되어있다. 대략 다음과 같다... 2016. 3. 20. [간보기 | Kafka] 3년만에 찾은 솔루션 kafka...ㅠ.ㅠ 이제야 발견한 Kafka하던 일도 제대로 못하면서 빅데이터 공부해보겠다고 꼴깝을 떤 것이 벌써 2013년 5월달 이야기네… 뭔가 새로운 것에 대해서는 남들 앞에서 한 마디나마 거들 수 있어야 하지 않을까 하는 밑도 끝도 없는 초조감이 나를 뻘짓거리의 함정으로 이끌었다. 뭔가를 시작하기 전에는 지름신을 영접하는 것이 당연한(?) 의례인지라 이 때도 지름신을 조금 과하게(…ㅠ.ㅠ) 영접했다. 맥미니 5대… 그리고는 한 동안은 신났다. Hadoop 설치하고 zookeeper 설치하고 Hbase 설치하고… 그리고…샘플 한 번 돌려보고? 끝이었나?…ㅠ.ㅠ 목표로 삼았던 것이 twitter의 데이터를 수집해서 이것 저것 분석하는 공부를 좀 해보고자 했는데… 이게 당최 감이 안잡히는 것이다. twitter API를 .. 2016. 3. 20. [HBase] 쉽지만 쉽지 않은 설치... 하둡 설치 후 꽤 오랜 시간이 흘렀다.그간 회사 업무가 바쁜 것도 있었지만 엄청나게 간단하다면 간단한 zookeeper와 HBase의 설치와 설정에서생각 외로 많은 시간을 잡아먹었다. 그사이 Streaming API를 통해 축적한 트위터 데이터는 53Gb에 이르고 있다.얼른 HBase를 설치하여 담아야 하는데… 사실 zookeeper와 HBase의 경우 너무서 설치와 설정이 간단해서 오히려 많은 자료들을 참조한 것이 더 혼란을 가져왔다. 디테일한 차이가 얼마나 영향을 끼치는지 모르는 상황에서는 이것저것 다 해볼 수밖에없기에 시간도 그만큼 많이 걸리고… 암튼 시행착오의 역사를 적는다…-.- 1. zookeeper를 설치하지 않다! 우선 HBase 완벽가이드를 참조해서 설치를 시작했는데…이 책이 완벽하지 않.. 2013. 12. 19. [옛 글] [BigData] 하둡 - 파일 읽고 쓰기 최초 작성일 : 2013/06/10 13:13 역시 PPT 정리는 어렵군요...ㅠ.ㅠ아래 이미지들은 한빛미디어의 Hadoop 완벽 가이드에 실린 내용을 재정리 한 것입니다.======================================================= 2013. 7. 19. [옛 글] [BigData] HDFS (Hadoop Distributed File System) 개요 1 최초 작성일 : 2013/06/05 13:02 HDFS (하둡 분산 파일 시스템)은 다음의 사항을 고려하여 설계되었다. 1. 대용량의 파일 : 수백 Mb에서 수백 Tb 혹은 Pb급 이상을 대상으로 함 2. WORM (Write Once Read Many) : 커다란 원본으로부터 데이터 셋을 만들어 그 데이터 셋을 분석한다. 그러기 위해서는 전체 파일을 읽어야 한다. 3. 범용 하드웨어 : 고성능의 신뢰도 높은 서버가 아닌 다수의 범용 머신으로 구성된 클러스터에서의 실행을 고려하였다. ========================================================위 내용에 대해서는 여러 번 반복되었기에 간단하게 적고 넘어간다. 그러나 간혹 'Big'이라는 용어의 함정에 빠져 잊기 쉬운.. 2013. 7. 19. 이전 1 ··· 12 13 14 15 16 17 18 다음 반응형
