Zookeeper5 Cluster : The Beginning - HBase 1.2.6 설치 목차 1. Cluster : The Beginning - Hadoop, HBase 그리고 Kafka 2. Cluster : The Beginning - Raspberry pi에 MQTT (EMQ) 설치하기 3. Cluster : The Beginning - Raspberry pi에 HAProxy 설치하기 4. Cluster : The Beginning - Raspberry pi에 Apache Kafka 설치하기 5. Cluster : The Beginning - Apache Kafka와 EMQ 연동 6. Cluster : The Beginning - Hadoop 2.9.0 설치 7. Cluster : The Beginning - HBase 1.2.6 설치(이번 글) 8. Cluster : The Begi.. 2018. 1. 19. Cluster : The Beginning - Raspberry pi에 Apache Kafka 설치하기 목차 1. Cluster : The Beginning - Hadoop, HBase 그리고 Kafka 2. Cluster : The Beginning - Raspberry pi에 MQTT (EMQ) 설치하기 3. Cluster : The Beginning - Raspberry pi에 HAProxy 설치하기 4. Cluster : The Beginning - Raspberry pi에 Apache Kafka 설치하기 (이번 글) 5. Cluster : The Beginning - Apache Kafka와 EMQ 연동 6. Cluster : The Beginning - Hadoop 2.9.0 설치 7. Cluster : The Beginning - HBase 1.2.6 설치 8. Cluster : The Beg.. 2017. 12. 25. 무식쟁이 독서 일기 - 3 무식쟁이 독서일기5월달에 탄력을 좀 받아서 바로 2권의 책을 더 읽었다. 기술 서적 한 권과 인문학 서적 한 권… 인문한 서적 한 권은 유발 하라리의 ‘사피엔스’였는데 안타깝게도 불쾌한 독서 경험을 하게 되었다. 초반에는 별도의 포스팅을 할애해서 제대로 서평을 써보고자 했으나 서평을 쓰는 것 조차 낭비라는 생각이 들어 여기에 간략히 적고 말겠다…-.- Zookeeper 플라비오 융케이라 (Flavio Junqueira)/벤자민 리드(Benjamin Reed) 저 에이콘 출판 기술 서적 치고는 설명이 상세하게 잘 되어있다. 분산 처리라는 기술이라는 것이 결코 쉽지 않은 것인데 Zookeeper가 잘 설계 된 것인지 책에서 설명을 잘 하고 있는 것인지 어렵지 않게 읽었다. 하지만 실 사용은 여전히 어렵다. .. 2016. 6. 4. [간보기 | Kafka] 정리를 마치며 Kafka 정리를 마치며분산 시스템 관리의 어려움 얼추 node 모듈을 이용한 kafka 서비스가 구현이 된 것 같았다. 트위터 Streaming API를 이용하여 데이터를 잘 가져오고, producer는 이 데이터를 broker에게 잘 전달하고, consumer는 broker로부터 데이터를 잘 가져와 로그를 뿌려주고… 하지만 어느 순간 이러한 프로세스가 중지되어있기 일쑤였다. zookeeper쪽이나 kafka쪽이나 서버 콘솔에 출력되는 로그는 대체로 네트워크가 끊겼다는 메시지인데 도대체 이 문제가 어떤 원인으로 발생하는 지를 알 수가 없는 것이다. 애초에 분산 시스템에서 장애의 원인을 찾는 것은 매우 어려운 일이라는 것은 알고 있었지만 아무리 작은 클러스터라도 이 문제를 직접 겪으니 참 답이 안나온다... 2016. 5. 20. [HBase] 쉽지만 쉽지 않은 설치... 하둡 설치 후 꽤 오랜 시간이 흘렀다.그간 회사 업무가 바쁜 것도 있었지만 엄청나게 간단하다면 간단한 zookeeper와 HBase의 설치와 설정에서생각 외로 많은 시간을 잡아먹었다. 그사이 Streaming API를 통해 축적한 트위터 데이터는 53Gb에 이르고 있다.얼른 HBase를 설치하여 담아야 하는데… 사실 zookeeper와 HBase의 경우 너무서 설치와 설정이 간단해서 오히려 많은 자료들을 참조한 것이 더 혼란을 가져왔다. 디테일한 차이가 얼마나 영향을 끼치는지 모르는 상황에서는 이것저것 다 해볼 수밖에없기에 시간도 그만큼 많이 걸리고… 암튼 시행착오의 역사를 적는다…-.- 1. zookeeper를 설치하지 않다! 우선 HBase 완벽가이드를 참조해서 설치를 시작했는데…이 책이 완벽하지 않.. 2013. 12. 19. 이전 1 다음 반응형
