본문 바로가기
  • SDXL 1.0 + 한복 LoRA
  • SDXL 1.0 + 한복 LoRA

주키퍼3

Cluster : The Beginning - HBase 1.2.6 설치 목차 1. Cluster : The Beginning - Hadoop, HBase 그리고 Kafka 2. Cluster : The Beginning - Raspberry pi에 MQTT (EMQ) 설치하기 3. Cluster : The Beginning - Raspberry pi에 HAProxy 설치하기 4. Cluster : The Beginning - Raspberry pi에 Apache Kafka 설치하기 5. Cluster : The Beginning - Apache Kafka와 EMQ 연동 6. Cluster : The Beginning - Hadoop 2.9.0 설치 7. Cluster : The Beginning - HBase 1.2.6 설치(이번 글) 8. Cluster : The Begi.. 2018. 1. 19.
[간보기 | Kafka] 정리를 마치며 Kafka 정리를 마치며분산 시스템 관리의 어려움 얼추 node 모듈을 이용한 kafka 서비스가 구현이 된 것 같았다. 트위터 Streaming API를 이용하여 데이터를 잘 가져오고, producer는 이 데이터를 broker에게 잘 전달하고, consumer는 broker로부터 데이터를 잘 가져와 로그를 뿌려주고… 하지만 어느 순간 이러한 프로세스가 중지되어있기 일쑤였다. zookeeper쪽이나 kafka쪽이나 서버 콘솔에 출력되는 로그는 대체로 네트워크가 끊겼다는 메시지인데 도대체 이 문제가 어떤 원인으로 발생하는 지를 알 수가 없는 것이다. 애초에 분산 시스템에서 장애의 원인을 찾는 것은 매우 어려운 일이라는 것은 알고 있었지만 아무리 작은 클러스터라도 이 문제를 직접 겪으니 참 답이 안나온다... 2016. 5. 20.
[HBase] 쉽지만 쉽지 않은 설치... 하둡 설치 후 꽤 오랜 시간이 흘렀다.그간 회사 업무가 바쁜 것도 있었지만 엄청나게 간단하다면 간단한 zookeeper와 HBase의 설치와 설정에서생각 외로 많은 시간을 잡아먹었다. 그사이 Streaming API를 통해 축적한 트위터 데이터는 53Gb에 이르고 있다.얼른 HBase를 설치하여 담아야 하는데… 사실 zookeeper와 HBase의 경우 너무서 설치와 설정이 간단해서 오히려 많은 자료들을 참조한 것이 더 혼란을 가져왔다. 디테일한 차이가 얼마나 영향을 끼치는지 모르는 상황에서는 이것저것 다 해볼 수밖에없기에 시간도 그만큼 많이 걸리고… 암튼 시행착오의 역사를 적는다…-.- 1. zookeeper를 설치하지 않다! 우선 HBase 완벽가이드를 참조해서 설치를 시작했는데…이 책이 완벽하지 않.. 2013. 12. 19.
반응형