본문 바로가기
  • SDXL 1.0 + 한복 LoRA
  • SDXL 1.0 + 한복 LoRA

kafka9

Data Analysis : Prologue - EMQ + Kafka + openTSDB + Grafana Data Analysis : Prologue - EMQ + Kafka + openTSDB + Grafana 사실 이 포스팅의 제목을 어떻게 정해야 할지 고민이 많았다. 일단 클러스터 설치는 마쳤으니 당연히 이전 포스팅의 카테고리에서는 벗어나야 할 것이고, 실제 데이터를 다루기 시작하였으니 데이터 분석의 시작은 시작인데… 수집되는 데이터 자체가 딱히 분석할만한 데이터는 아니고…암튼 조금은 모호한 지점에 있는 작업이 되어버렸다. 더군다나 본격적인 데이터 분석은 아직 한참 더 공부한 이후 시작될 터인데… 하지만 역시나 데이터를 다루기 시작했으니 데이터 관련 제목을 붙여야 하겠다고 결정을 했다. Prologue라는 부제와 함께. 이후 The Beginning을 시작하게 되겠지만 아마도 시간이 조금 걸리지 않을까.. 2018. 2. 6.
Cluster : The Beginning - Apache Kafka와 EMQ 연동 목차 1. Cluster : The Beginning - Hadoop, HBase 그리고 Kafka 2. Cluster : The Beginning - Raspberry pi에 MQTT (EMQ) 설치하기 3. Cluster : The Beginning - Raspberry pi에 HAProxy 설치하기 4. Cluster : The Beginning - Raspberry pi에 Apache Kafka 설치하기 5. Cluster : The Beginning - Apache Kafka와 EMQ 연동(이번 글) 6. Cluster : The Beginning - Hadoop 2.9.0 설치 7. Cluster : The Beginning - HBase 1.2.6 설치 8. Cluster : The Begi.. 2018. 1. 3.
[간보기 | kafka] 쉬어가자 - 소스 정리와 모니터링 툴 소스 정리와 모니터링 툴소스 정리일단 급하게 기능을 확인하다보니 소스 코드가 엉망이다. 조금이나마 다듬어야 보기가 편할 것 같아 쉬어갈 겸 우선 node 소스들을 정리했다. tmgetter.js (트위터 메시지를 받아서 콜백 함수를 통해 topic으로 메시지를 보내는 모듈)var Twitter = require('twitter'); var count = 0; var client = new Twitter({ consumer_key: '...', consumer_secret: '...', access_token_key: '...', access_token_secret: '...', }); var msgArr = new Array(); /** * parameter * msgCount : kafka 토픽으로 보.. 2016. 4. 30.
[간보기 | Kafka] Kafka 무작정 실행하기 - 2 Kafka 무작정 실행하기 - 258의 비밀 먼저 지난 번 마지막에 언급했던 58이란 숫자의 비밀을 밝혀보자. 사실 정확한 원인은 아직 확인 못했다. 다만 지난 번 코드의 구현이 ’트위터 메시지가 하나 들어올 때마다 producer 하나를 만들어 트위터 메시지를 topic에 보낸다’는 것이었다. 이 과정에서 의심할 수 있는 것은 매번 producer를 만들어 커넥션울 하게 되니 아마도 이 커넥션 수에 제한이 걸려버린 것이 아닐까 하는 부분이었다. 그래서 일단 직감에 의존해 producer에서 topic으로 메시지를 보낸 후 API의 close 함수로 연결을 끊어보았다. 예상이 적중하였는지 이후로는 58개의 제한에 걸리지 않고 트위터에서 받아오는 모든 메시지들이 정상적으로 전송이 되었다. 성능 관리 겨우 .. 2016. 4. 24.
[간보기 | Kafka] Kafka 무작정 실행하기 Kafka 무작정 실행하기참고한 자료들 지난 포스팅까지 Kafka의 개요를 알아보았다. 물론 수박 겉핥기 수준의 내용이었지만 더이상의 자세한 내용은 생략할 수밖에 없을 것 같다. 이미 많은 블로그에 보다 자세하고 정확한 내용들이 올라와있어 또다시 이 작업을 하는 것은 소모적인 일이 될 것 같아서이다. 게다가 내 짧은 지식으로는 잘못된 정보를 전달할 가능성도 높고…ㅠ.ㅠ 간단하게 참고한 블로그를 소개하자면 다음과 같다. http://epicdevs.com/17 http://blog.embian.com/category/Apache%20Kafka http://blog.jdm.kr/208 http://wiki.intellicode.co.kr/doku.php?id=개발:kafka 무작정 달려들기 일단 내가 kaf.. 2016. 4. 18.
[간보기 | Kafka] Apache Kafka 개요 - 3 Consumer 일반적으로 메시징 시스템은 queuing 기반 모델과 publish-subscribe 기반의 모델로 나누어 볼 수 있다. queuing기반의 메시징 시스템은 sender가 queue에 쌓아 놓은 메시지를 pool에 있는 receiver중 하나에 각각 할당하는 방식이며 이 과정은 비동기적으로 이루어진다. (point-to-point) publish-subscribe기반의 메시징 시스템은 publisher가 메시지를 생성한 후 subscriber에게 broadcasting해준다. Kafka는 consumer group이라는 개념을 만들어 이 두가지 방식을 종합하고 있다. 토픽으로 발행된 메시지들은 분산된 프로세스나 장비에 있는 consumer 그룹 내의 consumer 중 오직 하나에게만 전.. 2016. 4. 3.
[간보기 | Kafka] Apache Kafka 개요 - 2 Distributiontopic의 partition들은 Kafka 클러스터를 구성하는 서버들에 분산 저장이 된다. partition들은 내고장성을 위해 여러 서버에 복제되며 복제되는 서버의 수를 설정 할 수 있다. 각 partition은 1대의 leader 서버와 0대 이상의 follower 서버들로 구성된다.(즉, leader 서버 1대로도 Kafka 사용이 가능하다.)leader는 읽기 쓰기가 모두 가능하고 follower들은 leader의 데이터를 복제한다. 만일 leader가 고장나면 follower 중 한 대를 leader로 선출한다. 이런 구조로 클러스터 내에서의 부하가 적절히 분산된다. 지난 포스팅 (Apache kafka 시작하기)에서의 기억을 더듬어보면 일단 클러스터 내의 복제 서버는 총.. 2016. 3. 27.
[간보기 | kafka] Apache kafka 시작하기 Apache Kafka 시작하기참조 사이트http://kafka.apache.org http://epicdevs.com/20다행이 예전에 Hbase를 설치할 때 zookeeper를 설치해놓은 덕에 kafka를 설치하고 구동하는 과정은 그리 어렵지 않았다.아다시피 요즘 OS가 Windows만 아니면 binary 패키지를 다운로드 받고 적절한 위치에 압축 풀고 하면반은 된 것이나 다름 없다. kafka의 경우 $KAFKA_HOME/config/server.properties에 몇가지 설정만 한 후 기동시키면 된다. 다음은 내 PC 환경에서의 설정 및 구동 과정이다.PC 환경현재 맥미니 5대를 내부망으로 연결시킨 상태로 각각의 PC에 대한 정보는 /etc/hosts 파일에 설정이 되어있다. 대략 다음과 같다... 2016. 3. 20.
[간보기 | Kafka] 3년만에 찾은 솔루션 kafka...ㅠ.ㅠ 이제야 발견한 Kafka하던 일도 제대로 못하면서 빅데이터 공부해보겠다고 꼴깝을 떤 것이 벌써 2013년 5월달 이야기네… 뭔가 새로운 것에 대해서는 남들 앞에서 한 마디나마 거들 수 있어야 하지 않을까 하는 밑도 끝도 없는 초조감이 나를 뻘짓거리의 함정으로 이끌었다. 뭔가를 시작하기 전에는 지름신을 영접하는 것이 당연한(?) 의례인지라 이 때도 지름신을 조금 과하게(…ㅠ.ㅠ) 영접했다. 맥미니 5대… 그리고는 한 동안은 신났다. Hadoop 설치하고 zookeeper 설치하고 Hbase 설치하고… 그리고…샘플 한 번 돌려보고? 끝이었나?…ㅠ.ㅠ 목표로 삼았던 것이 twitter의 데이터를 수집해서 이것 저것 분석하는 공부를 좀 해보고자 했는데… 이게 당최 감이 안잡히는 것이다. twitter API를 .. 2016. 3. 20.
반응형