big data7 Cluster : The Beginning - Raspberry pi에 Apache Kafka 설치하기 목차 1. Cluster : The Beginning - Hadoop, HBase 그리고 Kafka 2. Cluster : The Beginning - Raspberry pi에 MQTT (EMQ) 설치하기 3. Cluster : The Beginning - Raspberry pi에 HAProxy 설치하기 4. Cluster : The Beginning - Raspberry pi에 Apache Kafka 설치하기 (이번 글) 5. Cluster : The Beginning - Apache Kafka와 EMQ 연동 6. Cluster : The Beginning - Hadoop 2.9.0 설치 7. Cluster : The Beginning - HBase 1.2.6 설치 8. Cluster : The Beg.. 2017. 12. 25. Cluster : The Beginning - Raspberry pi에 HAProxy 설치하기 목차 1. Cluster : The Beginning - Hadoop, HBase 그리고 Kafka 2. Cluster : The Beginning - Raspberry pi에 MQTT (EMQ) 설치하기 3. Cluster : The Beginning - Raspberry pi에 HAProxy 설치하기 (이번 글) 4. Cluster : The Beginning - Raspberry pi에 Apache Kafka 설치하기 5. Cluster : The Beginning - Apache Kafka와 EMQ 연동 6. Cluster : The Beginning - Hadoop 2.9.0 설치 7. Cluster : The Beginning - HBase 1.2.6 설치 8. Cluster : The Beg.. 2017. 12. 18. Cluster : The Beginning - Raspberry pi에 MQTT (EMQ) 설치하기 목차 1. Cluster : The Beginning - Hadoop, HBase 그리고 Kafka 2. Cluster : The Beginning - Raspberry pi에 MQTT (EMQ) 설치하기 (이번 글) 3. Cluster : The Beginning - Raspberry pi에 HAProxy 설치하기 4. Cluster : The Beginning - Raspberry pi에 Apache Kafka 설치하기 5. Cluster : The Beginning - Apache Kafka와 EMQ 연동 6. Cluster : The Beginning - Hadoop 2.9.0 설치 7. Cluster : The Beginning - HBase 1.2.6 설치 8. Cluster : The Beg.. 2017. 12. 16. Cluster : The Beginning - Hadoop, HBase 그리고 Kafka 목차 1. Cluster : The Beginning - Hadoop, HBase 그리고 Kafka (이번 글) 2. Cluster : The Beginning - Raspberry pi에 MQTT (EMQ) 설치하기 3. Cluster : The Beginning - Raspberry pi에 HAProxy 설치하기 4. Cluster : The Beginning - Raspberry pi에 Apache Kafka 설치하기 5. Cluster : The Beginning - Apache Kafka와 EMQ 연동 6. Cluster : The Beginning - Hadoop 2.9.0 설치 7. Cluster : The Beginning - HBase 1.2.6 설치 8. Cluster : The Beg.. 2017. 12. 10. [간보기 | Kafka] Kafka 무작정 실행하기 - 2 Kafka 무작정 실행하기 - 258의 비밀 먼저 지난 번 마지막에 언급했던 58이란 숫자의 비밀을 밝혀보자. 사실 정확한 원인은 아직 확인 못했다. 다만 지난 번 코드의 구현이 ’트위터 메시지가 하나 들어올 때마다 producer 하나를 만들어 트위터 메시지를 topic에 보낸다’는 것이었다. 이 과정에서 의심할 수 있는 것은 매번 producer를 만들어 커넥션울 하게 되니 아마도 이 커넥션 수에 제한이 걸려버린 것이 아닐까 하는 부분이었다. 그래서 일단 직감에 의존해 producer에서 topic으로 메시지를 보낸 후 API의 close 함수로 연결을 끊어보았다. 예상이 적중하였는지 이후로는 58개의 제한에 걸리지 않고 트위터에서 받아오는 모든 메시지들이 정상적으로 전송이 되었다. 성능 관리 겨우 .. 2016. 4. 24. [간보기 | Kafka] Apache Kafka 개요 - 3 Consumer 일반적으로 메시징 시스템은 queuing 기반 모델과 publish-subscribe 기반의 모델로 나누어 볼 수 있다. queuing기반의 메시징 시스템은 sender가 queue에 쌓아 놓은 메시지를 pool에 있는 receiver중 하나에 각각 할당하는 방식이며 이 과정은 비동기적으로 이루어진다. (point-to-point) publish-subscribe기반의 메시징 시스템은 publisher가 메시지를 생성한 후 subscriber에게 broadcasting해준다. Kafka는 consumer group이라는 개념을 만들어 이 두가지 방식을 종합하고 있다. 토픽으로 발행된 메시지들은 분산된 프로세스나 장비에 있는 consumer 그룹 내의 consumer 중 오직 하나에게만 전.. 2016. 4. 3. AI, Big Data, IoT가 가져올 미래 - 안드로이드는 공산주의를 꿈꾸는가? 얼마 전 연봉 계약도 싸인을 했지만 누군가에게 고용 되어, 일을 하며, 임금을 받는 일련의 과정이 때로는 참을 수 없을만큼 불합리하고 불공평하게 느껴진다. 나는 내가 일한 만큼 대가를 받고 있는 것인지? 내가 받는 임금은 내가 생산한 가치를 온전히 반영한 것인지? 또 다른 누군가는 그러한지... 온갖 학설과 이론으로 중무장한 현대 자본주의 경제는 아마도 현재의 상태를 매우 합리적으로 설명을 해내겠지만 그런가보다 하다가도 어느 순간 다시 이 의문으로 돌아오는 것은 여전히 풀리지 않는 무언가가 있는 것이리라 (그 무언가가 나의 무식이라면 할 말 없고...) 도대체 내 임금은 왜 이만큼인거야? 사실 일반인들은 자신이 일을 해서 만들어진 가치가 얼마만큼의 비중을 가지고 있는지 전혀 모를 것이다. 아니 이 세상 .. 2016. 3. 24. 이전 1 다음 반응형
