본문 바로가기
  • SDXL 1.0 + 한복 LoRA
  • SDXL 1.0 + 한복 LoRA

빅데이터29

Cluster : The Beginning - Raspberry pi에 Apache Kafka 설치하기 목차 1. Cluster : The Beginning - Hadoop, HBase 그리고 Kafka 2. Cluster : The Beginning - Raspberry pi에 MQTT (EMQ) 설치하기 3. Cluster : The Beginning - Raspberry pi에 HAProxy 설치하기 4. Cluster : The Beginning - Raspberry pi에 Apache Kafka 설치하기 (이번 글) 5. Cluster : The Beginning - Apache Kafka와 EMQ 연동 6. Cluster : The Beginning - Hadoop 2.9.0 설치 7. Cluster : The Beginning - HBase 1.2.6 설치 8. Cluster : The Beg.. 2017. 12. 25.
Cluster : The Beginning - Raspberry pi에 HAProxy 설치하기 목차 1. Cluster : The Beginning - Hadoop, HBase 그리고 Kafka 2. Cluster : The Beginning - Raspberry pi에 MQTT (EMQ) 설치하기 3. Cluster : The Beginning - Raspberry pi에 HAProxy 설치하기 (이번 글) 4. Cluster : The Beginning - Raspberry pi에 Apache Kafka 설치하기 5. Cluster : The Beginning - Apache Kafka와 EMQ 연동 6. Cluster : The Beginning - Hadoop 2.9.0 설치 7. Cluster : The Beginning - HBase 1.2.6 설치 8. Cluster : The Beg.. 2017. 12. 18.
[간보기 | Kafka] Kafka 무작정 실행하기 - 2 Kafka 무작정 실행하기 - 258의 비밀 먼저 지난 번 마지막에 언급했던 58이란 숫자의 비밀을 밝혀보자. 사실 정확한 원인은 아직 확인 못했다. 다만 지난 번 코드의 구현이 ’트위터 메시지가 하나 들어올 때마다 producer 하나를 만들어 트위터 메시지를 topic에 보낸다’는 것이었다. 이 과정에서 의심할 수 있는 것은 매번 producer를 만들어 커넥션울 하게 되니 아마도 이 커넥션 수에 제한이 걸려버린 것이 아닐까 하는 부분이었다. 그래서 일단 직감에 의존해 producer에서 topic으로 메시지를 보낸 후 API의 close 함수로 연결을 끊어보았다. 예상이 적중하였는지 이후로는 58개의 제한에 걸리지 않고 트위터에서 받아오는 모든 메시지들이 정상적으로 전송이 되었다. 성능 관리 겨우 .. 2016. 4. 24.
AI, Big Data, IoT가 가져올 미래 - 안드로이드는 공산주의를 꿈꾸는가? 얼마 전 연봉 계약도 싸인을 했지만 누군가에게 고용 되어, 일을 하며, 임금을 받는 일련의 과정이 때로는 참을 수 없을만큼 불합리하고 불공평하게 느껴진다. 나는 내가 일한 만큼 대가를 받고 있는 것인지? 내가 받는 임금은 내가 생산한 가치를 온전히 반영한 것인지? 또 다른 누군가는 그러한지... 온갖 학설과 이론으로 중무장한 현대 자본주의 경제는 아마도 현재의 상태를 매우 합리적으로 설명을 해내겠지만 그런가보다 하다가도 어느 순간 다시 이 의문으로 돌아오는 것은 여전히 풀리지 않는 무언가가 있는 것이리라 (그 무언가가 나의 무식이라면 할 말 없고...) 도대체 내 임금은 왜 이만큼인거야? 사실 일반인들은 자신이 일을 해서 만들어진 가치가 얼마만큼의 비중을 가지고 있는지 전혀 모를 것이다. 아니 이 세상 .. 2016. 3. 24.
[간보기 | kafka] Apache kafka 시작하기 Apache Kafka 시작하기참조 사이트http://kafka.apache.org http://epicdevs.com/20다행이 예전에 Hbase를 설치할 때 zookeeper를 설치해놓은 덕에 kafka를 설치하고 구동하는 과정은 그리 어렵지 않았다.아다시피 요즘 OS가 Windows만 아니면 binary 패키지를 다운로드 받고 적절한 위치에 압축 풀고 하면반은 된 것이나 다름 없다. kafka의 경우 $KAFKA_HOME/config/server.properties에 몇가지 설정만 한 후 기동시키면 된다. 다음은 내 PC 환경에서의 설정 및 구동 과정이다.PC 환경현재 맥미니 5대를 내부망으로 연결시킨 상태로 각각의 PC에 대한 정보는 /etc/hosts 파일에 설정이 되어있다. 대략 다음과 같다... 2016. 3. 20.
[HBase] 쉽지만 쉽지 않은 설치... 하둡 설치 후 꽤 오랜 시간이 흘렀다.그간 회사 업무가 바쁜 것도 있었지만 엄청나게 간단하다면 간단한 zookeeper와 HBase의 설치와 설정에서생각 외로 많은 시간을 잡아먹었다. 그사이 Streaming API를 통해 축적한 트위터 데이터는 53Gb에 이르고 있다.얼른 HBase를 설치하여 담아야 하는데… 사실 zookeeper와 HBase의 경우 너무서 설치와 설정이 간단해서 오히려 많은 자료들을 참조한 것이 더 혼란을 가져왔다. 디테일한 차이가 얼마나 영향을 끼치는지 모르는 상황에서는 이것저것 다 해볼 수밖에없기에 시간도 그만큼 많이 걸리고… 암튼 시행착오의 역사를 적는다…-.- 1. zookeeper를 설치하지 않다! 우선 HBase 완벽가이드를 참조해서 설치를 시작했는데…이 책이 완벽하지 않.. 2013. 12. 19.
[옛 글] [BigData] 하둡 - 파일 읽고 쓰기 최초 작성일 : 2013/06/10 13:13 역시 PPT 정리는 어렵군요...ㅠ.ㅠ아래 이미지들은 한빛미디어의 Hadoop 완벽 가이드에 실린 내용을 재정리 한 것입니다.======================================================= 2013. 7. 19.
[옛 글] [BigData] HDFS (Hadoop Distributed File System) 개요 1 최초 작성일 : 2013/06/05 13:02 HDFS (하둡 분산 파일 시스템)은 다음의 사항을 고려하여 설계되었다. 1. 대용량의 파일 : 수백 Mb에서 수백 Tb 혹은 Pb급 이상을 대상으로 함 2. WORM (Write Once Read Many) : 커다란 원본으로부터 데이터 셋을 만들어 그 데이터 셋을 분석한다. 그러기 위해서는 전체 파일을 읽어야 한다. 3. 범용 하드웨어 : 고성능의 신뢰도 높은 서버가 아닌 다수의 범용 머신으로 구성된 클러스터에서의 실행을 고려하였다. ========================================================위 내용에 대해서는 여러 번 반복되었기에 간단하게 적고 넘어간다. 그러나 간혹 'Big'이라는 용어의 함정에 빠져 잊기 쉬운.. 2013. 7. 19.
[옛 글] [BigData] MapReduce 개요 최초 작성일 : 2013/05/30 15:24 맵 리듀스 개요 맵 : - 원시 데이터를 key-value 쌍의 중간 파일로 만든다.- 입력데이터가 있는 노드에서 맵 함수가 수행되는 것이 가장 좋다 (지역성 최적화)- 맵 함수에 전달되는 입력 데이터는 라인 offset을 키로, 해당 라인 내용을 value로 하는 형태로 구성된다.- 맵 함수는 이 입력값들로부터 필요로 하는 key와 value를 추출한다.- 이 과정에서 잘못된 레코드를 제거하는 기능도 수행한다.- 맵 task의 실행 결과는 HDFS가 아닌 로컬 디스크에 저장된다. (HDFS와 로컬 디스크의 개념을 명확히 구분하자) 이유는 맵의 결과물은 단지 리듀스 함수로 전달하기 위한 중간 결과물일 뿐이며 모든 잡이 완료되면 버려도 되는 데이터이기 때문이다.. 2013. 7. 19.
반응형