하둡9 Cluster : The Beginning - Spark 2.2.1 설치 목차 1. Cluster : The Beginning - Hadoop, HBase 그리고 Kafka 2. Cluster : The Beginning - Raspberry pi에 MQTT (EMQ) 설치하기 3. Cluster : The Beginning - Raspberry pi에 HAProxy 설치하기 4. Cluster : The Beginning - Raspberry pi에 Apache Kafka 설치하기 5. Cluster : The Beginning - Apache Kafka와 EMQ 연동 6. Cluster : The Beginning - Hadoop 2.9.0 설치 7. Cluster : The Beginning - HBase 1.2.6 설치 8. Cluster : The Beginning .. 2018. 1. 29. Cluster : The Beginning - HBase 1.2.6 설치 목차 1. Cluster : The Beginning - Hadoop, HBase 그리고 Kafka 2. Cluster : The Beginning - Raspberry pi에 MQTT (EMQ) 설치하기 3. Cluster : The Beginning - Raspberry pi에 HAProxy 설치하기 4. Cluster : The Beginning - Raspberry pi에 Apache Kafka 설치하기 5. Cluster : The Beginning - Apache Kafka와 EMQ 연동 6. Cluster : The Beginning - Hadoop 2.9.0 설치 7. Cluster : The Beginning - HBase 1.2.6 설치(이번 글) 8. Cluster : The Begi.. 2018. 1. 19. Cluster : The Beginning - Hadoop 2.9.0 설치 목차 1. Cluster : The Beginning - Hadoop, HBase 그리고 Kafka 2. Cluster : The Beginning - Raspberry pi에 MQTT (EMQ) 설치하기 3. Cluster : The Beginning - Raspberry pi에 HAProxy 설치하기 4. Cluster : The Beginning - Raspberry pi에 Apache Kafka 설치하기 5. Cluster : The Beginning - Apache Kafka와 EMQ 연동 6. Cluster : The Beginning - Hadoop 2.9.0 설치(이번 글) 7. Cluster : The Beginning - HBase 1.2.6 설치 8. Cluster : The Begi.. 2018. 1. 11. Hadoop에서 처음 만난 오류와 즐겁게 삽질하기...-.- 한동안 회사 업무 및 앱 개발에 신경을 쓰느라 Hadoop 학습을 좀 등한시 했었다.그래도 오며 가며 출퇴근 길에 새롭게 HBase (HBase 완벽 가이드) 서적을 읽기 시작했고.책을 다 읽지는 않았지만 우선 HBase나 설치를 좀 해보자 하고 한동안 잠자고 있던 Hadoop을 깨웠다. 그런데...이게 웬일인가...start-all.sh를 통해 dfs와 mapred를 모두 실행을 시켰는데namenode쪽에서는 모든 서비스가 다 기동이 되었는데 datanode쪽에서는 tasktracker만 올라오고datanode가 안올라오는 것이다. 이거야말로 고, 고갱님. 다, 당황하셨어요~ 아~물론 당황하고 말고...가장 마지막에 실행시켰을 때만해도 이상없이 잘 작동하던 놈이었으니... 일단 데이터노드가 올라오지 않.. 2013. 10. 18. [옛 글] [BigData] 하둡 - 파일 읽고 쓰기 최초 작성일 : 2013/06/10 13:13 역시 PPT 정리는 어렵군요...ㅠ.ㅠ아래 이미지들은 한빛미디어의 Hadoop 완벽 가이드에 실린 내용을 재정리 한 것입니다.======================================================= 2013. 7. 19. [옛 글] [BigData] HDFS (Hadoop Distributed File System) 개요 1 최초 작성일 : 2013/06/05 13:02 HDFS (하둡 분산 파일 시스템)은 다음의 사항을 고려하여 설계되었다. 1. 대용량의 파일 : 수백 Mb에서 수백 Tb 혹은 Pb급 이상을 대상으로 함 2. WORM (Write Once Read Many) : 커다란 원본으로부터 데이터 셋을 만들어 그 데이터 셋을 분석한다. 그러기 위해서는 전체 파일을 읽어야 한다. 3. 범용 하드웨어 : 고성능의 신뢰도 높은 서버가 아닌 다수의 범용 머신으로 구성된 클러스터에서의 실행을 고려하였다. ========================================================위 내용에 대해서는 여러 번 반복되었기에 간단하게 적고 넘어간다. 그러나 간혹 'Big'이라는 용어의 함정에 빠져 잊기 쉬운.. 2013. 7. 19. [옛 글] [BigData] 하둡 - 소소한 정보들 1 최초 작성일 : 2013/05/21 13:01 이 글에 적는 내용은 2013년 1월 3일 길벗사에서 간행한'대용량 데이터 분석 및 처리를 위한 hadoop nosql' (서상원, 김재홍, 박윤성, 이준섭, 명재석 저)의전자책 버전에서 발췌한 내용입니다.중요한 내용이 있을 때마다 이러한 정보들을 정리해 올리도록 하겠습니다. ========================================================== 1. 하둡은 크게 HDFS와 MapReduce의 두 부분으로 구성되어있으며 HDFS는 네임노드, 세컨더리 네임노드, 데이터노드를 동작시키고 MapReduce는 잡 트래커와 태스크 트래커를 동작시킨다. 네임노드와 잡 트래커는 마스터 노드(네임노드)에서, 데이터노드와 태스크 트래커는 슬.. 2013. 7. 19. [옛 글] [BigData] 하둡 - wordcount 예제 실행 최초 작성일 : 2013/05/20 13:15 일단 설치와 설정을 끝마쳤다고 생각하고 샘플 job을 수행해보기로 했다.하지만 아래의 명령을 실행시켜도 map:0% reduce:0%에서 더이상 진행이 없었다. 예제 실행 코드 ./hadoop jar ../hadoop-examples-1.0.4.jar wordcount input output input : 원본 문서가 있는 곳output : 결과 문서가 저장될 곳 아직도 분산이라는 환경에 익숙하지 않은 탓에 계속 네임노드쪽 로그만 뒤적거리면서 원인을 찾으려고 했다.하지만 네임노드쪽 로그에는 딱히 이렇다할 에러도 기록된 것이 없어 원인을 찾은데 시간만 잡아먹고 있었다. 그러다가 데이터노드 쪽으로 관심을 돌려 데이터노드의 로그를 살피기 시작했고 여기서 문제의 실.. 2013. 7. 19. [옛 글] [BigData] 하둡 설치 - 놓치는 것들에 대해 최초 작성일 : 2013/05/16 13:37 미리 말씀드리지만 이 글은 설치 안내가 아니라 설치 중에 실수할 수 있을만한 부분에 대해적은 글입니다. 설치 전반에 대해 참고한 글은 본문 중에 링크를 하였으니 참고하세요...^^ ========================================================= 원래는 교재와 함께 천천히 실습을 진행할 계획이었는데…지난 한 달 간 되지도 않는 영어실력으로 문서 번역한다고 삽질을 해놨더니 조급증이 생겨서우선 하둡부터 설치를 하고 봤다. 애초 예정대로 대상 머신들은 모두 애플의 맥 기종으로 맥북 프로1대 맥미니 서버 1대 맥미니 1대이며이 중 맥북프로와 맥미니 서버는 같은 네트워크 대역에 있으나 맥미니 1대는 다른 네트워크 대역에 있다.다음.. 2013. 7. 19. 이전 1 다음 반응형
