Cluster : The Beginning - Raspberry pi에 MQTT (EMQ) 설치하기

목차

1. Cluster : The Beginning - Hadoop, HBase 그리고 Kafka

2. Cluster : The Beginning - Raspberry pi에 MQTT (EMQ) 설치하기 (이번 글)

3. Cluster : The Beginning - Raspberry pi에 HAProxy 설치하기

4. Cluster : The Beginning - Raspberry pi에 Apache Kafka 설치하기

5. Cluster : The Beginning - Apache Kafka와 EMQ 연동

6. Cluster : The Beginning - Hadoop 2.9.0 설치

7. Cluster : The Beginning - HBase 1.2.6 설치

8. Cluster : The Beginning - Spark 2.2.1 설치

Cluster : The Beginning - Raspberry pi에 MQTT (EMQ) 설치하기

클러스터의 입구 - MQTT

현재 근무하는 곳에서도 ActiveMQ를 쓰고 있고 RabbitMQ도 많이 들어보았지만 정작 MQTT라는 프로토콜에
대해서는 제대로 모르고 있었다. 그저 위에 언급한 시스템들이 message queue를 구현한 것이라고 막연히 알고
있었을 뿐 그 내부에 대해서는 무지했던 것이다(물론 무지한 것은 지금도 마찬가지다…-.-)

그러다가 이번에 IoT와 관련하여 아두이노로 만든 센서 기반의 작은 소품들로부터도 정보를 받아보겠다고 계획하면서
MQTT를 알게 되었다. 이렇게 해서 또 한 가지 배우게 된 것이다…^^

MQTT(Message Queuing Telemetry Transport)란?

일단 간단하게 정의 내려 보면 “Message Queue 기반의 원격 전송 프로토콜” 정도로 말할 수 있겠다.
그럼 Message Queue란 무엇이냐?…라고 계속 묻고 들어가면 끝이 없으니 자세한 내용은 링크로 대신한다…-.-

네이버 지식 백과 : [http://terms.naver.com/entry.nhn?docId=3386832&cid=58369&categoryId=58369]

Wikipedia : [https://en.wikipedia.org/wiki/MQTT]

중요한 것은 이 프로토콜이 경량화(저전력, 낮은 대역폭 등) 된 프로토콜이며 주로 M2M(Machine-to-Machine)
통신에 특화되어 IoT와 밀접하게 관련되어 있다는 것이다.

브로커 선정

이 MQTT 프로토콜을 이용한 통신 구현체는 보통 Broker라 부른다.
이 Broker라는 이름은 Message Queue의 일반적인 통신 방식으로부터 비롯되었는데 양 끝단에 publisher와
subscriber가 있고, 이 publisher와 subscriber 사이에서 message를 ‘중개’해주는 역할을 한다고 하여 이런
이름이 붙게 되었다(아래 이미지는 네이버 지식 백과에서 가져왔다). 

이러한 MQTT broker는 앞서 언급한 ActiveMQ와 RabbitMQ외에도 mosquitto, moquette, mosca, HiveMQ 등
상당히 많다. 아래 링크는 이러한 브로커들을 비교해놓은 자료이다.

https://github.com/mqtt/mqtt.github.io/wiki/server-support

일단 라즈베리파이에 가장 흔히 쓰이는 것이 mosquitto인데 나는 2대로 클러스터를 만들어보기 위해 기왕이면 
클러스터링을 기본적으로 지원하는 브로커를 찾게 되었고 그 후보자로 HiveMQ와 EMQ가 선정되었다. 
하지만 HiveMQ가 상용이어서 오픈소스 기반인 EMQ로 정하게 되었다. 그리고 위 링크를 보아서도 알 수 있듯이 
EMQ는 체크 대상 전 항목이 구현되어 있어 도표상으로만 보자면 거의 상용 제품에 맞먹는 기능을 가지고 있다.

설치

아재의 잡설이겠지만 예전에는 오픈소스라는 것들이 웬만하면 소스로 내려받아 컴파일을 해야 사용이 가능했는데 
요즘은 대체로 바이너리로 받아도 별 무리 없이 실행이 된다. 그런데 나는 EMQ를 라즈베리파이에 설치할 계획이었고
EMQ 홈페이지에는 안타깝게도 라즈베리파이용 배포판은 없었다. 리눅스 계열의 배포판 중 하나를 받으면 되겠지만
어떤 것을 받아야 할지 대략 난감이었다.

결국 Github에 있는 소스를 내려받아 컴파일을 하게 되었다.

그러나 나에게는 남들에게 없는 오묘한 재주가 있었으니…
바로 너무 쉽게 설명된 것을 너무 어렵게 진행한다는 것이다…-.-

우선 소스의 다운로드와 컴파일은 다음의 과정을 거쳐 진행하면 된다.

$sudo apt-get update
$sudo apt-get install wget
$sudo apt-get install libssl-dev
$sudo apt-get install ncurses-dev
 
#ERLang 설치
$wget http://www.erlang.org/download/otp_src_19.2.tar.gz

$tar -xzvf otp_src_19.2.tar.gz
$cd otp_src_19.2/
$./configure
$make -j 4 
$sudo make install
$cd ..
$rm otp_src_19.2.tar.gz
$sudo rm -R otp_src_19.2/

#EMQ 설치 및 실행
$git clone https://github.com/emqtt/emq-relx.git
$cd emq-relx && make
$cd _rel/emqttd && ./bin/emqttd console

일단 모든 설치는 문제 없이 잘 끝났다.
그런데 정작 emq를 make하는 과정에서 아래와 같은 오류가 발생을 하였다.

원인은 erlang 설치에 있었으며 라즈베리 파이에 설치하기 위해서는 보다 상위 버전이 필요했었던 듯하다.
일단 erlang의 configure 실행 후 아래 화면과 같이 APPLICATIONS DISABLED에 많은 항목이 보이면
문제가 있는 것이라 보면 된다.

이 문제는 erlang의 버전을 20.1 이상으로 설치하면 해결된다.
이렇게 우여곡절 끝에 emq를 설치하였다. 나는 클러스터링을 원했으므로 2대의 라즈베리파이에 각각 설치를 하였다.

설정

이제 설치를 마쳤으니 설정을 해야 한다.
내가 설치한 버전의 emq는 빌드를 하고 나면 git으로부터 복제(위 설치 명령어 참조)한 경로 아래에 _rel이라는
디렉토리가 생기고 그 아래 빌드된 emq가 설치된다. 즉, git clone을 통해 만들어진 디렉토리가 emq-relx라면
emq-relx/_rel/emqttd 아래에 바이너리가 설치된다. 그리고 설정파일은 emq-relx/_rel/emqttd/etc
아래에 있는 emq.conf 파일이다.

설정파일이 상당히 긴데 사실상 변경할 부분은 그리 많지 않다. 내가 수정한 부분만 적는다.

...

#클러스터를 명시적으로 표시하겠다는 의미다.
cluster.discovery = static

...

#클러스터를 명시적으로 표시하겠다고 했으니 명시적으로 표시한다…-.-
cluster.static.seeds = rpi4@172.30.1.25,rpi5@172.30.1.9

...

#현재 노드를 적는다. 물론 172.30.1.25 라즈베리파이에는 rpi4@172.30.1.25라고 적는다.
node.name = rpi5@172.30.1.9

#쿠키 이름을 적는데 이 쿠키 이름을 적지 않거나 쿠키 이름이 일치하지 않으면 제대로 실행이 되지 않는다.
node.cookie = RPI

...

#웹 모니터링 콘솔을 접속하기 위한 포트 설정. 기본 값을 수정하지는 않았지만 중요한 내용이므로 적음
#아래 설정은 EMQ에서 지원하는 REST API 접속을 위해 필요한 포트이다. 모니터링 콘솔 접속 포트는 18083이다!!
listener.api.mgmt = 0.0.0.0:8080

...

node.name을 제외하고는 모두 동일하게 해서 다른 한 서버도 마저 설정을 한다.

실행

이제 실행을 하면 된다. 서비스로 실행을 하는 경우 아래 링크의 맨 마지막 부분을 보면 설명이 나와있다.

http://emqtt.io/docs/v2/install.html

나는 클러스터를 구성하기로 했으니 아래 링크를 따라 진행을 했으나 오류가 발생을 하였다.

http://emqtt.io/docs/v2/cluster.html

그런데 그냥 양쪽에서 아래와 같이 콘솔 모드로 실행을 했더니 자동으로 클러스터링이 이루어졌다.

$cd _rel/emqttd && ./bin/emqttd console

클러스터링이 된 것은 다음과 같이 확인하면 된다.

$sudo ./bin/emqttd_ctl cluster status
Cluster status: [{running_nodes,['rpi4@172.30.1.25','rpi5@172.30.1.9']}]

이렇게 실행까지 완료 되었다.

모니터링

이제 모든 과정이 끝났다. 브로커가 정상적으로 실행 되었다면 이제 확인을 해보자. 브라우저를 실행하고 아래와 같이
주소를 입력해보자.

http://localhost:8080

그러면 아래와 같은 화면이 나타날 것이다.

화면의 Nodes(2)라고 표시된 부분을 보면 내가 2대의 라즈베리파이로 클러스터를 구성했기 때문에 2개의 노드가
표시된 것이 보인다. 또한 우측 상단의 셀렉트 박스의 선택을 통해 각각의 노드 상황(클라이언트나 세션 등)을 볼 수도 
있다. 아래 2개의 이미지는 각각의 노드에 접속되어있는 클라이언트 정보를 보여주는 화면이다. 현재 Kafka까지 설치를
하여 Kafka에서 연결하고 있는 상태이며 이와 관련해서는 다음 포스팅에서 상세하게 다루겠다.

좌측 메뉴 중 Websocket을 이용하여 웹 화면에서 바로 클라이언트를 생성하여 메시지를 보내 테스트 해볼 수도 있다.

테스트

앞서 말했듯이 Websocket 메뉴를 통해서도 간단하게 테스트가 가능하지만 기왕이면 원격에서 클라이언트 접속 
테스트를 진행해보고 싶었다. 다행히도 구글 플레이스토어나 애플 앱스토어에서 MQTT로 검색을 해보면 MQTT
클라이언트가 많이 등록되어있다. 서버 주소와 포트 및 부가적인 몇가지 정보를 입력하면 바로 테스트 가능하다.

여기서는 아이폰용 MQTT 클라이언트 앱인 MQTT Tool을 이용한 테스트 방법을 간단하게 설명한다.

1. 연결 화면으로 중요 정보인 브로커의 주소와 포트(기본 포트는 1883) 그리고 클라이언트 ID를 임의로 입력한다. ID와 Password역시 임의로 입력하면 된다. 내가 입력한 클라이언트 ID는 mazdah-iphone이다.

   

   
   

2. 4개의 입력 폼을 가진 화면이 나온다. 가장 위에서부터 subscribe할 토픽 이름 입력, 전송된 토픽의 메시지 표시, publish할 토픽 입력, publish할 메시지 입력 순이다.

   

   
   

3. 테스트를 위해 우선 subscribe할 토픽을 입력한다. 나는 /mqtt로 정했다. 토픽 입력 후 입력 폼 우측 아래 있는 Subscribe 버튼을 클릭하면 우측의 이미지처럼 Subscribe 버튼이 Unsubscribe로 바뀌고 메시지 표시 창 우측에는 토픽 이름이 적힌 원형 태그가 표시된다.

   
   

   
   

   
   

   
   

4. 그리고 publish할 토픽 이름을 입력한다. subscribe할 토픽 이름이 /mqtt였으니 전송되는 것을 확인하기 위해 여기도 동일하게 /mqtt를 입력한다.

   

   
   

5. 메시지 입력창을 선택하여 아무 문장이나 메시지를 입력한다. 여기서는 그냥 MQTT TEST라고 입력하였다.

   

   
   

6. 그리고 마지막으로 메시지 입력창의 우측 하단에 있는 Publish 버튼을 클릭하면 메시지가 전송되고 위에 있는 Subscribe 메시지 창에 전송된 메시지가 출력되는 것을 볼 수 있다.

   

   
   

   
   

모니터링 콘솔을 보게되면 Client 메뉴에 내가 클라이언트에서 입력한 mazdah-iphone이라는 ID를 볼 수 있다.

그리고 Sessions 메뉴로 가면 역시 접속된 클라이언트들의 목록이 보이고 오른쪽 끝에쯤에 DeliverMsg 항목에
보면 28이라는 숫자가 보인다. 28건의 메시지가 전송된 것이다. 참고로 mqtt-kafka-1이라는 클라이언트는 다른
3대의 라즈베리파이에 설치된 kafka에서 연결된 subscriber이다. 

왼쪽 이미지는 172.30.1.25 서버의 상태인데 오른쪽의 172.30.1.9 서버의 콘솔에서도 mqtt-kafka-2와 
mqtt-kafka-3 두 개의 subscriber가 동일한 메시지를 전송받은 것을 알 수 있다. 이를 통해 2대의 서버가 
정상적으로 클러스터링 되었다는 것을 확인하였다.

정리

이렇게 라즈베리파이에 MQTT 브로커 중 EMQ라는 브로커를 설치/설정/실행/테스트까지 진행해보았다.
사실 당장에는 어떤 데이터를 어떻게 모을지도 결정된 것이 없기에 전체 클러스터 구성이 완료될 때까지는 이렇게
단순하게 설치와 실행 방법을 기술하게 될 것이다.

전체 클러스터 구성이 완료되면 본격적으로 아두이노를 이용하여 어떤 식으로 센서 데이터를 수집하게 되는지
좀 더 심도 있게 다루어보고자 한다.

우선 다음 단계로는 2개의 노드로 구성된 EMQ 클러스터의 로드 밸런싱을 위한 HAProxy 설치와 실행에 대해
살펴보고 다음으로는 Big Data 프레임워크로의 데이터 수집을 위한 관문으로써 Kafka에 대한 이야기를 정리해보도록
하겠다. 그리고 그 사이에 맥미니에 Haddop 2.0과 HBase 또는 Spark를 설치하는 작업을 진행하게 될 것이다.

이렇게 적어놓고 보니 아직도 할 일이 많다…ㅠ.ㅠ
부지런히 가자!