본문 바로가기

데이터처리/kafka

kafka - Quick Start 카프카 실습 따라해보기

Contents

  • kafka quick start

 

kafka quick start

 

먼저 카프카의 이론을 정리하기 전에

Apache Kafka 의 Quick Start 를 정리해보려고 한다.

 

카프카 공식 홈페이지에서 kafka 최신 버전을 다운로드 해준다.

 

카프카를 실행하기에 앞서 zookeeper 를 먼저 실행시켜 줘야한다.

 

zookeeper 의 실행 방식은 

https://naeti.tistory.com/52 를 참고해서 실행시킨다. 

 

Apache- Zookeeper 를 알아보자

Contents zookeeper 란? zookeeper 시작하기 zookeeper 란? ZooKeeper is a centralized service for maintaining configuration information, naming, providing distributed synchronization, and providing gro..

naeti.tistory.com

 

주키퍼를 실행 시켰으면 이제,

 

 

server.properties 설정을 이용해 카프카 서버를 실행시킨다.

 

 

서버를 실행시켰으면 , 이제 토픽을 만들어보자

토픽은 데이터가 들어갈 수 있는 공간이다.

 

로 test 토픽을 생성 후 테스트 해 볼 수 있다.

 

그러면, 이제 데이터를 보내보자!

 

이제 여기의 프로듀서에서 데이터를 보낼 거다

producer 를 켠 후 bootstrap-server 로 카프카 ip 를 정해주고

해당 토픽에 메세지를 보냈다.

대충 이런식으로 데이터를 보내보면 이제 이 메세지가 정상적으로 들어오는지 

컨슈머에서 확인을 할 거다.

 

이렇게 하면 이제 컨슈머를 들어올 수 있다.

 

 

확인을 해보면 ,실시간으로 데이터가 잘 전달 되는걸 확인 할 수 있다.

This is message 같이 위에 두개의 메시지가 같이 보이는데

카프카는 데이터를 지우지 않고 남겨 두는 특징이 있어서,

컨슈머를 새로 키면 저렇게 이전 메시지가 보이게 된다.

 

멀티 브로커를 이용한 카프카 서버는 이후에 다시 정리하도록 하고

이렇게 기본적인 카프카 메시지 흐름을 실습으로 정리해 봤다.