2019/11/19 - [BIG-DATA/KAFKA] - [KAFKA] 무작정 시작하기 (1) - 설치 & 실행 2019/11/20 - [BIG-DATA/KAFKA] - [KAFKA] 무작정 시작하기 (2) - Zookeeper 설정 2019/11/20 - [BIG-DATA/KAFKA] - [KAFKA] 무작정 시작하기 (3) - Kafka 설정 2019/11/21 - [BIG-DATA/KAFKA] - [KAFKA] 무작정 시작하기 (4) - Topic & Producer & Consumer 실행 지난 포스트에서 Kafka 서버를 실행하고 접속까지 해보았다. 이번 시간에는 서버에 접속할 때 인증된 사용자만 접근할 수 있도록 보안을 강화하여 보겠다. 여러 Configuration 파일들을 생성해야 하므로 ..

2019/11/19 - [BIG-DATA/KAFKA] - [KAFKA] 무작정 시작하기 (1) - 설치 & 실행 2019/11/20 - [BIG-DATA/KAFKA] - [KAFKA] 무작정 시작하기 (2) - Zookeeper 설정 2019/11/20 - [BIG-DATA/KAFKA] - [KAFKA] 무작정 시작하기 (3) - Kafka 설정 지난 포스트까지해서 Kafka 서버를 성공적을 실행시켜 보았다. 서버를 이용하려면 클라이언트가 있어야하지 않겠는가. Kafka에는 Producer와 Consumer라는 클라이언트가 있다. Producer는 메시지를 Topic에 적재하며, Consumer는 topic에 적재된 메시지를 소비한다. 이번 포스트에서는 Topic을 생성하고 여기에 메시지를 적재하는 Pr..

지난 포스트에서는 zookeeper에 대해서 간략하게 알아보고, zookeeper-server를 실행하기위한 zookeeper.properties를 작성하였다. 이번 포스트에서는 kafka에 대해서 알아보고, kafka-server를 실행하기위한 server.properties를 작성해보자. 1. Kafka란? 1-1. Apache에서 스칼라로 개발한 오픈소스 메시지 브로커. 1-2. 실시간 데이터 피드를 관리하기 위해 통일된, 높은 처리량, 낮은 지연시간을 지닌 플랫폼을 제공하는 것이 목표. 1-3. 분산 트랜잭션 로그로 구성된 pub/sub 메시지 큐이며, 대용량의 스트리밍 데이터를 처리하기에 적합함. - pub/sub ( 발행/구독 )은 한명이 데이터를 올리면 다른 사람들은 그 데이터를 가져다가 쓰..

이번 포스트에서는 Zookeeper에 대해서 간략하게 알아보고, zookeeper.properteis를 작성해 보도록하겠다. 1. zookeeper란? 1-1. zookeeper는 Apache의 오픈 소스 프로젝트 중 하나이며, 공개 분산형 구성 서비스, 동기 서비스 및 대용량 분산 시스템을 위한 네임 스페이스 레지스트리를 제공함. 1-2. znode(주키퍼 노드)는 네임 스페이스 안에 데이터를 저장하며, 클라이언트는 znode를 통해 데이터를 읽거나 씀. 1-3. 리더 노드가 존재하며, 리더를 제외한 노드들은 리더로부터 데이터를 동기화함. 1-4. 리더가 장애가 발생하게되면 다른 노드가 리더의 역할을 맡아 안정성이 뛰어남. 1-5. 일반적인 파일 시스템과 달리 zookeeper 데이터는 메모리에 보관되..

실시간 스트리밍에 대해서 알아보다가 메시지 브로커인 Kafka에 대해서 알게되었다. Kakao에서도 사용사례가 있다는 것을 보고 더욱 관심이 생겨서 알아보고 직접 사용해보게 되었다. 이 포스트에서는 Kafka를 Windows기반으로 셋팅하는 방법을 다루어 보도록 하겠다. 1. Kafka란? 1-1. 메시지 브로커, 메시지 큐라고도 함. - Producer가 메시지를 Broker에 적재해두면 Consumer들은 Broker로부터 메시지를 소비함. 1-2. 이기종 간의 호환성이 뛰어남. - 하둡, 오라클, Elasticsearch 등 다양한 플랫폼과 호환됨. 1-3. Broker는 Leader와 Follower로 역할이 나뉘어짐. - Leader가 작업을 할 수 없는 상태가 되면 Follower 중 하나가 ..