BIG-DATA15 [KAFKA] 무작정 시작하기 (3) - Kafka 설정 지난 포스트에서는 zookeeper에 대해서 간략하게 알아보고, zookeeper-server를 실행하기위한 zookeeper.properties를 작성하였다. 이번 포스트에서는 kafka에 대해서 알아보고, kafka-server를 실행하기위한 server.properties를 작성해보자. 1. Kafka란? 1-1. Apache에서 스칼라로 개발한 오픈소스 메시지 브로커. 1-2. 실시간 데이터 피드를 관리하기 위해 통일된, 높은 처리량, 낮은 지연시간을 지닌 플랫폼을 제공하는 것이 목표. 1-3. 분산 트랜잭션 로그로 구성된 pub/sub 메시지 큐이며, 대용량의 스트리밍 데이터를 처리하기에 적합함. - pub/sub ( 발행/구독 )은 한명이 데이터를 올리면 다른 사람들은 그 데이터를 가져다가 쓰.. 2019. 11. 20. [KAFKA] 무작정 시작하기 (2) - Zookeeper 설정 이번 포스트에서는 Zookeeper에 대해서 간략하게 알아보고, zookeeper.properteis를 작성해 보도록하겠다. 1. zookeeper란? 1-1. zookeeper는 Apache의 오픈 소스 프로젝트 중 하나이며, 공개 분산형 구성 서비스, 동기 서비스 및 대용량 분산 시스템을 위한 네임 스페이스 레지스트리를 제공함. 1-2. znode(주키퍼 노드)는 네임 스페이스 안에 데이터를 저장하며, 클라이언트는 znode를 통해 데이터를 읽거나 씀. 1-3. 리더 노드가 존재하며, 리더를 제외한 노드들은 리더로부터 데이터를 동기화함. 1-4. 리더가 장애가 발생하게되면 다른 노드가 리더의 역할을 맡아 안정성이 뛰어남. 1-5. 일반적인 파일 시스템과 달리 zookeeper 데이터는 메모리에 보관되.. 2019. 11. 20. [KAFKA] 무작정 시작하기 (1) - 설치 & 실행 실시간 스트리밍에 대해서 알아보다가 메시지 브로커인 Kafka에 대해서 알게되었다. Kakao에서도 사용사례가 있다는 것을 보고 더욱 관심이 생겨서 알아보고 직접 사용해보게 되었다. 이 포스트에서는 Kafka를 Windows기반으로 셋팅하는 방법을 다루어 보도록 하겠다. 1. Kafka란? 1-1. 메시지 브로커, 메시지 큐라고도 함. - Producer가 메시지를 Broker에 적재해두면 Consumer들은 Broker로부터 메시지를 소비함. 1-2. 이기종 간의 호환성이 뛰어남. - 하둡, 오라클, Elasticsearch 등 다양한 플랫폼과 호환됨. 1-3. Broker는 Leader와 Follower로 역할이 나뉘어짐. - Leader가 작업을 할 수 없는 상태가 되면 Follower 중 하나가 .. 2019. 11. 19. 이전 1 2 3 4 다음
