ZOOKEEPER2 [KAFKA] 무작정 시작하기 (2) - Zookeeper 설정 이번 포스트에서는 Zookeeper에 대해서 간략하게 알아보고, zookeeper.properteis를 작성해 보도록하겠다. 1. zookeeper란? 1-1. zookeeper는 Apache의 오픈 소스 프로젝트 중 하나이며, 공개 분산형 구성 서비스, 동기 서비스 및 대용량 분산 시스템을 위한 네임 스페이스 레지스트리를 제공함. 1-2. znode(주키퍼 노드)는 네임 스페이스 안에 데이터를 저장하며, 클라이언트는 znode를 통해 데이터를 읽거나 씀. 1-3. 리더 노드가 존재하며, 리더를 제외한 노드들은 리더로부터 데이터를 동기화함. 1-4. 리더가 장애가 발생하게되면 다른 노드가 리더의 역할을 맡아 안정성이 뛰어남. 1-5. 일반적인 파일 시스템과 달리 zookeeper 데이터는 메모리에 보관되.. 2019. 11. 20. [KAFKA] 무작정 시작하기 (1) - 설치 & 실행 실시간 스트리밍에 대해서 알아보다가 메시지 브로커인 Kafka에 대해서 알게되었다. Kakao에서도 사용사례가 있다는 것을 보고 더욱 관심이 생겨서 알아보고 직접 사용해보게 되었다. 이 포스트에서는 Kafka를 Windows기반으로 셋팅하는 방법을 다루어 보도록 하겠다. 1. Kafka란? 1-1. 메시지 브로커, 메시지 큐라고도 함. - Producer가 메시지를 Broker에 적재해두면 Consumer들은 Broker로부터 메시지를 소비함. 1-2. 이기종 간의 호환성이 뛰어남. - 하둡, 오라클, Elasticsearch 등 다양한 플랫폼과 호환됨. 1-3. Broker는 Leader와 Follower로 역할이 나뉘어짐. - Leader가 작업을 할 수 없는 상태가 되면 Follower 중 하나가 .. 2019. 11. 19. 이전 1 다음
