consumer2 [LOGSTASH] 무작정 시작하기 (3) - Filebeat To Kafka 2019/11/26 - [BIG-DATA/LOGSTASH] - [LOGSTASH] 무작정 시작하기 (1) - 설치 & 실행 2019/11/26 - [BIG-DATA/LOGSTASH] - [LOGSTASH] 무작정 시작하기 (2) - filter 지난 포스트까지해서 Logstash의 기본적인 사용법을 알아보았다. 이번 포스트에서는 Chrome Debug 로그를 Filebeat으로 수집하고 Logstash로 집계하여 변환하고 Kafka에 적재하는 프로세스를 구현해보도록 하겠다. Filebeat과 Kafka만 잘 셋팅되어 있다면 쉽게 구현할 수 있을 것이다. 이번 포스트에서 Filebeat과 Kafka에 대한 셋팅은 다른 포스트를 참고하길 바란다. #Filebeat 셋팅 2019/11/25 - [BIG-DAT.. 2019. 11. 28. [KAFKA] 무작정 시작하기 (4) - Topic & Producer & Consumer 실행 2019/11/19 - [BIG-DATA/KAFKA] - [KAFKA] 무작정 시작하기 (1) - 설치 & 실행 2019/11/20 - [BIG-DATA/KAFKA] - [KAFKA] 무작정 시작하기 (2) - Zookeeper 설정 2019/11/20 - [BIG-DATA/KAFKA] - [KAFKA] 무작정 시작하기 (3) - Kafka 설정 지난 포스트까지해서 Kafka 서버를 성공적을 실행시켜 보았다. 서버를 이용하려면 클라이언트가 있어야하지 않겠는가. Kafka에는 Producer와 Consumer라는 클라이언트가 있다. Producer는 메시지를 Topic에 적재하며, Consumer는 topic에 적재된 메시지를 소비한다. 이번 포스트에서는 Topic을 생성하고 여기에 메시지를 적재하는 Pr.. 2019. 11. 21. 이전 1 다음
