본문 바로가기

BIG-DATA15

[LOGSTASH] 무작정 시작하기 (3) - Filebeat To Kafka 2019/11/26 - [BIG-DATA/LOGSTASH] - [LOGSTASH] 무작정 시작하기 (1) - 설치 & 실행 2019/11/26 - [BIG-DATA/LOGSTASH] - [LOGSTASH] 무작정 시작하기 (2) - filter 지난 포스트까지해서 Logstash의 기본적인 사용법을 알아보았다. 이번 포스트에서는 Chrome Debug 로그를 Filebeat으로 수집하고 Logstash로 집계하여 변환하고 Kafka에 적재하는 프로세스를 구현해보도록 하겠다. Filebeat과 Kafka만 잘 셋팅되어 있다면 쉽게 구현할 수 있을 것이다. 이번 포스트에서 Filebeat과 Kafka에 대한 셋팅은 다른 포스트를 참고하길 바란다. #Filebeat 셋팅 2019/11/25 - [BIG-DAT.. 2019. 11. 28.
[LOGSTASH] 무작정 시작하기 (2) - filter 2019/11/26 - [전체글] - [LOGSTASH] 무작정 시작하기 (1) - 설치 & 실행 지난 포스트에서 Logstash를 설치하고 간단하게 input과 output을 설정하여 실행까지 해보았다. 이번 포스트에서는 분석, 변환 단계인 filter에 대해서 알아보고 자주 사용하는 라이브러리들을 위주로 직접 활용해보도록 하겠다. 아무래도 실제 로그 데이터를 활용하여 진행하는 것이 이해하기가 수월할 것으로 판단되어, Chrome 브라우저의 로그를 file input plugin으로 읽어서 처리하도록 하겠다. 1. filter란? 1-1. input으로 집계한 데이터를 분석하고 변환하는 단계로 Logstash의 핵심. 1-2. grok, ruby, mutate 등 다양한 라이브러리를 지원. 2. Chr.. 2019. 11. 26.
[LOGSTASH] 무작정 시작하기 (1) - 설치 & 실행 이 포스트에서는 ElasticStack 중 하나인 로그를 수집(input)하고 분석하고 변환(filter)하여 출력(output)하는 Logstash에 대하여 알아보도록 하겠다. Logstash는 단독으로는 잘 사용하지 않으며 주로 Filebeat이나 Kafka와 함께 사용한다. 이번 시간에는 간단하게 Console로 입력하고 출력하는 예제로 진행하겠지만, 이후 진행되는 포스트는 Filebeat으로 수집하고 Kafka 또는 Flume으로 데이터를 내보내는 방법들을 다룰 것이다. 1. Logstash란? 1-1. 수집한 로그를 분석하고 변환하여 내보내는 데이터 수집 엔진. 1-2. 변환단계에서 민감한 데이터들을 삭제, 가공할 수 있음. 1-3. 분석 및 변환을 위한 방대한 양의 Filter 라이브러리가 존.. 2019. 11. 26.
[FILEBEAT] 무작정 시작하기 (3) - output.kafka 2019/11/25 - [BIG-DATA/FILEBEAT] - [FILEBEAT] 무작정 시작하기 (1) - 설치 및 실행 2019/11/25 - [BIG-DATA/FILEBEAT] - [FILEBEAT] 무작정 시작하기 (2) - Multiline 지난 포스트까지는 Filebeat으로 수집한 Beat를 Console로 내보내면서 무의미하게 소비되었는데, 이번 포스트에서는 Kafka에 적재하여 데이터를 보관하고 Consumer를 통해 소비하는 방법을 소개하려고 한다. 이번 포스트는 Kafka와 약간의 Python을 사용한다. Python은 간단하게 설치하고 소스를 붙여넣으면 끝낼 수 있으나, Kafka는 반드시 선행학습해야 하므로 현재 블로그의 '[KAFKA] 무작정 시작하기'를 참고하길 바란다. 1. .. 2019. 11. 26.