본문 바로가기
728x90
반응형

BIG-DATA/LOGSTASH3

[LOGSTASH] 무작정 시작하기 (3) - Filebeat To Kafka 2019/11/26 - [BIG-DATA/LOGSTASH] - [LOGSTASH] 무작정 시작하기 (1) - 설치 & 실행 2019/11/26 - [BIG-DATA/LOGSTASH] - [LOGSTASH] 무작정 시작하기 (2) - filter 지난 포스트까지해서 Logstash의 기본적인 사용법을 알아보았다. 이번 포스트에서는 Chrome Debug 로그를 Filebeat으로 수집하고 Logstash로 집계하여 변환하고 Kafka에 적재하는 프로세스를 구현해보도록 하겠다. Filebeat과 Kafka만 잘 셋팅되어 있다면 쉽게 구현할 수 있을 것이다. 이번 포스트에서 Filebeat과 Kafka에 대한 셋팅은 다른 포스트를 참고하길 바란다. #Filebeat 셋팅 2019/11/25 - [BIG-DAT.. 2019. 11. 28.
[LOGSTASH] 무작정 시작하기 (2) - filter 2019/11/26 - [전체글] - [LOGSTASH] 무작정 시작하기 (1) - 설치 & 실행 지난 포스트에서 Logstash를 설치하고 간단하게 input과 output을 설정하여 실행까지 해보았다. 이번 포스트에서는 분석, 변환 단계인 filter에 대해서 알아보고 자주 사용하는 라이브러리들을 위주로 직접 활용해보도록 하겠다. 아무래도 실제 로그 데이터를 활용하여 진행하는 것이 이해하기가 수월할 것으로 판단되어, Chrome 브라우저의 로그를 file input plugin으로 읽어서 처리하도록 하겠다. 1. filter란? 1-1. input으로 집계한 데이터를 분석하고 변환하는 단계로 Logstash의 핵심. 1-2. grok, ruby, mutate 등 다양한 라이브러리를 지원. 2. Chr.. 2019. 11. 26.
[LOGSTASH] 무작정 시작하기 (1) - 설치 & 실행 이 포스트에서는 ElasticStack 중 하나인 로그를 수집(input)하고 분석하고 변환(filter)하여 출력(output)하는 Logstash에 대하여 알아보도록 하겠다. Logstash는 단독으로는 잘 사용하지 않으며 주로 Filebeat이나 Kafka와 함께 사용한다. 이번 시간에는 간단하게 Console로 입력하고 출력하는 예제로 진행하겠지만, 이후 진행되는 포스트는 Filebeat으로 수집하고 Kafka 또는 Flume으로 데이터를 내보내는 방법들을 다룰 것이다. 1. Logstash란? 1-1. 수집한 로그를 분석하고 변환하여 내보내는 데이터 수집 엔진. 1-2. 변환단계에서 민감한 데이터들을 삭제, 가공할 수 있음. 1-3. 분석 및 변환을 위한 방대한 양의 Filter 라이브러리가 존.. 2019. 11. 26.
728x90
반응형