2019/11/26 - [BIG-DATA/LOGSTASH] - [LOGSTASH] 무작정 시작하기 (1) - 설치 & 실행 2019/11/26 - [BIG-DATA/LOGSTASH] - [LOGSTASH] 무작정 시작하기 (2) - filter 지난 포스트까지해서 Logstash의 기본적인 사용법을 알아보았다. 이번 포스트에서는 Chrome Debug 로그를 Filebeat으로 수집하고 Logstash로 집계하여 변환하고 Kafka에 적재하는 프로세스를 구현해보도록 하겠다. Filebeat과 Kafka만 잘 셋팅되어 있다면 쉽게 구현할 수 있을 것이다. 이번 포스트에서 Filebeat과 Kafka에 대한 셋팅은 다른 포스트를 참고하길 바란다. #Filebeat 셋팅 2019/11/25 - [BIG-DAT..

2019/11/25 - [BIG-DATA/FILEBEAT] - [FILEBEAT] 무작정 시작하기 (1) - 설치 및 실행 2019/11/25 - [BIG-DATA/FILEBEAT] - [FILEBEAT] 무작정 시작하기 (2) - Multiline 지난 포스트까지는 Filebeat으로 수집한 Beat를 Console로 내보내면서 무의미하게 소비되었는데, 이번 포스트에서는 Kafka에 적재하여 데이터를 보관하고 Consumer를 통해 소비하는 방법을 소개하려고 한다. 이번 포스트는 Kafka와 약간의 Python을 사용한다. Python은 간단하게 설치하고 소스를 붙여넣으면 끝낼 수 있으나, Kafka는 반드시 선행학습해야 하므로 현재 블로그의 '[KAFKA] 무작정 시작하기'를 참고하길 바란다. 1. ..

2019/11/25 - [BIG-DATA/FILEBEAT] - [FILEBEAT] 무작정 시작하기 (1) - 설치 및 실행 지난 포스트에서 FILEBEAT을 설치하고 간단하게 실행까지 해보았다. 이번시간에는 로그를 multiline으로 저장하고 이를 출력하는 방법을 정리하려고 한다. 로그 파일은 웹 브라우저인 Chrome의 로그를 활용하여 진행하고자 한다. 1. 로그 파일 생성. 1-1. 크롬 Debug 모드 실행. 1 "C:\Program Files (x86)\Google\Chrome\Application\chrome.exe" --enable-logging --v=1 --user-data-dir=C:\work\chrome cs - 크롬의 실행 파일 경로는 아이콘을 오른쪽 클릭하고 [ 속성 ] - [ 대..

이번 포스트는 Elastic Stack 중 하나인 Filebeat에 대해서 간략하게 알아보면서 실행까지 해보도록 하겠다. Filebeat를 실행하려면 output을 설정해야 하는데 1. Filebeat란? 1-1. 실시간 경량 로그 수집기. 1-2. 분산되어 있는 여러 시스템에서 발생하는 로그들( System.log, WebServer.log, Engine.log, Error.log 등)을 수집하여 경량화된 하나의 로그(Beat)로 만들고, 이를 Elasticsearch, Logstash, Kafka, Redis 등 다양한 Output으로 Push해주는 Producer임. 2. 설치방법. 2-1. 로그를 publishing할 대상의 OS를 확인 하고 다운로드. - 포스트에서는 Windows를 사용. - ..