BIG-DATA15 [FILEBEAT] 무작정 시작하기 (2) - Multiline 2019/11/25 - [BIG-DATA/FILEBEAT] - [FILEBEAT] 무작정 시작하기 (1) - 설치 및 실행 지난 포스트에서 FILEBEAT을 설치하고 간단하게 실행까지 해보았다. 이번시간에는 로그를 multiline으로 저장하고 이를 출력하는 방법을 정리하려고 한다. 로그 파일은 웹 브라우저인 Chrome의 로그를 활용하여 진행하고자 한다. 1. 로그 파일 생성. 1-1. 크롬 Debug 모드 실행. 1 "C:\Program Files (x86)\Google\Chrome\Application\chrome.exe" --enable-logging --v=1 --user-data-dir=C:\work\chrome cs - 크롬의 실행 파일 경로는 아이콘을 오른쪽 클릭하고 [ 속성 ] - [ 대.. 2019. 11. 25. [FILEBEAT] 무작정 시작하기 (1) - 설치 및 실행 이번 포스트는 Elastic Stack 중 하나인 Filebeat에 대해서 간략하게 알아보면서 실행까지 해보도록 하겠다. Filebeat를 실행하려면 output을 설정해야 하는데 1. Filebeat란? 1-1. 실시간 경량 로그 수집기. 1-2. 분산되어 있는 여러 시스템에서 발생하는 로그들( System.log, WebServer.log, Engine.log, Error.log 등)을 수집하여 경량화된 하나의 로그(Beat)로 만들고, 이를 Elasticsearch, Logstash, Kafka, Redis 등 다양한 Output으로 Push해주는 Producer임. 2. 설치방법. 2-1. 로그를 publishing할 대상의 OS를 확인 하고 다운로드. - 포스트에서는 Windows를 사용. - .. 2019. 11. 25. [KAFKA] 무작정 시작하기 (5) - SASL 인증 설정 2019/11/19 - [BIG-DATA/KAFKA] - [KAFKA] 무작정 시작하기 (1) - 설치 & 실행 2019/11/20 - [BIG-DATA/KAFKA] - [KAFKA] 무작정 시작하기 (2) - Zookeeper 설정 2019/11/20 - [BIG-DATA/KAFKA] - [KAFKA] 무작정 시작하기 (3) - Kafka 설정 2019/11/21 - [BIG-DATA/KAFKA] - [KAFKA] 무작정 시작하기 (4) - Topic & Producer & Consumer 실행 지난 포스트에서 Kafka 서버를 실행하고 접속까지 해보았다. 이번 시간에는 서버에 접속할 때 인증된 사용자만 접근할 수 있도록 보안을 강화하여 보겠다. 여러 Configuration 파일들을 생성해야 하므로 .. 2019. 11. 22. [KAFKA] 무작정 시작하기 (4) - Topic & Producer & Consumer 실행 2019/11/19 - [BIG-DATA/KAFKA] - [KAFKA] 무작정 시작하기 (1) - 설치 & 실행 2019/11/20 - [BIG-DATA/KAFKA] - [KAFKA] 무작정 시작하기 (2) - Zookeeper 설정 2019/11/20 - [BIG-DATA/KAFKA] - [KAFKA] 무작정 시작하기 (3) - Kafka 설정 지난 포스트까지해서 Kafka 서버를 성공적을 실행시켜 보았다. 서버를 이용하려면 클라이언트가 있어야하지 않겠는가. Kafka에는 Producer와 Consumer라는 클라이언트가 있다. Producer는 메시지를 Topic에 적재하며, Consumer는 topic에 적재된 메시지를 소비한다. 이번 포스트에서는 Topic을 생성하고 여기에 메시지를 적재하는 Pr.. 2019. 11. 21. 이전 1 2 3 4 다음
