전체글143 [BatchScript] CLASSPATH 만들기 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 @echo off set CLASSPATH= set JAVA=C:\java\jdk-11.0.5\bin\java set MY_LIBS=C:\work\libs for %%i in ( "%MY_LIBS%\*.jar" ) do ( call :concat "%%i" ) echo %CLASSPATH% goto :eof :concat if not defined CLASSPATH ( set CLASSPATH="%~1" ) ELSE ( set CLASSPATH=%CLASSPATH%;"%~1" ) Colored by Color Scripter cs 7 ln: 지정한 폴더의 jar 파일 모두 조회하고 loop. 8 ln: [ :concat.. 2019. 11. 28. [LOGSTASH] 무작정 시작하기 (3) - Filebeat To Kafka 2019/11/26 - [BIG-DATA/LOGSTASH] - [LOGSTASH] 무작정 시작하기 (1) - 설치 & 실행 2019/11/26 - [BIG-DATA/LOGSTASH] - [LOGSTASH] 무작정 시작하기 (2) - filter 지난 포스트까지해서 Logstash의 기본적인 사용법을 알아보았다. 이번 포스트에서는 Chrome Debug 로그를 Filebeat으로 수집하고 Logstash로 집계하여 변환하고 Kafka에 적재하는 프로세스를 구현해보도록 하겠다. Filebeat과 Kafka만 잘 셋팅되어 있다면 쉽게 구현할 수 있을 것이다. 이번 포스트에서 Filebeat과 Kafka에 대한 셋팅은 다른 포스트를 참고하길 바란다. #Filebeat 셋팅 2019/11/25 - [BIG-DAT.. 2019. 11. 28. [크롤링] 무작정 시작하기 (7) - scrapyd 2019/11/19 - [Back-end/Python] - [크롤링] 무작정 시작하기 (1) - 패키지 선택 2019/11/19 - [Back-end/Python] - [크롤링] 무작정 시작하기 (2) - 프로젝트 준비 2019/11/19 - [Back-end/Python] - [크롤링] 무작정 시작하기 (3) - Spider 2019/11/20 - [Back-end/Python] - [크롤링] 무작정 시작하기 (4) - Selenium + Scrapy 2019/11/21 - [Back-end/Python] - [크롤링] 무작정 시작하기 (5) - Item 2019/11/24 - [Back-end/Python] - [크롤링] 무작정 시작하기 (6) - 파일 다운로드 지금까지 Scrapy와 Selenium.. 2019. 11. 27. [LOGSTASH] 무작정 시작하기 (2) - filter 2019/11/26 - [전체글] - [LOGSTASH] 무작정 시작하기 (1) - 설치 & 실행 지난 포스트에서 Logstash를 설치하고 간단하게 input과 output을 설정하여 실행까지 해보았다. 이번 포스트에서는 분석, 변환 단계인 filter에 대해서 알아보고 자주 사용하는 라이브러리들을 위주로 직접 활용해보도록 하겠다. 아무래도 실제 로그 데이터를 활용하여 진행하는 것이 이해하기가 수월할 것으로 판단되어, Chrome 브라우저의 로그를 file input plugin으로 읽어서 처리하도록 하겠다. 1. filter란? 1-1. input으로 집계한 데이터를 분석하고 변환하는 단계로 Logstash의 핵심. 1-2. grok, ruby, mutate 등 다양한 라이브러리를 지원. 2. Chr.. 2019. 11. 26. 이전 1 ··· 27 28 29 30 31 32 33 ··· 36 다음
