본문 바로가기

전체글143

[JAVA] Spring으로 REST API 구현하기 (1) - 프로젝트 생성 및 실행 이번 포스트는 Maven Project에 Spring Boot Framework를 사용하여 간단한 REST API를 구현해보도록 하겠다. 간단하게 지만 Interceptor와 Exception Handling 등 일부 기능들도 구현을 할 계획이다. 1. Eclipse Maven Proejct 생성. 1-1. Maven Project 선택 후 [ Next ] 클릭. 1-2. Workspace 위치 지정 후 [ Next ] 클릭. 1-3. maven-archetype-quickstart 1.1버전 선택 후 [ Next ] 클릭. 1-4. GroupId, ArtifactId 입력 후 [ Finish ] 클릭. 1-5. Proejct 생성 완료. 2. pom.xml 작성. - Project Object Mode.. 2019. 12. 5.
[Elasticsearch] 무작정 시작하기 (1) - 설치 및 실행 이번 포스트에서는 모든 종류의 문서를 검색할 수 있고 실시간에 가까운 검색능력을 가진 ElasticSearch에 대해서 알아볼 것이다. 익히 들어본 넷플릭스나 페이스북에서도 이 검색엔진을 사용한다. 1. Elastcisearch 란? 1-1. 텍스트, 숫자, 위치 기반 정보, 정형 및 비정형 데이터 등 모든 유형의 데이터를 위한 분산형 오픈 소스 검색 및 분석 엔진. 1-2. 간단한 REST API, 분산형 특징, 속도, 확장성으로 유명한 Elasticsearch는 데이터 수집, 보강, 저장, 분석, 시각화를 위한 오픈 소스 도구 모음인 Elastic Stack의 중심 구성 요소. 1-3. 애플리케이션 검색, 웹사이트 검색, 로깅과 로그 분석, 애플리케이션 성능 모니터링, 위치 기반 정보 데이터 분석 및.. 2019. 12. 3.
[FLUME] 무작정 시작하기 (3) - Kafka Source 2019/11/29 - [BIG-DATA/FLUME] - [FLUME] 무작정 시작하기 (1) - 설치 및 실행 2019/12/02 - [BIG-DATA/FLUME] - [FLUME] 무작정 시작하기 (2) - Channel & Sink 의 분산처리 지난 포스트까지해서 Flume의 Channel과 Sink를 통한 분산처리를 해보았다. 이번 포스트에서는 [KAFKA 무작정 시작하기 ]에서 다루었던 Kafka를 Source로 사용할 계획이다. 로그가 적재되고 있는 Kafka만 준비되어 있다면 쉽게 따라할 수 있을 것이다. 이번 포스트에서는 Flume만 다룰것이기 때문에 로그 수집 및 Kafka에 대한 설정은 다른 포스트를 참고하기 바란다. #[KAFKA] 무작정 시작하기 2019/11/19 - [BIG-DA.. 2019. 12. 3.
[FLUME] 무작정 시작하기 (2) - Channel & Sink 의 분산처리 2019/11/29 - [BIG-DATA/FLUME] - [FLUME] 무작정 시작하기 (1) - 설치 및 실행 지난 포스트에서 Flume을 설치하고 간단하게 실행까지 해보았다. 이번 포스트에서는 2개의 Channel과 각 Channel당 3개의 Sink를 사용해서 Telnet으로 메시지를 전송했을 때 어떻게 분산처리가 되는지 확인해보도록 하겠다. 1. Flume의 분산처리 흐름. - Source는 Application으로부터 데이터를 수집. - 수집한 데이터를 모든 Channel에 동일하게 저장. - 각 Channel은 저장된 데이터를 여러 Sink에 쪼개어 보냄. - Sink는 받은 데이터를 다른 Application에 데이터를 보내고 다음 작업을 기다림. 2. Flume 설정 및 실행. - 작업폴더.. 2019. 12. 2.