2020/01/18 - [Back-end/Docker] - [Docker] 무작정 시작하기 (1) - 설치 및 실행 지난 포스트에서 Docker를 설치하고 RabbitMQ Container를 생성하여보았다. Docker는 간단한 명령어로 Container를 쉽게 관리할 수 있다는 장점이 있다. 그래서 이번 시간에는 지난 포스트에서 설치한 RabbitMQ Container를 이용하여 자주사용되는 명령어들을 알아보도록하겠다. 이 포스트는 지난 포스트에 작성한 rabbitmq Container를 기준으로 작성하였음. 1. Image 관련 명령어. 1-1. 검색. > docker search rabbitmq 1-2. 생성. > docker pull rabbitmq 1-3. 빌드. > docker build -t..

Docker는 지나가면서 들어보기만하고 직접 사용해본적은 없었다. 그저 VMware처럼 가상 OS를 사용하는 환경이겠거니 했다. 그러다가 여기에 관심을 가지게된 계기가 공부하면서 RabbitMQ나 MongoDB, Flask 등 여러개의 서비스를 사용하게 되면서 입력해야 하는 명령어들이 점점 많아졌기 때문이다. 그리고, Linux에서만 지원하는 기능들도 있기 때문에 Docker가 필요하게 되었다. Docker를 이제 막 사용하기 시작했기 때문에 많이 부족하지만, 사용하면서 찾아본 내용들을 정리하는 포스트를 작성해 나갈 계획이다. 이 포스트는 Window 기반으로 작성되었음. 1. Docker란? 1-1. 리눅스의 응용 프로그램들을 Container 안에 배치시키는 일을 자동화하는 오픈 소스 프로젝트. 1-..

Scrapy+Selenium를 이용하여 크롤링을 하다가 오래 걸리는 한 녀석 때문에 다른 작업들이 밀려서 실시간으로 데이터를 가져오지 못하는 경우가 발생했다. 그래서 파이썬에서 비동기처리를 할 수 있는 방법에 대해서 찾아보다가 Scrapyd와 Celery에 대해서 알게되었다. Scrapyd는 API를 통해 Spider를 비동기적으로 호출하고 작업을 취소할 수도 있고, 사용법도 간단하여 아주 유용하게 사용한 녀석이다. 그리고 Celery는 비동기 태스크 큐이며 일련의 작업들을 큐에 담아 멀티태스킹 처리하는 방식이다. 여기에 Spider를 실행시키는 작업을 담으면 비동기처리가 가능하게 되고, 추가로 다른 작업들도 비동기 처리를 할 수 있다. 그래서 동기적으로 수행되는 웹에서 파일을 변환하여 저장하거나, 파일..

2020/01/08 - [Back-end/RabbitMQ] - [RabbitMQ ] 무작정 시작하기 (1) - 설치 및 실행 2020/01/08 - [Back-end/RabbitMQ] - [RabbitMQ] 무작정 시작하기 (2) - Publish/Subscribe 지난 포스트에서 RabbitMQ를 설치하고 유저도 생성하고 실행까지 해보았다. 그렇다면 실행로그는 어디에서 확인할 수 있을까? 서버를 실행시켰을때 출력되는 정보를 확인해보면 로그파일이 어디에 생성되는지 확인할 수 있는데, 별도의 설정을 하지않았기 때문에 [ C:\Users\사용자명\AppData\RabbitMQ ]에 생성이 되었을 것이다. 기본경로를 사용해도 상관없지만 아무래도 데이터를 관리를 위해 경로를 수정해주는 것을 권장한다. 그래서 이..

Message Broker(메시지 브로커)는 Publisher(송신자)로부터 전달받은 메시지를 Subscriber(수신자)로 전달해주는 중간 역할이며 응용 소프트웨어 간에 메시지를 교환할 수 있게 한다. 이 때 메시지가 적재되는 공간을 Message Queue(메세지 큐)라고 하며 메시지의 그룹을 Topic(토픽)이라고 한다. 예를들어 설명해보자. DW, AS라는 두 개의 서버가 있다. DW는 실시간으로 데이터를 수집하고 관리하는 서버이고, AS는 이 데이터를 가공하여 사용하는 서버이다. AS에서 DW에 있는 데이터를 사용하기위해서 어떻게 해야할까? 가장 일반적인 방법은 DW에서 Oracle, MySQL과 같은 RDB에 적재하고, AS에서는 이 DB에서 조회해서 쓰는 것이다. 그러나, 실시간으로 처리하기..