본문 바로가기

Back-end83

[크롤링] 직방에서 방찾기 (1) - 데이터 분석 최근 청년전세자금 대출을 이용하여 독립을 해보려고 원룸을 알아보고 있었는데, 대출로 계약할 수 있는 방이 한정적이었다. 검색이라도 할 수 있으면 괜찮은데 검색도 할 수 없어서 직접 대출이 가능한 방을 크롤링하여 수집하기로 하였다. 지난 [크롤링] 무작정시작하기 포스트에서는 html 태그를 분석하고 태그에서 원하는 데이터를 추출하는 방법으로 크롤링을 하였는데, 이번에는 API서버에 데이터를 요청하는 URL을 이용하여 데이터를 크롤링하는 방법을 알아보도록 하겠다. 이번 크롤러는 코딩보다는 수집할 데이터를 어디서 어떻게 가져올 것인가 분석하는데 더 많은 노력이 필요하다. 크롤러를 만들면서 데이터를 수집할 이런 저런 방법들을 찾아봤는데 지하철역을 기준으로 검색하는 것이 가장 편했기 때문에 이를 기준으로 포스트를.. 2020. 1. 21.
[Celery] 무장적 시장하기 (4) - Group과 Chord 2020/01/10 - [Back-end/Python] - [Celery] 무작정 시작하기 (1) - 설치 및 실행 2020/01/17 - [Back-end/Python] - [Celery] 무작정 시작하기 (2) - Task 2020/01/20 - [Back-end/Python] - [Celery] 무작정 시작하기 (3) - Chain 지난 포스트에서는 Chain을 이용하여 Taks를 순차적으로 실행시키는 방법을 알아보았다. 이번 포스트에서는 Task를 일괄적으로 실핼 할 수 있는 Group과 Chord에 대해서 알아보려고 한다. 1. Group이란? 1-1. 말 그대로 하나의 집합을 만들어 실행시키는 작업으로 Task를 병렬로 실행할 수 있음. 1-2. Task를 그룹화 하는 방법에는 두가지가 있음... 2020. 1. 20.
[Celery] 무작정 시작하기 (3) - Chain 2020/01/10 - [Back-end/Python] - [Celery] 무작정 시작하기 (1) - 설치 및 실행 2020/01/17 - [Back-end/Python] - [Celery] 무작정 시작하기 (2) - Task 지난 포스트에서 apply_async(delay)로 Task를 단일 실행시키는 방법에 대해서 간단하게 알아보았다. 단일로 실행시켰을 경우 각 Task는 독립적이기 때문에 서로의 결과값을 참조할 수 없다. 하지만, 처음에 실행된 Task의 결과값을 다음 Task에서 사용해야하는 경우도 있을 것이다. 그래서, 이번 포스트에서는 이러한 문제를 해결할 수 있는 Chain에 대해서 알아보도록 하겠다. 지난 포스트에서 셋팅한 Celery App을 사용하므로 반드시 선행하길 바란다. 1. Ch.. 2020. 1. 20.
[Docker] 무작정 시작하기 (2) - 명령어 2020/01/18 - [Back-end/Docker] - [Docker] 무작정 시작하기 (1) - 설치 및 실행 지난 포스트에서 Docker를 설치하고 RabbitMQ Container를 생성하여보았다. Docker는 간단한 명령어로 Container를 쉽게 관리할 수 있다는 장점이 있다. 그래서 이번 시간에는 지난 포스트에서 설치한 RabbitMQ Container를 이용하여 자주사용되는 명령어들을 알아보도록하겠다. 이 포스트는 지난 포스트에 작성한 rabbitmq Container를 기준으로 작성하였음. 1. Image 관련 명령어. 1-1. 검색. > docker search rabbitmq 1-2. 생성. > docker pull rabbitmq 1-3. 빌드. > docker build -t.. 2020. 1. 18.

티스토리툴바