파이썬11 [Telegram] 무작정 시작하기 (1) - 설치 및 실행 2020/01/21 - [Back-end/Python] - [크롤링] 직방에서 방찾기 (1) - 데이터 분석 2020/01/21 - [Back-end/Python] - [크롤링] 직방에서 방찾기 (2) - Crawler 이전 포스트들에서 직방에서 매물을 크롤링하는 예제를 다루었다. 그러나, 매물을 확인할 때마다 PC에서 명령어로 Python을 실행하는 것도 여간 번거로운 일이 아닐 수 없다. 그래서, 스마트폰을 이용해서 언제 어디서나 확인할 수 있는 방법이 없을까 찾아보다가 카카오톡 메신저로 알림을 받는 방법과 텔레그램의 봇을 이용한 방법에 대해서 알게되었다. 카카오톡을 사용하려면 Token을 주기적으로 갱신해야되는 번거로움이 있기 때문에 이번 포스트에서는 텔레그램을 이용하여 스마트폰에서 매물정보를 확인.. 2020. 1. 30. [크롤링] 직방에서 방찾기 (2) - Crawler 2020/01/21 - [Back-end/Python] - [크롤링] 직방에서 방찾기 (1) - 데이터 분석 지난 포스트에서 직방에서 방정보를 수집하기위한 API서버의 URL정보들을 수집했다. API서버에서 바로 데이터를 받아오는 방식으로 크롤러를 만들것이기 때문에 BS4와 같은 별도의 Parser는 사용하지 않을 것이며 Reuqests 라이브러리 하나로 간단하게 만들어 볼 것이다. 1. 라이브러리 설치. 1-1. requests 라이브러리 설치. > pip install requests 2. 매물목록 데이터 확인. 2-1. 데이터 확인용 크롤러 생성. - crawl_zigbang.py 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 # crawl_zigbang.py im.. 2020. 1. 21. [크롤링] 직방에서 방찾기 (1) - 데이터 분석 최근 청년전세자금 대출을 이용하여 독립을 해보려고 원룸을 알아보고 있었는데, 대출로 계약할 수 있는 방이 한정적이었다. 검색이라도 할 수 있으면 괜찮은데 검색도 할 수 없어서 직접 대출이 가능한 방을 크롤링하여 수집하기로 하였다. 지난 [크롤링] 무작정시작하기 포스트에서는 html 태그를 분석하고 태그에서 원하는 데이터를 추출하는 방법으로 크롤링을 하였는데, 이번에는 API서버에 데이터를 요청하는 URL을 이용하여 데이터를 크롤링하는 방법을 알아보도록 하겠다. 이번 크롤러는 코딩보다는 수집할 데이터를 어디서 어떻게 가져올 것인가 분석하는데 더 많은 노력이 필요하다. 크롤러를 만들면서 데이터를 수집할 이런 저런 방법들을 찾아봤는데 지하철역을 기준으로 검색하는 것이 가장 편했기 때문에 이를 기준으로 포스트를.. 2020. 1. 21. 이전 1 2 3 다음
