Back-end/Python43 [크롤링] Selenium으로 특가 상품 수집 (1) - 프로젝트 준비 Selenium은 자동화 툴이지만 크롤링에 이용하는 이유는 아무래도 무한 스크롤이나 클라이언트 사이드 렌더링(React, Vue 등)을 사용하는 동적 웹사이트 때문이기도 하지만, XPATH가 지원된다는 것도 한 몫 한다고 생각한다. 왜냐하면, 다른 포스트에서 살짝 다룬적이 있었는데 CSS Selector로 할 수 없는 편리한 기능들을 많이 지원하기 때문이다. 실제 웹을 실행하는 환경과 동일하기 때문에 페이지를 한번 요청하는데 다른 모듈에 비해 시간이 많이 걸리는 편이지만 실시간으로 데이터를 수집해야 하는 경우가 아니라면 Selenium을 사용하는 것이 편하다. Scrapy로 크롤러를 만들 때 Middleware로 사용하긴 했었지만 단독으로 사용한 적은 없었다. 그래서 이번 포스트에서는 Selenium만을.. 2020. 1. 31. [Telegram] 무작정 시작하기 (3) - Button Message 2020/01/30 - [Back-end/Python] - [Telegram] 무작정 시작하기 (1) - 설치 및 실행 2020/01/30 - [Back-end/Python] - [Telegram] 무작정 시작하기 (2) - CommandHandler 지난 포스트에서는 명령어를 입력하여 이벤트를 실행하는 방법에 대해서 알아보았다. PC를 이용하는 경우에는 명령어를 입력하는게 크게 불편하지 않지만, 스마트폰을 이용하는 경우 다소 불편할 수 있다. 그래서, 봇에서는 버튼을 이용하여 조작할 수 있는 기능을 제공한다. 이번 포스트에서는 이 기능을 활용하여 간단한 예제를 만들어 보도록 하겠다. 1. Message에 버튼 추가하기. 1-1. 소스 작성. - buttons_bot.py 1 2 3 4 5 6 7 8 9.. 2020. 1. 30. [Telegram] 무작정 시작하기 (2) - CommandHandler 2020/01/30 - [Back-end/Python] - [Telegram] 무작정 시작하기 (1) - 설치 및 실행 지난 포스트에서 텔레그램 봇을 생성하고 Message를 Push하는 예제를 다루어보았다. 이번 포스트에서는 명령어(Command)를 입력받고 그에 따른 이벤트를 실행하는 예제를 다루어 보려고 한다. 1. Command Handler 생성. 1-1. 소스 작성. - cmd_handler_bot.py 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 #cmd_handler_bot.py from telegram.ext import Updater from telegram.ext import CommandHand.. 2020. 1. 30. [Telegram] 무작정 시작하기 (1) - 설치 및 실행 2020/01/21 - [Back-end/Python] - [크롤링] 직방에서 방찾기 (1) - 데이터 분석 2020/01/21 - [Back-end/Python] - [크롤링] 직방에서 방찾기 (2) - Crawler 이전 포스트들에서 직방에서 매물을 크롤링하는 예제를 다루었다. 그러나, 매물을 확인할 때마다 PC에서 명령어로 Python을 실행하는 것도 여간 번거로운 일이 아닐 수 없다. 그래서, 스마트폰을 이용해서 언제 어디서나 확인할 수 있는 방법이 없을까 찾아보다가 카카오톡 메신저로 알림을 받는 방법과 텔레그램의 봇을 이용한 방법에 대해서 알게되었다. 카카오톡을 사용하려면 Token을 주기적으로 갱신해야되는 번거로움이 있기 때문에 이번 포스트에서는 텔레그램을 이용하여 스마트폰에서 매물정보를 확인.. 2020. 1. 30. 이전 1 ··· 3 4 5 6 7 8 9 ··· 11 다음
