파이썬11 [크롤링] Selenium으로 특가 상품 수집 (2) - Selenium 설정 2020/01/31 - [Back-end/Python] - [크롤링] Selenium으로 특가 상품 수집 (1) - 프로젝트 준비 지난 포스트에서 프로젝트 구성과 수집할 대상을 선정해보았다. Selenium을 Crawler로 사용하기로 하였는데, 사실 Selenium은 웹 어플리케이션을 테스트하기 위한 자동화 도구이지 크롤링을 위한 도구가 아니다. 그래서, Crawler로 사용하려면 필수는 아니지만 Selenium WebDriver에 몇가지 옵션을 설정해주는 것이 좋다. 이번 포스트에서는 Selenium을 설치하고 이 옵션을 설정하는 방법에 대해서 알아보도록 하겠다. 1. Selenium 설치 및 실행. 1-1. Selenium 설치. > pip install selenium 1-2. 소스 작성. - c.. 2020. 1. 31. [크롤링] Selenium으로 특가 상품 수집 (1) - 프로젝트 준비 Selenium은 자동화 툴이지만 크롤링에 이용하는 이유는 아무래도 무한 스크롤이나 클라이언트 사이드 렌더링(React, Vue 등)을 사용하는 동적 웹사이트 때문이기도 하지만, XPATH가 지원된다는 것도 한 몫 한다고 생각한다. 왜냐하면, 다른 포스트에서 살짝 다룬적이 있었는데 CSS Selector로 할 수 없는 편리한 기능들을 많이 지원하기 때문이다. 실제 웹을 실행하는 환경과 동일하기 때문에 페이지를 한번 요청하는데 다른 모듈에 비해 시간이 많이 걸리는 편이지만 실시간으로 데이터를 수집해야 하는 경우가 아니라면 Selenium을 사용하는 것이 편하다. Scrapy로 크롤러를 만들 때 Middleware로 사용하긴 했었지만 단독으로 사용한 적은 없었다. 그래서 이번 포스트에서는 Selenium만을.. 2020. 1. 31. [Telegram] 무작정 시작하기 (3) - Button Message 2020/01/30 - [Back-end/Python] - [Telegram] 무작정 시작하기 (1) - 설치 및 실행 2020/01/30 - [Back-end/Python] - [Telegram] 무작정 시작하기 (2) - CommandHandler 지난 포스트에서는 명령어를 입력하여 이벤트를 실행하는 방법에 대해서 알아보았다. PC를 이용하는 경우에는 명령어를 입력하는게 크게 불편하지 않지만, 스마트폰을 이용하는 경우 다소 불편할 수 있다. 그래서, 봇에서는 버튼을 이용하여 조작할 수 있는 기능을 제공한다. 이번 포스트에서는 이 기능을 활용하여 간단한 예제를 만들어 보도록 하겠다. 1. Message에 버튼 추가하기. 1-1. 소스 작성. - buttons_bot.py 1 2 3 4 5 6 7 8 9.. 2020. 1. 30. [Telegram] 무작정 시작하기 (2) - CommandHandler 2020/01/30 - [Back-end/Python] - [Telegram] 무작정 시작하기 (1) - 설치 및 실행 지난 포스트에서 텔레그램 봇을 생성하고 Message를 Push하는 예제를 다루어보았다. 이번 포스트에서는 명령어(Command)를 입력받고 그에 따른 이벤트를 실행하는 예제를 다루어 보려고 한다. 1. Command Handler 생성. 1-1. 소스 작성. - cmd_handler_bot.py 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 #cmd_handler_bot.py from telegram.ext import Updater from telegram.ext import CommandHand.. 2020. 1. 30. 이전 1 2 3 다음
