Scrapy

Artículo original de https://gabrielperales.wordpress.com/2014/09/01/web-scraping-con-scrapy/

En este pequeño tutorial vamos a extraer datos de una página de anuncios clasificados, de cada item o artículo nos interesará solo tres cosas, el nombre, la descripción y el precio.

Instalación y configuración

Primero instalamos python

sudo apt-get install python-pip
sudo apt-get install python-dev

Seguidamente vamos a crear un entorno virtual con virtualenv de python para nuestro proyecto:

virtualenv venv

Esto creará una carpeta venv donde contendrá un entorno virtual para python y donde instalaremos Scrapy. Ahora activamos el entorno virtual con el siguiente comando:

source venv/bin/activate

Una vez activado el entorno virtual instalamos Scrapy con pip install scrapy

pip install scrapy

Hay que tener instalada la librería libxml2 y libxslt para que no de error