meta data de esta página
  •  

Diferencias

Muestra las diferencias entre dos versiones de la página.

Enlace a la vista de comparación

Próxima revisión		Revisión previa
programacion:python:scrapy [2015/12/14 21:42] – creado lcprogramacion:python:scrapy [2023/01/18 13:36] (actual) – editor externo 127.0.0.1
Línea 6: Línea 6:
  
 ==== Instalación y configuración ==== ==== Instalación y configuración ====
 +Primero instalamos python 
 +<code>
 +sudo apt-get install python-pip python-dev libxml2-dev libxslt1-dev</code>
  
-Primero vamos a crear un entorno virtual con virtualenv de python:+Seguidamente vamos a crear un entorno virtual con virtualenv de python para nuestro proyecto:
 <code> <code>
 virtualenv venv</code> virtualenv venv</code>
Línea 17: Línea 20:
 <code>pip install scrapy </code> <code>pip install scrapy </code>
  
 +<note> Hay que tener instalada la librería libxml2 y libxslt para que no de error </note>
  
 +Una vez instalado vamos a crear nuestra primera araña.
 +
 +<note>utilizaremos la plantilla crawl, que es igual que la araña basic pero esta nos permite seguir enlaces. </note>
 +
 +Para generar una araña usando esta plantilla debemos escribir en la consola scrapy genspider -t crawl. En nuestro caso a la araña la llamaremos segundamano y el dominio será el de la segundamano.es
 +<code>scrapy genspider -t crawl segundamano segundamano.es </code>
 +
 +Al ejecutar el comando se genera dentro un fichero segundamano.py dentro del **directorio del proyecto/spiders**
 +<code>
 +├── tutorial
 +│   ├── __init__.py
 +│   ├── items.py
 +│   ├── pipelines.py
 +│   ├── settings.py
 +│   └── spiders
 +│       ├── __init__.py
 +│       └── segundamano.py
 +└── scrapy.cfg
 +</code>
 +==== Referencias ====
 +  * http://teclp.com/2015/03/install-scrapy-on-ubuntu-using-python-pip/