Scrapy

L'équipe responsable du développement du framework lui confère plusieurs caractéristiques^[5] :

• Simple : aucune notion avancée en Python n'est nécessaire pour utiliser Scrapy
• Productif : l'empreinte de code à générer est très courte, la plupart des opérations sont gérées par Scrapy
• Rapide : le framework est rapide, avec une gestion d'actions en parallèle notamment
• Extensible : chaque robot peut être personnalisés via des extensions, modifiant son comportement
• Portable : les robots Scrapy sont compatibles Linux, Windows, Mac et BSD
• Open Source
• Robuste, grâce à une batterie de tests effectuées aussi bien par les développeurs que la communauté

Le site web du projet propose un tutoriel détaillé sur l'utilisation de Scrapy^[6]. Ce cours propose notamment plusieurs exemples, comme celui ci-contre, extrayant certains liens présents sur plusieurs pages web.

from scrapy.spider import BaseSpider
from scrapy.selector import HtmlXPathSelector

from tutorial.items import DmozItem

class DmozSpider(BaseSpider):
   name = "dmoz"
   allowed_domains = ["dmoz.org"]
   start_urls = [
       "http://www.dmoz.org/Computers/Programming/Languages/Python/Books/",
       "http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/"
   ]

   def parse(self, response):
       hxs = HtmlXPathSelector(response)
       sites = hxs.select('//ul/li')
       items = []
       for site in sites:
           item = DmozItem()
           item['title'] = site.select('a/text()').extract()
           item['link'] = site.select('a/@href').extract()
           item['desc'] = site.select('text()').extract()
           items.append(item)
       return items

v · m Python
Implémentation	CPython IronPython Jython Numba PyPy Shed Skin Stackless Python
Framework	CherryPy Django Flask Mako PyObjC (en) Qt PyQt PySide PyGTK Scrapy TurboGears Web2py
IDE	Anjuta IDLE KDevelop Komodo Microsoft Visual Studio PyCharm Spyder Visual Studio Code
Organisations	Python Software Foundation Django Software Foundation Django Girls PyLadies
Autres	Python Software Foundation License Pip Liste de logiciels Python Guido van Rossum PyCon PyPI

v · m Frameworks web
Python	Django Flask Tornado (framework) (en) Scrapy Twisted Web2py CherryPy Pyramid TurboGears
PHP	Symfony API Platform Zend Framework CodeIgniter FuelPHP Yii CakePHP QCodo Laravel Jelix Agavi Atomik Copix Kumbia PHP PRADO WebSite-PHP Phalcon
Ruby	Ruby on Rails Sinatra Merb
Perl	Catalyst Dancer Mojolicious
Smalltalk	Seaside
JavaScript	Côté serveur Express.js Meteor Côté client Angular AngularJS Backbone.js Cappuccino Dojo Ember.js Ext JS Meteor MooTools Prototype qooxdoo React script.aculo.us YUI Vue.js Svelte
CSS	Blueprint Frameworks d'interface Bootstrap Foundation
Java	Jakarta EE Spring Struts Tapestry Play Stripes ZK Cocoon GWT Echo AppFuse Grails RAP Wicket WebObjects Vert.x Quarkus
.NET	ASP.NET ASP.NET AJAX

• Portail de la programmation informatique