Installer Tor et Polipo pour Scrapy sur Windows 10

Windows 10 build 1709
Tor 0.3.1.9 win32
Vidalia standalone 0.2.21 win32
Polipo 20140107 win32

Tor Expert Bundle

https://www.torproject.org/download/download.html.en L'extraire F:\Tor (ex.)

Vidalia (GUI pour Tor)

Télécharger le GUI Vidalia pour configurer Tor et l'extraire dans le dossier de Tor
https://people.torproject.org/~erinn/vidalia-standalone-bundles/vidalia-standalone-0.2.21-win32-1_fr.exe
Lancer Vidalia F:\Tor\Start Vidalia.exe

Cliquer sur "Paramètres" :
- Onglet "Général" :
  - Configurer le chemin d'accès à l'exécutable de Tor F:\Tor\Tor\tor.exe
- Onglet "Avancé" :
  - Définir la connexion TCP 127.0.0.1:9150
  - Vérifier les chemins d'accès au torrc (F:\Tor\Data\Tor\torrc) et au dossier de données (F:\Tor\Data\Tor)
Cliquer sur le bouton Lancer Tor

Polipo

Scrapy ne supporte pas le SOCK Proxy uniquement en HTTP Proxy. Il faut passer par un utilitaire pour faire la liaison entre le SOCK et HTTP via Polipo
https://www.irif.fr/~jch/software/files/polipo/polipo-20140107-win32.zip
L'extraire dans le dossier de Tor
Dupliquer le fichier config.sample en config puis ajouter les lignes suivantes au début du fichier

socksParentProxy = "localhost:9050"
socksProxyType = socks5
diskCacheRoot = ""

Dans une console (cmd) lancer Polipo avec le fichier de config :

F:\Tor\polipo.exe -c config

Si tout ce passe bien il devrait indiquer le port sur lequel se connecter

Established listening socket on port 8123.

Pour tester le bon fonctionnement, il suffit de configurer un navigateur par exemple en proxy sur localhost:8123 en HTTP/HTTPS

Autres utilitaires pour faire du HTTP Proxy

DeleGate : http://www.delegate.org/documents/
Privoxy : https://www.privoxy.org/

TODO : Scrapy

Sources :

Gronghon/Scrapy Tor Vidalia Polipo.md