Skip to content

Instantly share code, notes, and snippets.

@Devko
Devko / gist:1064553
Created July 5, 2011 09:31
Node.JS + Redis = Link Crawling
/*
* Crawling the Web (http://bitbucket.org/feuervogel/nodejs-crawler)
*
* 1. Start mit einer nicht-leeren Liste von URLs
* 2. Für jede URL:
* 2. a) Lade HTML runter
* 2. b) Extrahiere Hyperlinks
* 2. c) Hänge Hyperlinks an neue Liste an
* 3. Verschmelze beide Listen
* 4. GOTO 1.