Created
March 10, 2011 16:13
-
-
Save Canx/864368 to your computer and use it in GitHub Desktop.
This file contains bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
class Scrapper | |
# Dada la busqueda configurada | |
# Para cada página | |
# Para cada enlace de propuesta | |
# explora enlaces de propuestas | |
# actualiza propuestas en base de datos | |
def initialize() | |
@agent = Mechanize.new | |
@agent.history_max = 10 | |
@url = "..." | |
end | |
def scrape | |
@page = @agent.get(url) | |
until next_page is_not_valid | |
page.links.each do |link| | |
proposal = scrape_proposal(link) | |
update_db_proposal(proposal) | |
@page = page.click(next_page) | |
end | |
# Estamos en la página de la propuesta. Devolvemos un hash con la propuesta. | |
def scrape_proposal | |
end | |
# Actualizamos la propuesta en la base de datos | |
def update_db_proposal(proposal) | |
end | |
def next_page | |
@page.links_with(filtro para buscar enlace a siguiente pagina) | |
end | |
end |
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment