Skip to content

Instantly share code, notes, and snippets.

@Canx
Created March 10, 2011 16:13
Show Gist options
  • Save Canx/864368 to your computer and use it in GitHub Desktop.
Save Canx/864368 to your computer and use it in GitHub Desktop.
class Scrapper
# Dada la busqueda configurada
# Para cada página
# Para cada enlace de propuesta
# explora enlaces de propuestas
# actualiza propuestas en base de datos
def initialize()
@agent = Mechanize.new
@agent.history_max = 10
@url = "..."
end
def scrape
@page = @agent.get(url)
until next_page is_not_valid
page.links.each do |link|
proposal = scrape_proposal(link)
update_db_proposal(proposal)
@page = page.click(next_page)
end
# Estamos en la página de la propuesta. Devolvemos un hash con la propuesta.
def scrape_proposal
end
# Actualizamos la propuesta en la base de datos
def update_db_proposal(proposal)
end
def next_page
@page.links_with(filtro para buscar enlace a siguiente pagina)
end
end
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment