2014 distinct words in Chapter 1 of "Cien Años de Soledad" by Gabriel García Márquez

cien.py

# -*- coding: utf-8 -*-
import scraperwiki, urllib2, re, urllib
from bs4 import BeautifulSoup

def download():
	file("CAdS",'w').write(urllib.urlopen("www.uaca.ac.cr/bv/ebooks/novela/3.pdf").read())

def scrape():
	u=file("CAdS.pdf")
	x=scraperwiki.pdftoxml(u.read())
	soup = BeautifulSoup(x)
	file("CAdS.txt", "w").write(soup.get_text().encode('utf-8'))

def scrub():
	u = file("CAdS.txt").readlines()
	for t in range(len(u)):
		#print u[t][:8]
		if(u[t][:8] == 'Gabriel '):
			u[t-4] = ''
			u[t-3] = ''
			u[t-2] = ''
			u[t-1] = ''			
			u[t] = ''

	out  = file("CAdS.txt", "w")
	for page in u:
		out.write(page)

if __name__=="__main__":

	chapter = file("CAdS.txt").read().split('\n \n \n')

	chapter[1] = re.sub( r'\n' , '' , chapter[1])
	chapter[1] = re.sub( r'[«,;:.»-]' , ' ' , chapter[1])
	chapter[1] = re.sub( r' +' , ' ' , chapter[1])

	vocab = set([word.lower() for word in chapter[1].split(" ")])

	for word in vocab:
		print word.lower()

	print len(vocab)

vocabulario.txt

asombro
olvidó
turpiales
tratar
insólitas
conjuro
hijos
inculcar
chaleco
otro
según
guerrero
presenciaba
coloniales
otra
aun
madera
mental
hermann
hermano
pelagra
febriles
cuadrada
reveló
luminosos
forzando
vitriolo
casas
compuesto
peligrosa
reconociendo
sangre
dedicó
haber
ansias
ignoraba
permitían
caramelo
hora
tenía
atravesado
negó
cuentas
partes
vieron
olvido
muebles
turbulenta
encontrar
presentó
estuvo
fuerza
irrevocable
sobre
melquíades
patinado
eligió
manejo
lingotes
sartal
práctica
flores
mes
prodigioso
colaboraba
prodigiosa
úlceras
activa
día
precio
resto
japón
dolencia
solemnidad
costumbres
fogón
adquirió
reciente
permitía
hablar
hundían
igual
consiguió
exacto
impasible
contratiempos
sofocado
derretida
sesiones
marido
ellos
iniciales
hereditario
siguió
arma
saber
pudo
preciosa
oscuros
vegetal
me
existir
dolencias
pacífica
hizo
orilla
era
desarrugado
beneficios
feria
rayos
cuidado
absoluto
conservaba
exhalaban
conocerlo
viejos
cielo
husmeándole
puño
absorta
coladores
nombre
labios
sopor
caldo
calcificado
resignación
tropezando
diles
estrecho
cambiado
mesa
las
solares
orden
secretos
mataron
padre
pesadumbre
terminaban
exhaló
hasta
naturaleza
blando
diera
óxido
atención
metálicos
ponía
reproche
próximos
mayor
cerdos
cerrar
canto
ribera
gente
azarosos
singapur
fieras
fascinado
hirsuto
fin
sacrificios
muros
restaurada
vueltas
laboriosa
nervios
vicios
prohibidos
mucho
vigilando
durmieron
doblado
prácticas
sido
nave
incógnitos
escapar
extremos
esqueleto
anafes
desesperados
desenterrar
seguimos
nunca
sorprendió
río
re
hamacas
agobiados
mantenía
fugitivo
exhibición
cabecera
espinazo
raspadura
corpulento
regreso
cofre
jarcias
vendían
rapidez
intentarlo
intentar
tantos
está
única
perecer
fuera
infancia
fundaron
explicación
aire
ocurrió
supiera
comunicación
recibía
segundo
ligeramente
abrir
intolerables
clavos
cambió
estrellas
hemos
tres
abriendo
dormitorios
esta
alumbrados
esto
secundarían
efecto
examinaba
hermosos
sitio
aquellas
conformaron
vinculado
concebir
empezó
tibia
rábano
protestas
escorbuto
nuevos
máquina
menuda
saltimbanquis
regular
podía
abrió
espléndidos
impregnada
reír
cambio
descalzos
dos
cama
pliegos
botones
sextante
bajo
sordos
perdían
emprender
velamen
soledad
pretextos
arrastrando
testimonio
habló
relatos
hondo
de
zósimo
iluminada
mulas
devolvió
mientras
modernas
sentaron
llevando
infinitos
sentido
sueños
cerca
guerra
cetáceos
cuello
aturdido
retiró
fusilamiento
sombrero
muy
ríos
bien
precaución
pavor
blancas
nuestro
rústicos
trazó
lupa
construidas
metálica
demostrar
radiante
ahora
macedonia
una
con
habían
mercurio
rapto
durante
desaforada
ocurriendo
caballo
plantas
plantar
expedicionarios
convirtió
doméstico
estaban
tenemos
humeantes
construyó
pasaba
coraza
expresando
gobierno
travesar
fundida
intensidad
destruidas
parecía
exclamó
gracias
firmeza
catalejo
quiméricas
encalar
echó
susurro
orientado
prestó
unos
cuales
experto
cajones
cañabrava
mujer
construido
astrolabio
sigiloso
alborotada
interesó
musgo
pantanos
crujían
dotó
memoria
mujeres
buscando
ella
entregado
vegetación
tersa
darle
imanes
hacer
dado
aún
campo
centavo
episodio
salamandras
prolongada
asombrosas
desempacar
frutos
letra
encantada
ensordecedor
rudimentario
claves
contestó
contrarlo
colocaba
angosto
antes
marchitos
descripciones
semanas
hay
murió
has
entero
fascinación
civilización
pulmones
insignificantes
texto
podían
aprender
quedó
tamaño
obstinación
manual
abandonar
archipiélago
ninguna
virtudes
ocasión
despedazó
honrado
fue
pusieron
espeso
(porque
salir
inquebrantable
cuerdos
semejanza
densa
formaba
humor
josé
riesgos
amargura
impulsada
interpretó
desentrañar
pestilente
suelo
construidos
preguntarle
exhalaba
fenómeno
distancias
pensando
pozos
naufragio
impenetrable
decidirse
hicieron
algo
misma
mismo
esperar
primitivo
conocer
sol
son
profusión
llevó
carácter
amsterdam
diáfanas
escuálidas
viajes
simplicidad
especulación
alegres
confundía
asiática
llevaban
desenclavarse
domésticos
reales
seguir
quejaba
solar
solas
vasto
mirada
volteado
concebido
martes
penas
repitiéndose
exaltó
vivo
peso
increíbles
siquiera
logró
descomunal
ímpetu
convencido
maravillas
inclusive
descomunales
ahí
propio
irse
apartado
olla
propia
tarde
cuya
estiércol
leer
contaba
no
convicción
cuyo
encontrado
envejecido
carbonizado
techo
diez
territorios
palma
alborozo
admiración
palmo
inquebrantables
puso
armas
tienda
lecho
menos
merecía
alegría
primer
indiferente
diciembre
estremecieron
ver
salida
comunidad
vez
quienes
lección
pulidas
decir
geografía
noticia
cómo
ojos
preguntó
edad
dio
hervir
trocha
evidencia
baratillo
demostraciones
encima
alejandría
curso
inmediata
ensanchar
carga
ilusión
asombroso
método
vengan
tácticos
horizontes
sofocante
pregunta
anunciaba
exhibieron
quebrantó
aunque
viaje
alto
concentrada
inmóviles
arcadio
alta
asomaba
colgado
mala
tierno
enorme
semana
crisis
siempre
llegó
humeante
pero
podido
mitad
vivir
todas
acorazados
enseñó
únicos
arrojado
anuncio
virtud
espera
berenjena
desprendido
desmonte
iba
ayudarme
indicio
sonrió
sí
problemas
trasladar
sienes
propicio
perder
ciénaga
ingenio
amapolas
absoluta
lluvia
aquel
encontraron
pura
años
usaba
remontó
esperó
romanzas
absorto
ardiente
posibilidades
hombre
filosofal
obligaciones
volvía
arrastrado
natural
flagelado
adversas
su
si
pidió
se
anterior
principio
voluntarioso
aparecían
murmurar
rompió
músicos
cólera
hacia
forma
abrumados
metales
mediante
estragado
entrada
aquí
marzo
esperaban
navegar
extraño
sangrientos
crédito
consolarse
nos
cazar
mañana
condición
daba
truculenta
cinturón
almuerzo
invento
insidiosa
desde
muchas
el
en
filosófico
astronómica
experimentó
es
imaginación
arbitrario
poco
doblar
tienen
huevos
madagascar
oro
iban
recorrieron
plomo
sabor
luego
convirtieron
alucinantes
propios
recitando
espectáculo
horas
pandereta
calabazo
cuadrar
dientes
ocuparte
arregladas
enemiga
empeñó
xv
fórmulas
están
riesgo
miró
seca
más
copa
pelea
alas
convincente
disuadirlo
baja
inteligentes
inventos
pegar
verdín
múltiple
futuro
prepararse
pro
espumoso
gitanos
caían
buscado
invención
ideas
bailes
interior
domésticas
limpios
sobrevivió
cualquier
sentó
catástrofes
partían
convencida
concibió
dolor
cuyas
colgaban
cobre
machetes
olvidar
cazuela
maraña
aventura
polvoriento
portugueses
desarrapados
científico
español
nadie
atónito
sierra
líquidos
varios
prueba
ventana
insistieron
úrsula
azote
delirantes
hormiguita
silencio
época
mencionarlas
curiosidad
destrozó
isabel
mapas
contar
alocadas
actividad
encerrado
cumplido
experimentos
estar
estas
astronómicos
paciencia
dinero
amplia
tus
punto
misterioso
como
sonámbulos
interpretarlos
detrás
lúgubre
había
probeta
cumplir
pronto
concierto
aura
quien
predispuso
cerle
sucio
comer
ruido
distancia
color
convertirse
cuando
alcanzar
ante
siete
inútil
cabeza
sabiendo
cubiertos
consejos
obstáculo
bolas
barro
aquellos
trampas
partida
aquél
crecimiento
casa
mejillas
caso
enormes
adiestrarlos
veían
intacta
petirrojos
comprobar
mono
desmontar
buen
implacable
eran
acento
frasco
perseguida
sobrenaturales
consideró
conseguir
par
vivían
sicilia
rémora
siglo
comedor
isla
todos
desesperación
cuento
observó
ni
piltrafas
plantado
navegando
sufría
insuficiencia
navegaban
¡carajo!
alquitrán
atravesar
severa
mano
desbandada
enteras
abiertos
verdad
bloque
fabuloso
maría
evasivas
éste
júbilo
laboratorio
síntesis
vidrio
perdió
fundación
permaneció
dibujó
mismos
recordar
revelara
laboriosidad
lado
rumiada
llegado
seres
población
tanto
aspecto
expedición
término
asombraban
tratando
destapado
además
quedaría
hubieran
chorreaba
dispersó
imagen
cañonazos
venado
cortaban
patrimonio
colonial
mecanismo
incontables
lograron
disposición
tormento
olor
agujas
envió
teorías
francis
cuchillo
despertaron
ocupar
helechos
azulejos
despertarles
envolvió
huevo
demostración
demonio
engastados
empresa
guardaba
habiendo
volcánica
brújula
veintiséis
arboladura
concebidos
pitos
italianas
conjeturas
tenazas
aguas
trabajada
proximidad
los
abandonado
vedado
haciendo
largos
completo
sirve
prevaleció
último
egeo
dentadura
grasa
fantasía
deporte
certidumbre
propiedades
torso
propias
cuestión
feliz
al
mundo
vivieran
monólogos)
adentrarse
alquimistas
tenga
devastado
novedad
asaron
filtros
seducirla
mantuvo
respuesta
alumbrando
ombligo
cuerpo
inventar
aparato
acuática
grupo
muera
remota
allá
largas
cocina
calle
todavía
macondo
burros
resultaban
original
guacamayas
tenido
pudrir
fuego
correo
azufre
ciudad
pasó
oscuridad
bosque
inmóvil
estructura
seducido
fervor
tornillos
rizo
herramientas
terciopelo
estaba
agotados
ayudaba
cerdo
pueblo
acababa
contó
meses
largo
pusiera
poblado
saltando
condujo
casi
paso
derribar
cuyos
esfuerzo
reina
gitana
juicio
concentración
tú
instrumentos
gitano
coronel
caimanes
sus
sur
pecado
mulo
comprobado
comprobada
cedió
varias
podrá
aquello
monje
aquella
veleidad
terminante
encías
transparente
dirigió
regulares
colores
salita
social
sabía
firmemente
sendero
minutos
palabras
especulaciones
vio
relicario
otros
previno
penalidades
contraídas
dieran
oyó
corrigió
charco
ciencia
trabajo
meridional
adivinaba
entendieron
yuca
atanor
dios
impulso
bajar
patriarca
secó
del
sacar
desconcertado
quedaron
delicada
gallos
piezas
terraza
iremos
veinte
plagas
enredado
pregonando
azul
cajas
cocer
acompañado
resonancia
exploraron
mapa
debes
lejos
pendiente
amistad
volvió
botas
acto
queden
pleno
pintados
subdividir
amanecer
eterna
golpe
melquiades
huerto
lloró
promesa
fe
conocían
pirata
arrancado
huerta
a
barba
pregonero
medio
vientre
dentro
anillo
grande
patio
comiendo
personalmente
recuerdos
vuélvete
magisterio
abastecerse
solía
estudios
peste
tiempos
mal
crecer
silenciosa
yo
ya
silencioso
flotando
empujones
adornadas
dedo
portentosa
así
dejó
correspondientes
drake
soldadas
lejanos
pelotón
visitar
desmesurados
despedazaba
recitaban
nasciancenos
idea
toda
hirviendo
todo
dificultades
reverberación
magallanes
retortas
palmeras
allí
decía
engendro
región
rostro
tremenda
pequeño
solimán
eliminado
por
entonces
pasado
tomado
confesaron
soleada
descuidado
soltó
cascote
nosotros
perteneció
hubiera
embriagado
cada
carecían
concurso
golpeada
contra
aceitada
efectos
prometía
para
llevaba
tobillo
instrucciones
naranjos
treinta
debajo
travieso
postiza
extravió
pantalones
importa
poner
gigantesco
blanco
gigantesca
silvestres
internas
tiempo
colgaron
sintió
occidente
arcones
hechizo
tuvo
confirmaron
misterio
ahuyama
tocarlo
alambique
objetos
orejas
animales
artes
exa
burla
componer
gabinete
arrastraban
tener
carne
aureliano
saludable
hielo
abnegación
piedra
impresas
aceites
asustado
pájaros
sabiduría
porque
retiraba
algún
almizcle
acompañaron
canarios
cuervo
alteró
especie
través
kilómetros
sanar
fabulosa
esencial
mentaba
ser
judíos
aparatos
hacía
febril
estratégicas
poseer
alcanzó
llenando
solo
iniciativa
aflicción
prodigio
temblando
invisible
presión
enredando
género
necesario
enseres
autoridades
poderes
suspiro
secreta
ocurre
instante
apreciable
pasadas
clavar
avanzaron
cierta
paseándose
derrumbarse
pensamiento
cotidiana
java
pesada
sulfúricas
gráficos
cacería
tardaron
planetas
contado
existencia
consolarla
llevárselos
sucumbido
orquídeas
cinco
atrevió
cantar
plátano
marcha
duras
entró
ropa
dominio
acuerdo
pánico
evaporó
espacio
alarmada
pacíficos
embudos
enlace
investigaciones
voz
acordarse
témpano
honradez
ruta
fueron
decrépito
peludo
humedad
caer
pisos
estribor
sufrió
hueca
extendidas
moisés
rabia
médanos
apenas
vigilia
juventud
reclamado
entre
maderas
navegación
volverte
castigarse
y
pífanos
fláccidas
infinitas
cubierto
hierro
sagrado
intactos
permitió
sobreponerse
servirse
inocente
anunciada
moverse
inició
calor
puesto
insolación
creía
puesta
extendió
establecer
antiguos
galeón
triste
enfermedades
instalaron
asombraron
paja
emplasto
niño
trató
privaciones
insensible
contemplando
novedosa
insectos
piedad
terrestre
custodiando
pesar
irresistible
daban
deshabitados
lograba
taciturno
hombres
dorso
armadura
pelo
mudanza
vendiendo
contacto
montar
imán
asombrosa
300
considerara
nuevo
transmitir
cuánto
nueva
oídos
imantados
juvenil
veces
guiando
olán
centenar
insalvable
paraíso
penetraron
procesos
inspirada
doblones
desistieron
trates
llegarse
cabo
cuarto
jaulas
cuidando
comentando
pocos
riohacha
llevara
poder
cualquiera
beriberi
crianza
múltiples
brazos
llegaremos
multitudinario
serie
novelerías
familia
consternación
multitudinaria
limpio
tumulto
calles
un
planes
tribu
millar
áfrica
sustituida
épocas
alboroto
nostradamus
movimiento
trasmutación
aplazar
temor
fiebres
noche
predispuesto
malanga
holgazán
entintado
expuso
caldero
visita
sonajas
corazón
e
pollerines
terremoto
muchos
quedamos
prehistóricos
buendía
vuelta
evidente
ñame
inquietud
ajeno
perturbara
hisopo
cazuelas
impresión
suave
amedrentar
empresas
llamaba
magnífico
empedrar
acercaban
llevaron
sabia
extensión
exploró
vestir
veía
agua
transformaron
noción
dando
aldea
magia
acumulado
gorrión
numerosos
dinamismo
entender
militares
inverosímiles
él
hinchaba
cuantas
conocimientos
originales
nariz
sólo
míralos
diamante
firme
reverberante
enterrado
capital
conducirlo
monedas
didáctica
llamó
lepra
pública
público
cuartito
didáctico
tenue
piedras
chivos
sino
octava
les
extremo
remendar
amaestrado
inexplorada
percances
cera
timbales
vería
grandes
oficial
destilador
profundo
clima
fabulosos
ricino
crepúsculo
fracaso
pasaban
dibujos
uso
pudiera
fuerzas
llenó
alrededor
ocurría
bubónica
incendiar
faltó
creyó
período
mensajero
salar
penosa
espíritu
rellenar
reducida
loco
albahaca
perplejo
tal
tan
descendencia
sir
querido
andaba
loros
ambarina
regalo
animal
cual
gritos
sin
cristal
falta
iguarán
teoría
anticipó
apuntes
corral
primera
noches
solos
borde
primero
hermético
gigante
fabricación
perderlos
petrificada
nació
mejores
descendieron
le
la
lo
malasia
labor
madre
temeraria
calamares
fortaleza
gritó
salvaje
puerto
aceptar
judía
nada
catorce
camino
muestras
dar
recibir
dispuesto
doce
tantas
ejemplares
recordarlo
recuerdo
chicharrón
donde
persia
modo
bueno
buena
claridad
mar
voluntad
invertirías
rodeado
manteca
rey
influencia
señalarías
consideraba
abuelo
aturdidos
aturdidor
aceite
que
viejo
mares
ámbito
seguirlo
trabar
gallina
hábito
hierba
travesía
después
sabios
abandonados
confuso
castaño
calderos
milagro
frustración
único
redonda
vulgar
realidad
hombro
inteligencia
gerando
final
áspero
salomón
negro
plantaba
sentarse
mediodía
chipre
ayudaran
lamentó
tambores
primeros
sacó
encono
ejercer
destrozaban
cuatro
abandonaron
exposición
posibilidad
lugar
manos
clase
centro
naranja
económicos
convencidos
segura
días
malos
complicadas
tambor
dijo
costillar
navegantes
humedecieron
agarrándolo
desarraigó
ha
apetito
terminar
perdidos
quemaduras
pensar
echar
espantó
inmensa
sándalo
familias
sustancia
tierra
sembraron
jóvenes
mochila
rapada
ordenada
repuesto
monos
gran
dejado
perdido
incomprensibles
mordiente
inventiva
perdida
minúsculos
interés
humano
tapó
planteó
luz
bicloruro
destino
hacerse
lengua
músicas
frente
casco
pesadilla
experiencia
ejércitos
armenio
contraer
hallazgo
destilación
deriva
montón
utilizar
húmedo
proyecto
sencillo
sintieron
ordenara
desarticular
conservó
orientación
atravesó
cortejó
cansado
tiene
precipitaban
sortilegio
alcanzaban
rígida
astros
puerta
mostró
carpa
pareció
salónica
escribir
augusta
entretenimiento
antigua
apartó
va
locura
fondo
aliento
pedregosa
fugaz
pasmados
desapareció
desmedrado
parte
zarpazo
oriente
víctima
castellano
montaraz
tibio
posición
maravillosa
abejas
mágicos
padres
raras
paredes
resultado
servía
recordaban
oropimente
i
escribió
tenaz
físico
física
uno
obstinados
qué
momento
ingeniosas
muero
quiere
vida
rezar
simple
peninsular
nata
lleno
piel
acierto
planetarios
definitivo
historia
lirios
entendimiento
desconocida
andar
bullaranga
siglos
tomó
cosas
ánima
distracción
terminaron
pago
ésa
regresar
tetas
otras
dieron
necesidad
emprendedor
permitiera
haberlo
pensó
diabólicas
malabaristas
límites
imposible
cálculos
artificios
pues
reunió
ese
experiencias
esa
eso
glacial
atravesaron
pailas
hijo
empezado
cinabrio
fantásticos
tropa
trataban
universo
actual
pagó
designios
cadena
volvieron
descubrimiento
replicó
demostró
prendieron
enclavado
testimonios
obtener
niños
relación
maravilla
doradas
oyendo
sobrarnos
movía
supo
muerto
adelante
herencia
explicativos
muerte
interesaba
buendia
retraído
gallinas
norte
hechizado
distintos
jarabe
aumentarlas
funda
memphis
posible
seis
fierros
habitantes
siembra
fundió
invenciones
alquimia
ceniza
fiebre
emprendió
viviendo
alcance
terminó
pie
llorado
buscarlo
apretada
mejor
bastaba
imitación
conocidas
apretado
órgano
explicó
interrumpió
encontró
parecido
barriendo
tormentosos
anteriores
demasiado
carecía
empezaban
clarividencia
decían
pregonaba
jamás
ningún
envuelto
llegaban
muchedumbre
sentado
seguía
azogile