Zugezogene

Einwohner Wikipedia.csv

Rohdaten Berliner Zugezogenen-Atlas - Rohdaten.csv

toberlin.Rmd

---
title: "Zugezogne Berlin: Bevölkerungsgewichtet"
output: html_document
---

Heute haben Julius Tröger und Co mal wieder ein herrliches Stück Datenjournalismus veröffentlicht: http://interaktiv.morgenpost.de/berliner-zugezogenen-atlas/

Was mich allerdings spontan interessiert hat ist, ob es einen echten regionalen Trend gibt, oder ob der Quotient Zugezogene von einem Geburtsort durch Bevölkerung des Geburtsortes eher konstant ist.

Dies ist keine wissenschaftliche Untersuchung und kann auch keinen journalistischen Anspruch vorweisen. Ich habe mir bloß _irgendwie_ die Bevölkerungsdaten besorgt. Diese könnten also unzuverlässig sein. Ich poste mein Werk vor allem, damit es jemand anderes noch mal ordentlich machen kann *hint hint*. 

```{r}
library(ggplot2)
library(ggmap)
library(dplyr)
library(knitr)
```

Ich verwende die Rohdaten von hier: https://docs.google.com/spreadsheets/d/12bt7nkEF7L5__1Ac6acqTB4hpyOBXl63cnRa2jYyCjM/edit#gid=0

Für diesen Test verwende ich nur die Daten von Städten mit > 1000 Zugezogenen.

```{r}
trim <- function (x) gsub("^\\s+|\\s+$", "", x)

toberlin = read.csv('Rohdaten Berliner Zugezogenen-Atlas - Rohdaten.csv', stringsAsFactors = F) %>% filter(Zugezogene > 1000) %>% mutate(Geburtsort = trim(Geburtsort))
geocoded = geocode(sub('/Oberschlesien','',toberlin$Geburtsort))
```

Die meisten Einwohnerdaten habe ich aus Wikipedia: https://de.wikipedia.org/wiki/Liste_der_Groß-_und_Mittelstädte_in_Deutschland#Gro.C3.9F-_und_Mittelst.C3.A4dte_nach_Einwohnerzahl

```{r}
Einwohner = read.csv('Einwohner Wikipedia.csv', stringsAsFactors = F) %>%
  mutate(Name = trim(Name)) %>%
  mutate(X2014 = as.numeric(gsub("\\.", "", X2014))) %>%
  select(Geburtsort=Name, Einwohner=X2014)

missing = toberlin %>% left_join(Einwohner) %>% filter(is.na(Einwohner)) %>% select(Geburtsort)
nrow(missing)
```

Hier fehlen mir noch `r nrow(missing)` welche ich versuche aus Wikipedia zu scrapen.

```{r}
library(rvest)

fetchPopWiki = function(query) {
  tryCatch({
    city <- read_html(paste0("https://www.wikipedia.de/go?q=",gsub(" ","+",query),"&l=de"))
    table = city %>% html_nodes("table.infobox") %>%
      html_table(fill=TRUE)
    tds = city %>% html_nodes('th,td')
    population = sub('([\\.0-9]+).*', '\\1', html_text(tds[grep('Einwohner|Bevölkerung', tds)[1] + 1])) # manchmal Bevölkerung
    num = as.numeric(gsub('\\.','',population))
    return(num)
  }, error=function(e) return(NA))
}
fetchPopWiki = Vectorize(fetchPopWiki)

fetchPopWiki(c('Bad Saarow', 'Accra', 'Moskau', 'Doesnt exist'))
```

Damit hole ich mir die meisten restlichen Werte - das was dann noch fehlt wird manuell recherchiert:

```{r}
missingGeb = missing %>% select(Geburtsort) %>% mutate(Einwohner = fetchPopWiki(Geburtsort))

stillMissingGeb = missingGeb %>% filter(is.na(Einwohner))

# Händisch Google
stillMissingGeb[stillMissingGeb$Geburtsort == 'Altlandsberg','Einwohner'] = 8769
stillMissingGeb[stillMissingGeb$Geburtsort == 'Bromberg','Einwohner'] = 362286
stillMissingGeb[stillMissingGeb$Geburtsort == 'Dessau','Einwohner'] = 88693
stillMissingGeb[stillMissingGeb$Geburtsort == 'Gleiwitz/Oberschlesien','Einwohner'] = 186347
stillMissingGeb[stillMissingGeb$Geburtsort == 'Königsberg (Preußen)','Einwohner'] = 437456
stillMissingGeb[stillMissingGeb$Geburtsort == 'Moskau','Einwohner'] = 11920000
stillMissingGeb[stillMissingGeb$Geburtsort == 'New York','Einwohner'] = 8406000
stillMissingGeb[stillMissingGeb$Geburtsort == 'Nghe An','Einwohner'] = 3037000
stillMissingGeb[stillMissingGeb$Geburtsort == 'Omsk','Einwohner'] = 1159000
stillMissingGeb[stillMissingGeb$Geburtsort == 'Oppeln/Oberschlesien','Einwohner'] = 122120
stillMissingGeb[stillMissingGeb$Geburtsort == 'Sankt Petersburg','Einwohner'] = 4991000
stillMissingGeb[stillMissingGeb$Geburtsort == 'Tripoli','Einwohner'] = 127611
```

Jetzt werden alle Daten verschnitten (und zwei Fehler bei den Einwohnerdaten repariert): 

```{r}
Einwohner = Einwohner %>% rbind(missingGeb %>% filter(!is.na(Einwohner))) %>% rbind(stillMissingGeb)

toberlin = toberlin %>% left_join(Einwohner)

toberlin[toberlin$Geburtsort == 'Hanoi','Einwohner'] = 7233000
toberlin[toberlin$Geburtsort == 'Teheran','Einwohner'] = 8154000

toberlin[is.na(toberlin$Einwohner),]

toberlingeo = cbind(toberlin, geocoded)
```

Zuletzt berechne ich für jeden Ort den Abstand zu Berlin und die eigentlich gesuchte Kennzahl als `Zugezogene.pro.Einwohner.Geburtsort`.

```{r}
library(geosphere)
berlin = geocode('Berlin')
distances = distHaversine(berlin, toberlingeo %>% select(lon,lat))
toberlingeo$Distanz = distances
toberlingeo = toberlingeo %>% mutate(Zugezogene.pro.Einwohner.Geburtsort = Zugezogene/Einwohner)
```

Damit kann ich mir das ganze jetzt geographish ansehen:

```{r}
ggmap(get_map(location=berlin, zoom=6)) + geom_point(aes(x=lon, y=lat, size=Zugezogene.pro.Einwohner.Geburtsort), color='red', alpha=.5, data=toberlingeo)
?get_map
```

Auf den ersten Blick ist die Aussage der Karte: Berlin saugt Brandenburg leer. Nähe zu Berlin macht Berlin also noch unwiderstehlicher. Das ganze kann man auch im Scatterplot ganz gut sehen:

```{r}
ggplot(toberlingeo, aes(x=Distanz, y=Zugezogene.pro.Einwohner.Geburtsort)) +
  scale_x_continuous(limits=c(0,2500000)) + geom_point() + geom_smooth()
```

Es gibt allerdings ein paar interessanten Ausreißer bei 2500km - die mache ich Sichtbar indem ich den Quotienten mit der Distanz multipliziere:

```{r}
ggplot(toberlingeo, aes(x=Distanz, y=Zugezogene.pro.Einwohner.Geburtsort*Distanz)) +
   geom_point()
```

Es scheint so, als würde bestimmten Gemeinden in der Türkei Berlin sehr gut gefallen...

```{r}
toberlingeo %>% mutate(zpegd=Zugezogene.pro.Einwohner.Geburtsort*Distanz) %>% arrange(desc(zpegd)) %>% head(4) %>% kable
```

Das sollte man aber noch mal genauer anschauen.

toberlin.Rproj

Version: 1.0

RestoreWorkspace: Default
SaveWorkspace: Default
AlwaysSaveHistory: Default

EnableCodeIndexing: Yes
UseSpacesForTab: Yes
NumSpacesForTab: 2
Encoding: UTF-8

RnwWeave: Sweave
LaTeX: pdfLaTeX