# Ansätze und Werkzeuge zur Integration von Daten in OpenStreetMap (ENTWURF) Stefan Keller, 6. Dezember 2020, stefan.keller@ost.ch ## Einleitung Durch die immer grössere Verfügbarkeit von Open Data können organisations-externe Akteure mit den Daten interagieren und nützliche Anwendungen schaffen. Immer mehr öffentliche Verwaltungen (hier: *Organisationen* genannt), erkennen dies und möchten ihre Daten (hier: *Originaldaten*) in OpenStreetMap (OSM) integrieren. Diesen Organisationen soll dieses Dokument zeigen was für Ansätze und Werkzeuge es gibt, um ihre Originaldaten in OSM zu integrieren. :::info :mega: **Open Data** (Offene Daten) sind nicht sicherheitsrelevante und nicht-personenbezogene Daten, die frei verfügbar und nutzbar sind. Unter nicht-personenbezogenen Daten verstehen wir auch ehemals personenbezogene Daten, die anonymisiert worden sind. ::: Wir gehen davon aus, dass man sich mit OSM bereits vertraut gemacht hat und Lizenzfragen geklärt sind (vgl. Fairhurst 2020). Falls nicht, empfiehlt sich besagte Literatur sowie das Konsultieren von [LearnOSM](https://learnosm.org/de/), [OpenSchoolMaps](https://openschoolmaps.ch) und die originalen [OSM-Wiki-Seiten](https://wiki.openstreetmap.org/wiki/DE:Beginners%27_guide). :::info :mega: * Nützliche Informationen enthält auch ein "Daten in OpenStreetMap integrieren - ein **Leitfaden** für Schweizer Behörden und bundesnahe Betriebe" der Forschungsstelle Digitale Nachhaltigkeit an der Universität Bern. * Wer sich dafür interessiert, wie Organisationen OpenStreetMap nutzen - wie beispielsweise Notfallorganisationen, Blaulichtorganisationen (Polizei, Feuerwehr sowie Sanitäts- und Rettungsdienste), Mobilitätsdienste, Tourismus und GIS-Stellen -, dem sei die **Studie** "[Public-OpenStreetMap Partnership](https://wiki.openstreetmap.org/wiki/DE:Public-OSM_Partnership)" (POP-Studie) empfohlen (Keller 2021). * Wer mehr erfahren will zur Verfügbarkeit von offenen Geodaten, der schaue sich den auf Sommer 2021 geplante **Weiterbildungskurs** "Datenschnittstellen und Verfügbarkeit" (demnächst unter [CAS GIS der OST](https://www.ost.ch/de/weiterbildung/weiterbildungsangebot/raum-und-mobilitaet/bau-und-planung/cas-geodaten-und-gis-in-der-planung/) näher an. ::: Im nächsten Kapitel werden "Vier Ansätze zur Integration von Open Data in OSM" vorgestellt. Davon ist der ‘managed’ Ansatz der wichtigste, wozu ein eigenes Kapitel folgt. Diesem ‘managed’ Ansatz ist der Rest dieses Dokuments gewidmet mit folgenden drei 'Werkzeug'-Kapitel: * Werkzeuge zur Koordination der Datenintegration; * Allgemeine Werkzeuge zur Integration von Daten in OSM; sowie * Aktionen und Werkzeuge zur gezielten Integration von Daten in OSM. Danach folgen zwei Kapitel zur * Aktualisierung von OSM durch Originaldaten, sowie zum * Monitoring von OSM-Daten und Abgleich mit Originaldaten. ## Vier Ansätze zur Integration von Open Data in OSM Wie Fairhurst schreibt, gibt es vier Ansätze, die eine Organisation, wählen kann, um ihre offenen, und lizenz-kompatiblen Originaldaten in OSM zu integrieren: 1. Der **'unmanaged' Ansatz**, bei dem die Organisation ihre Originaldaten der OSM-Gemeinschaft zur Verfügung stellt und deren Mitglieder einlädt, diese Originaldaten zu integrieren. 1. Der **'managed' Ansatz**, bei dem die Organisation ihre Originaldaten in ein Format verarbeiten (lässt), das geeignet ist, damit es von den verfügbaren Werkzeugen genutzt werden kann. 1. Der **"Massenimport"-Ansatz**: Ein weiterer Ansatz besteht darin, die Originaldaten programmatisch einzufügen. Davon wird abgeraten. In jedem Falle sind diese "[Import Guidelines](https://wiki.openstreetmap.org/wiki/DE:Import/Guidelines)" zu beachten. 1. Der **"Referenz"-Ansatz**: Schliesslich kann man auch in Absprache mit der OSM-Community entscheiden, dass die Originaldaten nicht für die direkte Aufnahme in OpenStreetMap geeignet sind. Das bedeutet nicht, dass die Daten für OSM nutzlos sind. In Fairhurst (1) steht mehr dazu. Im Folgenden wird vor allem der 'managed' Ansatz, also Ansatz Nr. 2 oben, vorgestellt. :::warning :zap: OpenStreetMap ist eine lose Gemeinschaft von Mappern, die aus reiner Eigenmotivation handeln. Dieses Dokument respektiert diese Eigenmotivation - und erwartet, dass auch der/die Leser/in des hier vermittelten Knowhows dies tut. ::: ## Der 'managed' Ansatz zur Integration von Daten in OSM Bei diesem Ansatz konvertiert die Organisation ihre Originaldaten in ein Datenformat, das zur Einbindung in OSM bereit ist. Das bedeutet beispielsweise: * Setzen der entsprechenden OSM-Tags aus den ursprünglichen Attributen * Entfernen aller Daten, die bereits in OSM vorhanden sind, um doppelte Einträge in OSM zu vermeiden. * Sicherstellen, dass keine Mehrfach-Liniengeometrien bestehen und Linien nicht übermässig detailliert sind (< 1m Punkt-Abstand). Diese Vorverarbeitung kann durch ein eigens dafür geschriebenes Skript gemacht werden. Was automatisch schwer erkennbar ist, dass sind Überschneidungen oder topologische Unterbrechungen (man beachte, dass OSM-Daten routingfähig sind). Die Daten können dann der OSM-Community zur manuellen Interation (engl. "conflation") zur Verfügung gestellt werden - d.h. die aufbereiteten Originaldaten werden Stück für Stück in OSM erfasst. Es gibt ein paar Software-Werkzeuge, die der Koordination von Benutzern dienen und es gibt solche, die den Benutzern bei der Integration der Originaldaten in OSM helfen. Diese Werkzeuge sind in den nächsten beiden Kapitel beschrieben. Sämtliche Werkzeuge sind Open Source. Einige davon sind kostenlos, online nutzbare Webapplikationen meist mit OSM-Login, andere sind On-Premise-Webapplikationen oder Desktop-Applikationen und müssen zuerst installiert werden. ## Werkzeuge zur Koordination der Datenintegration Folgende Werkzeuge sind für die Koordination der Gemeinschaft bzw. der Benutzer nützlich: 1. **OSM Tasking Manager**: Webapplikation, welche das Gebiet der Originaldaten in überschaubare räumliche Bearbeitungs-Einheiten (Gitternetz oder Polygone) aufteilt. Die Benutzer wählen sich eine Bearbeitungs-Einheit aus und markieren diese als 'abgeschlossen'. * Website: https://tasks.osm.ch/ (CH) mit OSM-Login. * Einrichten: Hosting durch SOSM (bzw. HOTOSM). Das Bereitstellen der Konfiguration (Perimeter als GeoJSON) ist relativ einfach, erfolgt aber üblicherweise durch Experten. * Limitationen: Zum Starten muss man zuerst mit dem Betreiber interagieren und ihm die Konfiguration schicken. 1. **MapCraft**: Ähnlich wie der Tasking Manager ermöglicht dies eine Aufteilung der Aufgaben in beliebige Bereiche. * Website: https://mapcraft.nanodesu.ru/ * Einrichten: Webapp mit OSM-Login. * Limitationen: Weniger bekannt als der OSM Tasking Manager. 1. **Damn-Projekt** ("Divide and Map. Now.") - Ebenfalls ähnlich zum OSM Tasking Manager. * Webseite: https://www.damn-project.org/ * Einrichten: mit ein paar Klicks. * Limitationen: Noch ein junges Ein-Mann-Projekt (Ende 2020). 1. **MapRoulette**: Dies ist eine Webapplikation, die dem Benutzer gleichartige, kleine Editier-Aufgaben gibt, indem sie die Kartenansicht mit den Koordinaten des potentiell anzupassenden OSM-Objekts wiederholt zeigt. Der Benutzer entscheidet sich dann, ob er die Editier-Aufgabe übernehmen oder überspringen will. Falls er die Aufgabe annimmt, öffnet sich sein OSM-Editor an besagter Stelle. * Website: https://maproulette.org/ mit OSM-Login. * Einrichten: Bereit nach selber Hochladen eines GeoJSON mit Punkt-Koordinaten, das üblicherweise durch Experten erstellt werden muss. * Limitationen: Es wird nur die Lage vorgegeben, keine Tags; das Wissen über die richtigen Tags muss vom Benutzer kommen. ## Allgemeine Werkzeuge zur Integration von Daten in OSM Vorab sei hier festgehalten, dass das Hauptwerkzeug eines jeden Benutzers ein Editor ist. Die entsprechenden Einführungen zum **JOSM-Editor** oder zum in OSM.org eingebauten **iD-Editor** wurden oben bereits erwähnt. Dazu kommen weitere Editoren wie Vespucci oder Edit-Funktionen, die in Maps.me eingebaut sind. :::info :mega: Gute Editoren helfen - und leiten(!) - beim Erfassen von Geodaten u.a. auch bei der Zuordnung von Tags. Diese geschieht mit Tagging-Vorlagen (defaults), die im OSM-Jargon "Presets" genannt werden. Die Tagging-Vorlagen des iD-Editors sind hier im "[iD Tagging Schema](https://github.com/openstreetmap/id-tagging-schema)", die von [JOSM hier](https://josm.openstreetmap.de/wiki/Presets), und diejenigen von [Vespucci hier](https://vespucci.io/help/en/Presets/) nachzulesen. ::: Nachfolgend sind weitere Werkzeuge zusammengestellt, deren Bedienung und Installation teilweise spezielle Kenntnisse erfordern (hier beginnend mit dem für Endnutzer selber ad-hoc konfigurierbaren Werkzeug): 1. **QGIS-Plugin Go2NextFeature3+**: Ein Plugin ähnlich wie MapRoulette, wobei QGIS eine Desktop-Applikation ist. Es ist nicht geeignet, mehrere Benutzer zu koordinieren wie MapRoulette. Dafür hat es den Vorteil, dass es schnell eingerichtet ist, und dass man damit mehrere Attributwerte der Originaldaten, d.h. mehrere Tags auf's Mal, mit Copy&Paste in den Editor übernehmen kann. Zusammen mit dem Plugin "Lat Lon Tools", mit dem OSM (oder eine andere externe Karte) mit einem Klick direkt aufgerufen werden kann, ergibt sich ein effizienter Workflow. Wie dieser Workflow funktioniert, ist in "[Validating and Integrating Local Datasets in OpenStreetMap using QGIS](https://md.coredump.ch/s/rk9r2k69Q#)" beschrieben. Zu QGIS gibt es auf [OpenSchoolMaps](https://openschoolmaps.ch) eine Einführung. * Website Gitlab: [Repository 'Go2NextFeature3+'](https://gitlab.com/geometalab/Go2NextFeature3) (Weiterentwicklung von Go2NextFeature3). * Einrichten: Sofort nutzbar nach Installation ab Repository direkt aus QGIS heraus. Der Benutzer kann mit wenigen Klicks selber konfigurieren. * Limitationen: Nur für "Einzelplatz-Betrieb". 1. **OSM Conflator (mit Audit)**: Dies ist eine Webapplikation und ein Kommandozeilen-Skript für grundlegende Zusammenführungsaufgaben. Skript und Webapplikation müssen selber programmiert, bzw. gehostet werden. * Website Github: https://github.com/mapsme/osm_conflate, (Demo: http://audit.osmz.ru/project/demo/). * Einrichten: tbd. * Limitationen: tbd. 1. **Live Conflation**: Dies ist eine Webapplikation, die ein GUI für Fusionsaufgaben bereitstellt. Sie muss selber gehostet werden. Die Originaldaten werden zuerst in Vektorkacheln umgewandelt (Mapbox MVT-Format). Durch Aufruf der OSM-API werden die naheliegensten und Ähnlichsten (Tags) Kandidaten zuerst präsentiert. Sobald der Benutzer die gewünschten Tags zusammengeführt hat, können die Änderungen direkt über die OSM-API hochgeladen werden. * Website Github: https://github.com/systemed/conflation * Einrichten: tbd. * Limitationen: tbd. 1. **JOSM Conflation-Plugin**: tbd. * Website: https://josm.openstreetmap.de/ * Einrichten: Installation des Plugins aus JOSM heraus. * Limitationen: Nur für "Einzelplatz-Betrieb". 1. **Weitere Tools**: Z.B. Cygnus oder Hootenanny, siehe Fairhurst (2020). ## Aktionen und Werkzeuge zur gezielten Integration von Daten in OSM Angesichts der Tatsache, dass die wichtigsten Objekte in OpenStreetMap - wie Strassen und Gebäude besonders in urbanen Gegenden - immer vollständiger erfasst sind, verschiebt sich das Interesse der Mapper tendenziell. Dies führt einerseits zu "Micromapping", d.h. zum Erfassen von Details (z.B. Farbe und Material einer Sitzbank), und andererseits zum gezielten Erfassen. ### Aktionen zur gezielten Daten-Integration Dieses gezielte Erfassen kann verschiedene Formen annehmen: * Aktionen mit **Event**-Charakter, namentlich "Mapping Parties" (mit der alles angefangen hat!). * Aktionen mit **Gewinnspiel**-Charakter, namentlich "Projekt des Monats" (vgl. nachfolgend). * Aktionen im **Auftragsverhältnis**. Damit ist die Beauftragung gemeint von Personen (Mitarbeiter) mit dem Integrieren der Daten in OSM. Dabei sind die "[Organised Editing Guidelines](https://wiki.osmfoundation.org/wiki/Organised_Editing_Guidelines)" zu beachten. Diese "Organised Editing Guidelines" sind nicht zu verwechseln mit den "Import Guidelines", die eingangs erwähnt wurden. Das "**Projekt des Monats (Schweiz)**" ist eine geplante Aktion über einen Monat hinweg zusammen mit einer entsprechenden gleichnamigen Webapplikation zur gezielten Erfassung von OSM-Objekten enthält. Die Webapplikation enthält spielerische Elemente mit Rangliste und einfache Erfassungs-Statistiken: Siehe ["Project of the Month" (PotM)](https://wiki.openstreetmap.org/wiki/DE:Project_of_the_month_Switzerland). Die in Frankreich entwickelte [Webapplikation](https://projetdumois.fr/) lehnt sich an Projekte an wie der deutsche "[Schwerpunkt der Woche](https://wiki.openstreetmap.org/wiki/Schwerpunkt_der_Woche)" oder wie sie Wikipedia regelmässig durchführt (vgl. z.B. [Wiki Loves Switzerland](https://commons.wikimedia.org/wiki/Commons:Wiki_Loves_Switzerland_2020/de)). ### Werkzeuge zur gezielten Daten-Integration Als erstes seien (mono-)thematische Editoren erwähnt, die wir zielgerichtet nennen, da sie die Erfassung eines bestimmten Themas erleichtern. Die bekanntesten zwei befassen sich mit Angaben zu Geschäften, wie z.B. Restaurants. Beide sind freie Webapps mit OSM-Login: * **On OSM**: Diese Webapp ist sehr einfach gehalten: Sie fügt ausschliesslich OSM Notes ein (keine direkte Änderung in OSM) und sie kann eigentlich nur neue Geschäfte einfügen; bestehende Geschäftseinträge können nicht richtig aktualisiert werden. [Website onosm.org](https://www.onosm.org). * **OpenStreetMap My Business (OSMyBiz)**: Webapp inspiriert von On OSM. Fügt im Falle eines Neueintrags ein neuer Node direkt ein. Im Fall einer Aktualisieren wird auch nur eine OSM Note gespeichert, jedoch mit einem Hinweis was geändert hat. Merkt sich die Geschäfte, die man selber eingetragen hat und informiert den Benutzer, wenn sich ein von ihm veränderter Node von anderen geändert wurde. [Website OSMyBiz](https://osmybiz.osm.ch/). * **Weitere**: z.B. MapContrib. Nachfolgend sind einige wenige existierende Werkzeuge zusammengestellt, die spielerische Elemente enthalten, sog. "Serious Gaming" oder "Gamification": * **StreetComplete**: Intuitiv zu bediendes Mobile App. * [Website StreetComplete (Dokumentation)](https://wiki.openstreetmap.org/wiki/DE:StreetComplete). * Einrichten: Mobile App vom Google Play Store herunterladen. * Konfigurieren: Möglich. * Limitationen: Nur Mobile Phones mit Android. * **MapComplete**: Verwaltet ein einzelnes Thema, kann neue Nodes einfügen und bestehende aktualisieren. MapComplete erlaubt es auch technisch versierten Benutzern, eigene "MapComplete-Themen" (Quests) zu erstellen. Hier als Beispiel die "[Freie Kunstwerk-Karte](https://pietervdvn.github.io/MapComplete/artworks.html?z=16&lat=47.22529&lon=8.812494&background=osm#)". * [Website MapComplete](https://pietervdvn.github.io/MapComplete/). * Einrichten: Freie Webapp mit OSM-Login. * Konfigurieren: Möglich (hier eine [JSON-Konfig.-Datei](https://wiki.openstreetmap.org/wiki/MapComplete/covid) für Öffnungszeiten während Covid19). * Limitationen: Dieses Projekt ist noch ganz neu und es hat Potential. Es erhöht bei jeder Veränderung eines Tags die Version, d.h. wenn fünf Tags verändert werden, erhöht sich die Version des OSM-Objekts um +5. **HINWEIS**: Dieses Webapp kann vorläufig nicht empfohlen werden, da es für jede beantwortete Frage die Version eines OSM-Objekt heraufsetzt (anstelle die Version nur einmal pro Objekt zu erhöhen). * **Weitere**: Z.B. MapSwipe. ## Aktualisierung von OSM durch Originaldaten Der hier diskutierte "managed" Ansatz befasst sich vor allem mit der einmaligen Integration. Einmal integriert, ist des den Mappern überlassen, die Daten wo nötig zu aktualisieren. Das funktioniert erfahrungsgemäss recht gut! Es lässt sich jedoch nicht sagen, wie oft und wie schnell die Daten aktualisiert sind. Wenn eine Organisation sicherstellen will, dass ihre Daten innert festgelegter Frist aktualisiert werden, dann bleibt ihr nichts anderes übrig, als Leute anzustellen, die gegen Bezahlung editieren. Man beachte dazu die oben erwähnten "Organised Editing Guidelines". :::info :mega: Wir empfehlen jeder an OSM interesserten Behörde oder Organisation, die ihre Daten in OSM einpflegen (lassen) will, die Einrichtung einer zentralen **Ansprechstelle**, ("Point-of-Contact") für externe und interne Anfragen. Einige Firmen praktizieren das bereits so. Verfolgt die Behörde oder Organisation den 'managed'-Ansatz, empfiehlt sich die Bereitstellung von **Moderatoren** ("Facilitators"), die Aktionen aktiv begleiten und/oder organisieren. :::  *Abbildung: Dialog im "Targeted Monitoring Tool" (Entwurf), der auffällige Edits zeigt von Feuerwachen innerhalb des Gebiets von SRZ.* ## Monitoring von OSM-Daten und Abgleich mit Originaldaten Monitoring von (gefilterten) OSM-Daten: 1. **OSMCha**: tbd. * Website-Dokumentation, entwickelt von Mapbox (evtl. bald vom OSM US Chapter betrieben): https://wiki.openstreetmap.org/wiki/OSMCha * Einrichten: Webapp mit OSM-Login. 1. **"Targeted Monitoring Tool"**: Eine Webapplikation für die gezielte Überwachung von OpenStreetMap-Daten auf Basis eines erweiterten OSMCha-Backends. Ein erster Prototyp wurde entwickelt vom Geometa Lab für SRZ (Lizenz: ISC). * Website-Dokumentation: https://github.com/Schutz-Rettung-Zurich/srz-edi/ * Einrichten: tbd. 1. (**OSM History DB of Switzerland** (osmhistorydb-ch): This is a project to implement a geospatial database containing the history (lineage) of OSM data objects, initiated by members of the SOSM community. (License: MIT)) * Website/Dokumentation/Repository: https://github.com/sosm/osmhistorydb-ch. Abgleich mit Originaldaten: 1. **QGIS-Plugin OSM Data Sync**: Ein "Einzelplatz"-Plugin auf der Basis der Desktop-Applikation QGIS. Wie das Plugin funktioniert, ist in diesem Dokument beschrieben "[Synchronizing Local Datasets and OpenStreetMap using QGIS](https://md.coredump.ch/s/H1IQbLzjU#)". Zu QGIS gibt es auf [OpenSchoolMaps](https://openschoolmaps.ch) eine Einführung. * Website: [Gitlab 'OSMDataSync'](https://gitlab.com/geometalab/OSMDataSync). * Einrichten: Sofort nutzbar durch Installation aus QGIS heraus. Der Benutzer kann mit wenigen Klicks selber konfigurieren. Evtl. muss ein Experte bei der geeigneten Overpass Query helfen. * Limitationen: Nur für "Einzelplatz-Betrieb". Geeignet für Objektmengen kleiner als 5000 (Overpass Query). ## Schlusswort Dieses Dokument versucht aufzuzeigen, welche Ansätze und Werkzeuge Organisationen, insbesondere öffentliche Verwaltungen, zur Verfügung stehen, um ihre Originaldaten in OSM zu integrieren. Die mit Abstand wichtigsten Werkzeuge sind universelle Editoren wie iD und JOSM etc. Abgesehen davon sind folgende Werkzeuge beliebt - je nach Anwendungszweck und ohne Anspruch auf Vollständigkeit: * **MapRoulette** - Für das gezielte Integrieren von Originaldaten und Aktualisieren von OSM * Das QGIS-Plugin **Go2NextFeature3+** - Für den raschen, schrittweise/einzelnen Vergleich von Originaldaten und OSM. * Der **OSM Tasking Manager** - zur organisierten und gezielten Integration von Originaldaten in OSM. Neu dazu kommen Werkzeuge, die den "managed" Ansatz unterstützen, wie das "**Projekt des Monats**". Ein aufschlussreiches Beispiel dazu ist die [Webseite "Projet du mois Septembre 2020"](https://wiki.openstreetmap.org/wiki/FR:Project_of_the_month/Defibrillateurs), die von der französischen OSM-Community für die Erfassung von Defibrillatoren in OSM erstellt wurde. Wer nicht sicher ist, welches Werkzeug er nehmen soll, wie er vorgehen soll, oder welcher Ansatz nun am besten geeignet ist, der kann sich von der lokalen OSM-Gemeinschaft oder von OSM-Experten beraten lassen. *Danksagung: Vielen Dank an Richard Fairhurst von Systemed, UK, und an Benedikt Hitz von der Universität Bern.* ## Bibliographie Fairhurst, Richard (May 2020): "Providing data to OpenStreetMap – a new guide for data owners". Weblink: https://blog.openstreetmap.org/2020/07/22/providing-data-to-openstreetmap-a-new-guide-for-data-owners/ (aufgerufen 2020-11-15) Keller, Stefan (2021): Studie "Public-OSM Partnership – OpenStreetMap-Daten für Behörden". Weblink https://wiki.openstreetmap.org/wiki/DE:Public-OSM_Partnership (aufgerufen 2020-11-15)