Le blog de nlehuby

avril 26, 2017

Les réseaux d'Île-de-France à la loupe

Ceci est, à peu de chose près, la retranscription de la présentation que j'ai donnée hier, à la soirée de lancement du projet Jungle Bus, qui vise à révolutionner la production des plans de transport, en s'appuyant sur le crowdsourcing et OpenStreetMap.

couverture

La plupart des villes du monde n'ont pas de plan de transport.
Mais qu'en est-il de la votre ? Qu'en est-il de la mienne ?
J'ai fait l'expérience, j'ai cherché un plan de transport de là où j'habite actuellement.

J'ai commencé par regarder du côté du STIF ; voici ce qu'ils proposent :
plan STIF source : STIF

On retrouve quelques lignes : la ligne 100, les deux lignes 18, la ligne 19.
Mais c'est un plan schématique qui n'affiche que les lignes structurantes : des choix de représentation ont dû être faits, toutes les lignes ne sont pas présentes, et on ne sait pas vraiment où elles passent et si on peut les prendre.
On retrouve également les lignes Bus Direct qui, à ma connaissance, ne s'arrêtent pas, voire ne passent pas du tout ici.

Essayons en un autre ; voici celui de la RATP :
plan RATP source : RATP

Celui-ci est plus précis, et prend en compte la réelle géographie de la ville : on voit des cours d'eau, des forêts, quelques rues.
En terme de transport, on a maintenant des tracés, et des indications des arrêts. On retrouve les lignes RATP, la 211, la 220, la 321, la 421. On retrouve aussi la ligne 100 déjà présente sur le plan schématique du STIF.
Bon ce n'est pas parfait, la ligne 100 n'est pas rouge mais bleue en réalité.
Et les deux lignes 18 et la ligne 19 ?

Voyons celui du réseau Noctilien :
plan Noctilien source : Noctilien, STIF

Là encore c'est un plan qui tient compte de la géographie, mais sans surprise, seules les lignes du réseau Noctilien sont indiquées.
Bon point tout de même, on a, en supplément de leur positions, les noms des arrêts. J'y vois tout de même des positions qui me semble légèrement fausses.

Enfin, un petit dernier, proposé par le réseau Pep's
plan Pep's source : Transdev idf

Celui-ci est vraiment pas mal !
On a à présent une liste exhaustive de toutes les lignes de transport, et pas uniquement celles du réseau Pep's. On retrouve bien les lignes structurantes (la 100, les deux 18 et la 19), les lignes RATP citées plus tôt, les lignes Noctilien citées plus tôt, les lignes Pep's évidemment, et les quelques autres.

Mais faisons l'exercice, que donnerait un plan réalisé à partir des données OpenStreetMap ?
Voici le fond transport actuel officiel du projet OpenStreetMap plan OSM source : OSM fond Transport

On ne va pas se mentir, ce n'est pas génial.
On a des tracés, on a des numéros de lignes, on a des arrêts et des noms d'arrêts, mais c'est pas bien clair qui appartient à quoi.
Pour les couleurs de lignes, on repassera : elles ont beau être renseignées, elles ne sont pas affichées. Et quant à savoir si toutes les lignes citées plus haut y sont, c'est loin d'être évident.
C'est d'ailleurs un des objectifs du projet Jungle Bus : fournir un rendu cartographique des réseaux de transports lisible et exploitable.

Mais en attendant, essayons au moins de connaitre l'exactitude de cette carte.
Pour cette zone géographique, je la connais, j'en ai cartographié moi-même une partie significative. Mais à l'échelle de l'Île-de-France, quelle exactitude aurait un plan de transport fait à partir d'OSM ?

Voyons déjà la quantité d'information disponible :
Si je compte les arrêts de transport de la région, j'en ai plus de 20 000 ! arrêts OSM source : <3 les contributeurs OSM (arrêts et contours)

Ok, ça fait beaucoup, mais est-ce qu'ils y sont tous ?
Pour le savoir, c'est plus simple qu'il n'y parait !
En effet, le STIF, qui organise et finance les transports publie un certain nombre d'informations sur son portail opendata, j'en parlais déjà dans un précédent article.
La liste et la position de tous les arrêts d'Île-de-France sont donc facilement récupérables et utilisables en comparaison.
Voici la différence entre OSM et les données STIF, que nous considérerons ici comme la représentation la plus juste de la réalité en terme de quantités d'arrêts:
comparaison OSM/STIF sur les arrêts source : données OSM (c) contributeurs OSM / données STIF - portail opendata

Il en manque. Beaucoup. Surtout sur les bords.

En réalité, le tableau est même plutôt sombre.
Si on voulait faire un plan de transport de la région Île-de-France, il ressemblerait à ça : d'un côté une carte avec les lignes tracées, et de l'autre une liste des lignes pour pouvoir les retrouver facilement.
plan typique

Si on réalisait aujourd'hui ce plan avec OSM, on aurait plutôt cela :
plan fait avec OSM

Oui, plus de la moitié des lignes est aujourd'hui manquante dans OSM !

Et tout cela donne une représentation faussée et inégale du territoire. Car les lignes cartographiées sont probablement les plus empruntées et celles où il y a le plus de contributeurs.
La répartition des arrêts le montrait déjà, mais en voici un exemple encore plus frappant : voici le nombre de lignes par réseau, dans OSM, et dans les données du STIF :
diff de la répartition des lignes par réseau source : données OSM (c) contributeurs OSM / données STIF - navitia.io

On a ici une sur-représentation des données RATP et Noctilien, au détriment de la centaine d'autres réseaux qui co-existent en Île-de-France.

Parlons un peu qualité à présent.
Les données OSM sont réputées pour leur qualité, car c'est bien connu, les contributeurs prennent ce sujet très au sérieux. craftmapper

Le premier indicateur sur lequel OSM brille en général, c'est la précision de la position des arrêts.
Voici à quoi ressemble la gare routière de Torcy, d'après notre référence, le STIF : opendata

L'accumulation d'arrêts superposés semble peu crédible, mais le reste semble ok.
Mais sur le terrain, les arrêts sont régulièrements espacés sur des espaces piétons entourés de voies de bus. Voici à quoi ça ressemble dans OSM, et en réalité : osm

Rien de dramatique à première vue, on pourrait croire que les arrêts sont placés à quelques mètres près.
Mais en faisant l'effort de regarder à quel arrêt OSM correspond un arrêt opendata, c'est nettement moins glorieux : diff

Difficile de trouver un arrêt opendata bien positionné :(
Donc impossible pour un voyageur qui ne connait pas le coin de faire sereinement une correspondance en s'appuyant sur l'information voyageur officielle mise à sa disposition : l'arrêt qu'on lui demande de trouver risque d'être sur le trottoir d'en face voire à l'autre bout de la gare routière ...

Autre point sur lequel OSM se distingue souvent : la réactivité en cas d'évolution sur le réseau.
Il n'est en effet pas rare que les données OSM tiennent compte des nouveaux arrêts et prolongements de lignes un peu avant la mise en service, et plusieurs semaines avec la mise à jour dans l'opendata. twitter La ligne de tramway 11, dont la mise en service est prévue pour juillet prochain est par exemple déjà en partie dans OSM.

Enfin, un dernier indicateur, un peu plus objectif et global à l'échelle de l'Île-de-France pour sortir du cas particulier dont on sait difficilement s'il est généralisable :
En Île-de-France, chaque arrêt de bus a un nom, ce qui permet de le retrouver sans trop de difficultés sur un plan de ligne ou une grille horaire (même si on retrouve tout de même régulièrement sur le terrain des abribus dépourvus complètement d'information voyageur). Qu'en est-il dans OSM ? Combien d'arrêts ont un nom dans OSM ?
84 % des arrêts de bus ont un nom

Bref, même si ce n'est pas parfait, OSM semble se distinguer sur la qualité. Mais on l'a vu, côté quantité, plus de la moitié des données est manquante.
Alors quoi ? c'est peine perdue, il faut laisser tomber l'idée de cartographier les réseaux de transport à partir d'OpenStreetMap ?

Non, bien sûr que non, on y croit !

Je sais, depuis longtemps, que cartographier du transport, c'est difficile, j'en ai déjà beaucoup parlé ici sur ce blog. Et j'ai lancé un projet dans la communauté OSM en décembre dernier, autour du transport en Île-de-France : il s'agit de renseigner les identifiants du référentiel STIF dans les données OSM afin de pouvoir les relier et les comparer plus facilement (Le projet est toujours en cours, rejoignez-le ici)

Ce petit projet a permis de dresser ce constat un peu triste de l'état de la cartographie transport en Île-de-France.

Mais surtout il a permis d'expérimenter des nouvelles choses. Voici quelques petits outils que j'ai pu mettre en place (article plus détaillé à venir ;))

Le rendu de transport n'est pas satisfaisant : on n'arrive pas à savoir si une ligne y est vraiment présente ou pas ? Tentons une autre forme de représentation : voici une liste. Si tu cherches la ligne 12 du réseau Pep's, cherche "12" ou cherche "Pep's" et tu sauras. vue toutes les lignes

Difficile de savoir si une ligne est déjà bien renseignée ou s'il reste du travail à faire dessus ? Voici une vue qui met en valeur les tracés et les potentiels arrêts non cartographiés en s'appuyant encore une fois sur l'opendata STIF : vue tracé ligne

Il est difficile de voir si un arrêt est bien cartographié avec la liste des lignes qui y passent dans OSM. C'est en effet une information un peu complexe à ajouter pour un débutant et non mise en valeur sur les rendus. Voici une vue qui l'affiche explicitement et permet d'ajouter celles qui manquent. vue microcosm

Ajouter un nom sur un arrêt de bus, c'est parfaitement trivial ! Il n'est pas acceptable qu'on ait encore des arrêts de bus sans nom dans OSM.
Voici une solution pour y remédier

Et les résultats sont là : en quelques mois, un travail incroyable a été réalisé :
ce sont plus de 150 lignes de bus qui ont été ajoutées à OSM

C'est une progression, certes pas fulgurante, mais régulière et significative, qu'on a pu observer ces quelques derniers mois.

Alors oui, en voyant ces résultats, on est rassurés : on peut révolutionner la production des plans de transport avec OSM. Après tout combien de réseaux ont plus de 150 lignes ?

Faisons confiance à la force des contributeurs. Avec les bons outils, on peut y arriver : soutenez le projet Jungle Bus !

Enfin, un dernier point : les données OSM sont aussi en opendata.
Et l'opendata, c'est une opportunité de jouer collectif.
Même s'il y a des trous d'offre, il est déjà possible aujourd'hui, pour un exploitant, un transporteur, une municipalité, etc de regarder ce qu'OSM propose et pourquoi pas d'en tirer parti.
Il est déjà possible d'extraire les positions des arrêts d'OSM pour des comparaisons et pourquoi pas des corrections. Il est déjà possible, pour les réseaux qui ne présentent que des schémas de lignes en thermomètre peu détaillé de tirer parti des tracés présents dans OSM pour proposer une carte plus détaillée.
Les synergies possibles sont nombreuses, et la communauté Jungle Bus est prête à expérimenter et co-construire afin que les données OpenStreetMap ne soient plus considérées comme une autre base, ou une base concurrente, mais bien comme une base complémentaire, dans laquelle il y a du bon à puiser dès aujourd'hui !

EDIT avril 2018 : Un an plus tard, j'ai co-réalisé pour Jungle Bus un audit comparatif entre les données officielles en opendata et les données OSM sur les bus. N'hésitez pas à le consulter pour encore plus de détails chiffrés.

mars 21, 2017

Contribuez à OSM : les arrêts de bus sans nom

Les arrêts de bus qui n'ont pas de nom dans OpenStreetMap sont un de mes vieux TOC (troubles obsessionnels cartographiques). Déjà, en 2014, j'avais concocté un script qui permettait d'enrichir ces arrêts sans nom à partir de l'opendata RATP.

Aujourd'hui, je vous propose d'aller encore plus loin . Oui, vous !
Car ajouter le nom d'un arrêt, c'est ridiculement simple.

Voici un tutoriel en trois étapes :

Étape 1 : téléchargez MAPS.ME
N'oubliez pas de télécharger les cartes pour utilisation hors ligne et de vous authentifier dans les paramètres.

Étape 2 : cliquez sur le lien ci-dessous
pour télécharger la liste des arrêts de bus sans nom d'Île-de-France
Faites le depuis votre téléphone : cette liste devrait alors être chargée directement dans l'application MAPS.ME.

oh, la belle bleue

ici les signets rouges sont mes endroits (des adresses où je me rends souvent, des points de rendez-vous que j'ai enregistrés, etc) et les autres sont des arrêts de bus sans nom.

Étape 3 : contribuez !
Quand vous vous promenez et que vous passez à proximité d'un arrêt de bus sans nom, cliquez sur "Modifier le lieu" et renseignez son nom.

ajouter un nom sur un arrêt de bus, c'est très facile

Félicitations, vous faites partie de la communauté des bussophiles agguerris \o/

Allez hop hop, sur le terrain, la carte ne va pas se remplir toute seule et il reste encore 3277 arrêts de bus sans nom en Île-de-France !

EDIT octobre 2018 : mise à jour de lien (les fichiers kml sont maintenant hébergés sur github).

janv. 21, 2017

Analyse des arrêts d'un parcours de bus

Quand je parle de mon trouble obsessionnel cartographique favori, les lignes de bus, les gens me demandent parfois si je trouve encore des choses à cartographier sur cette thématique, surtout en Île-de-France, où OSM est déjà très riche et densément mappé.
Mais c'est une fausse impression de complétude : il y a encore beaucoup à faire et bien que j'ai commencé en 2014 (souvenez-vous, je vous ai fait découvrir mes expériences sur ce blog), je continue de contribuer régulièrement sur cette thématique.

D'après le référentiel opendata du STIF, il y a plus de 1800 lignes (tous modes confondus) alors qu'à date dans OSM, on en a moins de 500.
Pourtant, il suffit de jetter un coup d'oeil au fond transport pour constater que les contributeurs sont très actifs sur cette thématique.
En effet, la donnée brute existe déjà en grande partie dans OSM, mais il reste pas mal de travail d'uniformisation sur les tags établis.
Car, cartographier une ligne de bus, ce n'est pas si facile ! Mais ça sera surement l'object d'un prochain article tutoriel ;)
Concentrons nous donc plutôt sur les arrêts.

Voici quelques captures des arrêts du parcours de la ligne 306 du réseau RATP en direction de Saint-Maur, dans l'opendata (le petit point en bout de flèche) et dans OSM (le picto à la base de la flèche) un arrêt OSM et son arrêt opendata associé

La distance entre les deux sources est très variable.
Pour certains, l'arrêt opendata est à moins de 10 mètres de l'arrêt OSM : un pas bien loin Mais dans d'autres, il faut rechercher à 150 mètres pour le retrouver : et un bien plus loin

Cette grande distance semble souvent imputable à la précision de géoloc des données opendata, mais il s'agit aussi parfois d'arrêt OSM positionnés approximativement (souvent signalés avec un tag FIXME : position à corriger).
Sans vouloir faire des généralisations hâtives, il semblerait qu'on constate assez systématiquement des grands écarts de distance sur les gares routières, où l'opendata se contente du centre de la gare. une gare routière

Mais malgré ça, on arrive quand même à trouver un arrêt opendata pour chaque arrêt OSM \o/
Deux exceptions :

  • Un arrêt manque à l'appel dans OSM : l'arrêt Rue du Monument. need survey
  • Des arrêts semblent être en trop dans OSM : il y a en effet trois arrêts Villiers-sur-Marne–Le Plessis-Trévise RER rattachés à ce parcours de bus.also need survey L'un est indiqué comme étant un arrêt de descente pour tous les bus, ce qui est en effet une pratique répendue dans les gares routières, mais l'un des deux autres est clairement en trop. Fausse manip d'un contributeur ou défaut de mise à jour ?

Bref, même sur cette ligne qui semble plutôt complète, il reste des imprécisions.

À noter qu'on trouve aussi de belles imprécisions dans l'opendata, avec :

  • des arrêts à l'intérieur de bâtiments c'est pratique ceci dit, d'attendre son bus au chaud
  • des arrêts pas situés dans la bonne rue bon courage pour choper ce bus si tu l'attends dans cette rue

Si vous souhaitez vous faire votre propre idée sur les lignes qui passent près de chez vous, voici quelques éléments pour reproduire mon analyse :
Pour les arrêt OSM, j'ai utilisé une extraction via l'API Overpass de type

relation({id de la relation});node(r:"{platform ou stop selon la version du schéma}");out meta;

Il vous faudra renseigner

  • l'id de la relation du parcours
  • "stop" s'il s'agit d'un parcours encore en public_transport:version = 1 ou "platform" s'il s'agit d'un public_transport:version = 2.

Pour les arrêts opendata, j'ai réalisé une extraction par parcours à l'aide de l'API navitia.io car filtrer les données opendata par parcours est un peu fastidieux. Cela me permet également de récupérer l'identifiant de l'arrêt dans le référentiel STIF dans la foulée.
Le script python est sur github.
On peut ensuite visualiser ça dans JOSM à l'aide du plugin opendata.

Pour faire le rapprochement entre l'opendata et OSM, j'ai utilisé le plugin conflation de JOSM.

Cette analyse est très orienté parcours, mais on peut imaginer qu'une fois que le référentiel des arrêts du STIF aura été proprement intégré dans OSM on pourra réaliser cela par quartier, ou tout autre découpage, géographique ou non.
Mais c'est un peu prématuré ... Sur le parcours en question, seuls 11 arrêts disposaient de leur identifiant STIF, et 4 étaient erronés.
argh, des ref:FR:STIF fausses La cause est difficile à déterminer à ce stade : il s'agit parfois de la référence d'un arrêt desservi par la ligne 306 dans l'autre sens, et parfois d'une référence qui n'existe pas ou plus dans le référentiel du STIF.

Bref, même en Île-de-France, il reste du boulot sur les arrêts de bus :)

déc. 05, 2016

Mes mots de passe

J'ai toujours eu du mal avec les mots de passe. Les inventer, les mémoriser, les changer ... l'angoisse.
Mais, au fil de mon évolution dans le monde digital numérique, je crois que j'ai finalement trouvé comment m'authentifier sans crise de nerf.

Au début, comme tout le monde, j'avais le même mot de passe partout. Nous l'appellerons d'ailleurs Passe-partout ;)
Puis, assez rapidement et heureusement pour moi, les sites ont commencé à le refuser, car Passe-Partout était trop court et tout pourri.
J'ai donc commencé à mettre des mots de passe plus élaborés, mais évidemment, pas moyen de m'en souvenir...
C'est ainsi, plus ou moins malgré moi, que je suis passé à une stratégie "sans mot de passe", ou passwordless.
C'est-à-dire que je ne m'embarrasse pas de mot de passe : à la création, j'en génère un, de préférence bien compliqué à 12 caractères, je le copie bêtement partout où on me le demande, puis, je l'oublie instantanément.
À la prochaine connexion, je n'essaye même pas de me souvenir du mot de passe, je clique direct sur "J'ai oublié mon mot de passe".
Puis je clique bien sagement sur le lien reçu par mail, pour recréer un mot de passe aléatoire que j'oublie aussitôt, puis faire ce que j'ai à faire sur le site.

Au début, c'était involontaire : j'essayais toutes les variantes possibles de Passe-Partout dans le champ, en ajoutant de la ponctuation, des majuscules, etc puis de rage je finissais pas me résigner à changer de mot de passe.
Mais maintenant c'est complètement assumé, et croyez-le ou non, j'ai gagné un certain temps en authentification, et également pas mal en tranquilité d'esprit.

De plus, ça me permet d'avoir un mot de passe différent sur chaque site, et de changer de mot de passe régulièrement. Deux conseils très répandus, mais qui sont un peu comme "Mangez 5 fruits et légumes par jour" et "Épargnez, et commencez quand vous êtes jeune" : on sait tous qu'il faut le faire, mais bon ... on verra demain hein !

Bon bien sûr, il faut que le système qui veut nous authentifier soit potable :
J'ai souvenir d'une époque où l'Assurance maladie gérait la réinitialisation de mot de passe par courrier ...
Et des fois, la réinitialisation consiste parfois à me renvoyer un mail avec mon mot de passe. En clair dans un mail.
Heureusement, j'ai l'impression que les choses ont quand même un peu progressé depuis.
Tellement qu'il semblerait que je ne sois pas la seule à avoir cette idée, et que certains proposent même de concevoir son système d'authentification sur cette solution.

Mais bon, soyons honnêtes, la stratégie passwordless fonctionne bien quand on n'est pas pressé et qu'on a sa boîte mail sous la main.
Pour gérer ses factures trois fois par an, ou utiliser un site de e-commerce à Noël, c'est pas mal, mais ce n'est très adapté pour le quotidien.

En complément de ma stratégie "sans mot de passe", j'ai donc développé une deuxième stratégie que j'appelle "sans mémoire".
Cela consiste à générer un mot de passe pour le site où je veux m'authentifier, à partir d'une technique reproductible.
L'idée étant que, à la prochaine connexion, je puisse re-générer très exactement le même mot de passe, en appliquant la technique, sans jamais avoir eu à retenir ou stocker ce mot de passe en question.
c'est magique

Au début, je le faisais à la main, et je concaténais le nom du service avec le bon vieux Passe-Partout.
Maitenant, j'utilise un service web qui reprend ce concept, avec une technique un peu plus sure que la concaténation, bien sûr ;) SuperGenPass.

Cette stratégie est plutôt efficace pour les sites du quotidien car ça n'alourdit pas trop le processus d'authentification et ça fonctionne très bien sur toutes les plateformes, y compris le mobile, y compris si c'est un Firefox OS, y compris si ce n'est pas ton mobile !

En revanche, dès que le site impose de changer de mot de passe de temps en temps, c'est le drame.
On peut bien sûr ruser et ajouter des caractères manuellement à la fin du mot de passe généré par SuperGenPass, mais bon, c'est un coup à oublier, et quitte à retenir qu'on doit ajouter ";12!" à la fin, autant retenir correct_horse_battery_staple.

D'où la troisième stratégie : la base Keepass, qui est basiquement un gros post-it crypté chiffré.
En effet, Keepass est une solution libre de gestion de mot de passe : les mot de passes sont stockés dans une base chiffrée avec une phrase de passe (un gros mot de passe bien long). Il suffit donc de retenir uniquement cette passe de phrase phrase de passe pour accéder à tous les mots de passe des services où l'on souhaite s'authentifier.
Bon on peut prendre Passe-Partout encore une fois mais s'il est vraiment court et pourri, ça revient un peu à installer une porte blindée mais à toujours laisser la clef sous le paillasson ;)

Et on peut même sauvegarder le login par la même occasion, des fois que ça soit l'id de notre compte dans la base de données du système...
Par contre, comme pour un post-it, il faut l'avoir toujours sur soi, donc avoir des moyens de mettre à disposition de ses différents terminaux la base keepass par une solution de synchronisation ou de partage quelconque, ce qui ajoute un peu de complexité et des potentiels risques de sécurité.

Plus précisément, j'utilise une base keepass (kdbx) hébergée que je consulte avec Keeweb, une interface web de gestion de mot de passe compatible avec le format Keepass.
L'intérêt étant d'avoir quelque chose qui tourne aussi sur mobile y compris si c'est un Firefox OS. Et ça permet d'avoir une interface jolie et ergonomique, parce que c'est pas parce que j'ai envie d'utiliser des logiciels libres que je suis obligée d'utiliser que des trucs moches.

Au final, je jongle un peu entre les statégies, mais je m'en sors pas si mal.
Bon, là par exemple, je viens d'essayer de me connecter sur un site en statégie "passwordless", mais le changement de mot de passe, que j'ai voulu faire avec la stratégie "sans mémoire", n'a pas fonctionnée car ... c'était déjà mon précédent mot de passe. Et à tous les coups, si je cherche dans Keeweb je vais trouver que le mot de passe SuperGenPass y est déjà consigné :p

juil. 24, 2016

Extraire des infos thématiques d'OSM

Quand on souhaite réaliser une analyse thématique à partir des données OSM, on passe forcément par l'étape de récupération des données. Pour cela, on a plusieurs solutions.

La plus simple pour se lancer, c'est d'utiliser Overpass, via Overpass Turbo.
J'en ai déjà parlé dans un précédent article : on donne nos contraintes et en un rien de temps, on a un résultat visuel et les objets qui nous intéressent ressortent sur la carte.
On peut alors récupérer directement ces objets ou bien la requête Overpass pour la faire exécuter par un autre applicatif (comme uMap par exemple, cf mon tutoriel sur le sujet)

À noter que l'API Overpass permet également de récupérer des objets au format csv, ce qui peut s'avérer pratique s'il s'agit d'une extraction pour analyse (et pas juste pour un affichage). Voici par exemple le nécessaire pour récupérer dans Overpass-Turbo les distributeurs de billets alentours, en csv :

[out:csv(::"id", ::lat, ::lon, operator)][timeout:25];
(
    node["amenity"="atm"]({{bbox}});
);
out ;

Bref, malgré une courbe d'apprentissage de la syntaxe un peu rude (Overpass Turbo et le wiki sont là pour aider), Overpass, c'est génial !

Cependant, dès qu'on souhaite requêter une trop grande quantité de données, une trop grande surface ou à une fréquence trop élevée, on se retrouve confrontés aux limites de l'API.

Dans ce cas de figure, la solution royale, c'est de récupérer directement toutes les données brutes d'OSM et de faire sa propre extraction à la main.

En général, on télécharge les données, au format pbf, sur Geofabrik par exemple.

Puis, une solution courante est d'insérer ces données en base (avec imposm ou osm2pgsql), puis de faire des requêtes SQL pour extraire les infos souhaitées.

Mais, lorsque l'extraction est assez simple, sachez qu'il existe une alternative en ligne de commande, basée sur Osmosis et Osmconvert.

On utilisera osmosis pour ne conserver dans les données que les objets qui nous intéressent.
Puis on utilisera osmconvert pour extraire ces objets au format csv.

Par exemple, si je souhaite extraire tous les distributeurs de billets (amenity = atm) des données OSM que j'ai téléchargées, je peux procéder ainsi :

osmosis --read-pbf file="data.osm.pbf" --nkv keyValueList="amenity.atm" --write-pbf atm.osm.pbf

À ce stade, j'ai obtenu un fichier pbf ne contenant que les noeuds taggés avec amenity = atm. Puis, pour avoir tout ça dans un format plus habituel et extraire uniquement les tags qui m'intéressent :

osmconvert atm.osm.pbf --csv="@id @lat @lon name operator network fee" --csv-headline --csv-separator=";" -o=osm_atm.csv

Et je peux aussi réaliser des unions : par exemple, admettons que je souhaite également récupérer les horloges publiques (amenity = clock) pour réaliser une analyse particulièrement innovante sur les distributeurs et les horloges ...
Je commence par procéder de même :

osmosis --read-pbf file="data.osm.pbf" --nkv keyValueList="amenity.clock" --write-pbf clock.osm.pbf

Puis, je fusionne mes deux fichiers précédemment obtenus en un seul :

osmosis --read-pbf atm.osm.pbf --read-pbf clock.osm.pbf --merge --write-pbf clock_and_atm.osm.pbf

Puis, je peux, comme précédemment utiliser osmconvert pour récupérer les objets et les tags utiles.

À noter que si on souhaite extraire autre chose que des noeuds, il reste possible d'utiliser osmosis, mais c'est un peu plus complexe.
La requête suivante permet par exemple de récupérer les parcours de bus (qui sont des relations taggées avec route=bus) :

osmosis --read-pbf data.osm.pbf --tf accept-relations route=bus --used-way --used-node --write-pbf route_bus.osm.pbf

On a alors un pbf contenant les relations parcours de bus, ainsi que tous les objets (chemins et noeuds) qui constituent ces relations.

← Previous Next → Page 3 of 9