Notice: Function _load_textdomain_just_in_time was called incorrectly. Translation loading for the wp-sitekit-consent-manager domain was triggered too early. This is usually an indicator for some code in the plugin or theme running too early. Translations should be loaded at the init action or later. Please see Debugging in WordPress for more information. (This message was added in version 6.7.0.) in /var/www/html/wp-includes/functions.php on line 6121 Warning: Cannot modify header information - headers already sent by (output started at /var/www/html/wp-includes/functions.php:6121) in /var/www/html/wp-includes/feed-rss2.php on line 8 Selenium – Ledger Labs https://stg.ledgerlabs.pro Mon, 27 Oct 2025 13:24:06 +0000 nl-NL hourly 1 https://wordpress.org/?v=6.8.3 https://stg.ledgerlabs.pro/wp-content/uploads/2025/11/llabs_favicon_black.png Selenium – Ledger Labs https://stg.ledgerlabs.pro 32 32 Webscraping overheidsportaal https://stg.ledgerlabs.pro/2025/10/24/webscraping-overheidsportaal/ Fri, 24 Oct 2025 13:39:44 +0000 https://stg.ledgerlabs.pro/?p=225 Introductie

Niet alle portalen waarmee een organisatie werkt hebben steeds een API die mogelijkheden tot integraties biedt. In het bijzonder overheidsportalen zijn vaak erg gesloten en beschermd. Dit hoeft geen probleem te zijn om toch een betrouwbare koppeling te bouwen. Ledger Labs werd gecontacteerd om de gegevens van een overheidsportaal doorlopend uit te lezen. 

De primaire doelstelling is om de gegevens te gaan gebruiken voor maandelijkse opmaak van verkoopfacturen met de aantallen die worden aangegeven op het portaal. Als bijproduct konden we een PowerBI rapport aanbieden dat overzichtelijker is dan de originele site.

Uitwerking

Ledger Labs bouwde een koppeling volledig gebaseerd op Open Source middelen. Enkel voor de visualisatie van de gegevens werd beroep gedaan op PowerBI van Microsoft waarvoor een licentie nodig is. De koppeling bestaat uit drie flows:

  1. Ieder uur wordt er aangemeld op het overheidsportaal. Hiervoor wordt een Dagster Orchestrator ingezet die communiceert met een Selenium browser en een Vault voor de gebruikersgegevens. Bij iedere uitvoering worden de gegevens uitgelezen die werden opgeladen op het portaal sinds de vorige uitvoering (één uur eerder). Het resultaat is een gestructureerde database die de gegevens eenvoudig ter beschikking stelt.
     
  2. Drie keer per dag worden de gegevens via een on-premise gateway opgeladen naar een Data Lake in Azure. Eens de gegevens zich in de cloud bevinden, kunnen de eindgebruikers deze consulteren in een PowerBI rapport.
  3. Ieder maandeinde worden de uitgelezen gegevens geïnterpreteerd en worden er forfaits geregistreerd in de facturatiesoftware. De aantallen op de verkoopfacturen zijn dus rechtstreeks gekoppeld aan de gegevens die op het overheidsportaal werden uitgelezen.

Resultaat

Door de koppeling met het overheidsportaal worden de verkoopfacturen automatisch opgemaakt waardoor manuele arbeid wordt uitgespaard. De klant stelt vast dat er veel minder klachten worden ontvangen doordat verkoopfacturen sneller worden opgemaakt en deze geen fouten meer kunnen bevatten. Bij klachten over de verkoopfacturen helpt het PowerBI rapport te verhelderen waar nodig.

]]>