Notice: Function _load_textdomain_just_in_time was called <strong>incorrectly</strong>. Translation loading for the <code>wp-sitekit-consent-manager</code> domain was triggered too early. This is usually an indicator for some code in the plugin or theme running too early. Translations should be loaded at the <code>init</code> action or later. Please see <a href="https://developer.wordpress.org/advanced-administration/debug/debug-wordpress/">Debugging in WordPress</a> for more information. (This message was added in version 6.7.0.) in /var/www/html/wp-includes/functions.php on line 6121

Warning: Cannot modify header information - headers already sent by (output started at /var/www/html/wp-includes/functions.php:6121) in /var/www/html/wp-includes/feed-rss2.php on line 8
<?xml version="1.0" encoding="UTF-8"?><rss version="2.0"
	xmlns:content="http://purl.org/rss/1.0/modules/content/"
	xmlns:wfw="http://wellformedweb.org/CommentAPI/"
	xmlns:dc="http://purl.org/dc/elements/1.1/"
	xmlns:atom="http://www.w3.org/2005/Atom"
	xmlns:sy="http://purl.org/rss/1.0/modules/syndication/"
	xmlns:slash="http://purl.org/rss/1.0/modules/slash/"
	>

<channel>
	<title>Webscraping &#8211; Ledger Labs</title>
	<atom:link href="https://stg.ledgerlabs.pro/category/webscraping/feed/" rel="self" type="application/rss+xml" />
	<link>https://stg.ledgerlabs.pro</link>
	<description></description>
	<lastBuildDate>Mon, 27 Oct 2025 13:24:06 +0000</lastBuildDate>
	<language>nl-NL</language>
	<sy:updatePeriod>
	hourly	</sy:updatePeriod>
	<sy:updateFrequency>
	1	</sy:updateFrequency>
	<generator>https://wordpress.org/?v=6.8.3</generator>

<image>
	<url>https://stg.ledgerlabs.pro/wp-content/uploads/2025/11/llabs_favicon_black.png</url>
	<title>Webscraping &#8211; Ledger Labs</title>
	<link>https://stg.ledgerlabs.pro</link>
	<width>32</width>
	<height>32</height>
</image> 
	<item>
		<title>Webscraping overheidsportaal</title>
		<link>https://stg.ledgerlabs.pro/2025/10/24/webscraping-overheidsportaal/</link>
		
		<dc:creator><![CDATA[Ward Cornette]]></dc:creator>
		<pubDate>Fri, 24 Oct 2025 13:39:44 +0000</pubDate>
				<category><![CDATA[Selenium]]></category>
		<category><![CDATA[Webscraping]]></category>
		<guid isPermaLink="false">https://stg.ledgerlabs.pro/?p=225</guid>

					<description><![CDATA[Introductie Niet alle portalen waarmee een organisatie werkt hebben steeds een API die mogelijkheden tot integraties biedt. In het bijzonder...]]></description>
										<content:encoded><![CDATA[
<h2 class="wp-block-heading">Introductie</h2>



<p>Niet alle portalen waarmee een organisatie werkt hebben steeds een API die mogelijkheden tot integraties biedt. In het bijzonder overheidsportalen zijn vaak erg gesloten en beschermd. Dit hoeft geen probleem te zijn om toch een betrouwbare koppeling te bouwen. Ledger Labs werd gecontacteerd om de gegevens van een overheidsportaal doorlopend uit te lezen.&nbsp;</p>



<p>De primaire doelstelling is om de gegevens te gaan gebruiken voor maandelijkse opmaak van verkoopfacturen met de aantallen die worden aangegeven op het portaal. Als bijproduct konden we een PowerBI rapport aanbieden dat overzichtelijker is dan de originele site.</p>



<div class="rfn-spacer-block" style="height:25px;background-color:transparent;width:100%;display:block;position:relative"></div>



<h2 class="wp-block-heading">Uitwerking</h2>



<p>Ledger Labs bouwde een koppeling volledig gebaseerd op Open Source middelen. Enkel voor de visualisatie van de gegevens werd beroep gedaan op PowerBI van Microsoft waarvoor een licentie nodig is. De koppeling bestaat uit drie flows:</p>



<ol class="wp-block-list">
<li>Ieder uur wordt er aangemeld op het overheidsportaal. Hiervoor wordt een Dagster Orchestrator ingezet die communiceert met een Selenium browser en een Vault voor de gebruikersgegevens. Bij iedere uitvoering worden de gegevens uitgelezen die werden opgeladen op het portaal sinds de vorige uitvoering (één uur eerder). Het resultaat is een gestructureerde database die de gegevens eenvoudig ter beschikking stelt.<br>&nbsp;</li>



<li>Drie keer per dag worden de gegevens via een on-premise gateway opgeladen naar een Data Lake in Azure. Eens de gegevens zich in de cloud bevinden, kunnen de eindgebruikers deze consulteren in een PowerBI rapport.<br></li>



<li>Ieder maandeinde worden de uitgelezen gegevens geïnterpreteerd en worden er forfaits geregistreerd in de facturatiesoftware. De aantallen op de verkoopfacturen zijn dus rechtstreeks gekoppeld aan de gegevens die op het overheidsportaal werden uitgelezen.</li>
</ol>



<figure class="wp-block-image size-large"><img fetchpriority="high" decoding="async" width="1024" height="574" src="https://stg.ledgerlabs.pro/wp-content/uploads/2025/10/power-bi-rapport-1024x574.png" alt="" class="wp-image-235" srcset="https://stg.ledgerlabs.pro/wp-content/uploads/2025/10/power-bi-rapport-1024x574.png 1024w, https://stg.ledgerlabs.pro/wp-content/uploads/2025/10/power-bi-rapport-300x168.png 300w, https://stg.ledgerlabs.pro/wp-content/uploads/2025/10/power-bi-rapport-768x431.png 768w, https://stg.ledgerlabs.pro/wp-content/uploads/2025/10/power-bi-rapport.png 1364w" sizes="(max-width: 1024px) 100vw, 1024px" /></figure>



<div class="rfn-spacer-block" style="height:20px;background-color:transparent;width:100%;display:block;position:relative"></div>



<h2 class="wp-block-heading">Resultaat</h2>



<p>Door de koppeling met het overheidsportaal worden de verkoopfacturen automatisch opgemaakt waardoor manuele arbeid wordt uitgespaard. De klant stelt vast dat er veel minder klachten worden ontvangen doordat verkoopfacturen sneller worden opgemaakt en deze geen fouten meer kunnen bevatten. Bij klachten over de verkoopfacturen helpt het PowerBI rapport te verhelderen waar nodig.</p>
]]></content:encoded>
					
		
		
			</item>
	</channel>
</rss>