Gegevens tussen verschillende systemen in overeenstemming houden is niet eenvoudig maar wel belangrijk. Inconsistente gegevens leiden tot een hogere foutenlast in processen, tijdsverlies en stress wanneer er niet snel een verklaring kan worden gevonden voor de verschillen. Idealiter wordt voor elk type data vastgesteld welke software leidend is en waar de ‘single source of truth’ zich bevindt. Eens er is bepaald waar de gegevens dienen te worden onderhouden, kan je andere systemen technisch gaan connecteren met deze bron om zo consistent informatie te delen.
Uitwerking
Ledger Labs bouwde een koppeling voor een dergelijk leidend systeem zodat alle volgende systemen met een vast interval de laatste wijzigingen ontvangen. Via de REST API van het leidend systeem worden iedere minuut de “events” in dat systeem geïnterpreteerd. Deze sensor lanceert vervolgens de juiste jobs zodat de informatie overal in overeenstemming blijft.
In deze concrete toepassing worden de stamgegevens van alle klanten en projecten iedere minuut weggeschreven naar een boekhoudpakket en een CRM systeem. Verder krijgen projectmanagers meteen een mail wanneer er een interessante wijziging is aan hun project. De kracht van deze sensor is dat je heel ver kan gaan in de acties die aan een event worden gekoppeld.
Voor deze oplossing werd de keuze gemaakt om Dagster in te zetten. De ingebouwde sensor functionaliteit van Dagster bleek uiterst geschikt voor de vraag die ons werd gesteld. Dagster is een open source data orchestrator die gratis te gebruiken is wanneer je zelf instaat voor de infrastructuur. Bovendien is er een erg overzichtelijk webportaal ingebouwd dat toelaat om in één oogopslag de performantie van de koppelingen te analyseren.