Data pipeline
Geautomatiseerde gegevensstroom
Een reeks stappen waarmee data van een bron naar een databank, analyse of toepassing stroomt, inclusief controles en logging.
Hoe werkt het in de praktijk?
Een pipeline maakt een terugkerende datastroom reproduceerbaar. Elke stap heeft een duidelijke invoer, uitvoer en controle, zodat fouten niet ongemerkt verder worden verspreid.
In de praktijk
Orchestratie bepaalt de volgorde en planning; logging en waarschuwingen tonen waar een uitvoering mislukt. Idempotente stappen kunnen veilig opnieuw worden uitgevoerd zonder dubbele gegevens te maken.
Concreet voorbeeld
Elke nacht kan een pipeline nieuwe meetwaarden ophalen, schema en datums controleren, records verrijken en pas na succesvolle validatie de dashboards vernieuwen.