De toekomst van data architectuur

De afgelopen jaren zijn de ontwikkelingen op het gebied van data hard gegaan. Big Data is inmiddels gemeengoed geworden, het gebruik van de cloud, ook voor onze data, is normaal en AI is niet meer weg te denken uit onze hedendaagse maatschappij. Wat is de volgende stap en in welk tempo? Peter ter Braake, onze docent Microsoft Data Platform vertelt je meer over onze digitale wereld.

Een tijd lang brachten de razendsnelle ontwikkelingen op het gebied van data mij als docent en consultant een beetje in verlegenheid. Best practices moesten we nog ontdekken, nieuwe architectuur principes moesten uitgedacht worden en tools verdwenen soms net zo snel als dat ze opkwamen. Advies dat ik de ene dag aan een klant gaf, was een maand later soms al ‘oud’ nieuws dat aangepast diende te worden.

Hoewel de ontwikkelingen nog zeker niet gestopt zijn, is er wel sprake van enige vertraging. Zaken zijn uitgekristalliseerd en tools zijn komen bovendrijven. In de nieuwe wereld wordt het Datawarehouse vervangen door een cloud gebaseerd Data Lake. De nu veel geadopteerde medaillon-architecture brengt flexibiliteit en stabiliteit in de snel veranderende wereld van de data en de tools waarmee we werken.

Alle databronnen, cloud based of niet, IOT of niet, van welke leverancier/vendor dan ook, kunnen ontsloten worden. Met die data kunnen we vervolgens alles doen. Klassieke statische rapporten, moderne interactieve rapporten, geavanceerde data analyses, machine learning, AI. Noem het, en het Data Lake ondersteunt het.

Microsoft heeft met Azure Synapse Analytics de meeste tools die je nodig hebt voor een Data Lake implementatie in de cloud onder 1 noemer samengebracht. Op kleine en grote schaal kan je met Synapse Analytics data inlezen en verwerken, gebruik makend van verschillende tools en talen. In de cursus DP-203, Data Engineering on Microsoft Azure, leer je een Data Lake implementeren volgens de medaillon-architecture gebruik makend van SQL, Spark en/of Data flows  en Data Factory Pipelines. Batch verwerking en real-time verwerking komt aan bod. Ook een mogelijk alternatief voor Synapse Analytics, namelijk Databricks passeert de revue. Daarmee is het een volle, leuke, praktijkgerichte cursus, interessant voor iedereen die zich BI-er, ETL-er of moderner Data Engineer noemt.

Meer weten? Bekijk hier de cursus Data Engineering on Microsoft Azure (DP-203).

Vijfhart, dat klopt voor jou!