Whiteboard DP-200 Welkom! Peter ter Braake [email protected] Agenda • Overview • Storage • Databricks • Cosmos • SQL Server • Azure Stream Analytics • Azure Data Factory • Security • Monitoring Workload OLTP OLAP • Kleine resultsets • Veel writes • Read-only • Grote scansets SQL Server • On premise • SQL Server instance op Azure VM • Tooling zoals SSIS (ssisdb) / SSRS • Beheer / Governance • Lift-and-Shift • Cross database query’s • Read committed • Managed Instance • Tussen-vorm • Instance-aas • SQL DB – DBAAS • New development • snapshot • Andere rel db dan SQL Server • IAAS • Infrastructure as a service • Zij ijzer jij software • PAAS • Platform as a service • SAAS • Software as a service Consistency ACID - SQL • Atomicity • Consistency • Isolation • Durability • Isolation levels: • • • • • Read uncommitted Read committed Repeatable read Serializable Snapshot BASE - noSQL • Basic Availability • Soft-state • Eventual consistency Issues • Performance • Workload – locking blocking • Complexiteit • Real time operational analytics – read/write nonclustered columnstore index • Anonimiseren • Kwaliteit • Den Haag – ‘s-Gravenhage – sGravenHagen • NULL • Historische gegevens Datawarehouse AAS SQL DB SQL DW (synapse) • Goedkoop • Row store • Stermodel • Polybase • Groot - # rijen • Columnstore facttable • Miljard / trans • Duur • Column store • Cluster – 60 distributies • 1 SQL DW = 60 DB Big Data • Als je moet innoveren (t.o.v relationele DB) om met je gegevens te doen wat je er mee wilt/moet doen • Velocity • Volume • Variety • Blob’s: images, video. Music • Not/semi-structured • Variability • IoT • Value • Veracity Schaalbaarheid Scale up Scale out • Grotere server • Meer resources / hogere tier • LIMIET • Meer servers - cluster Schema • Schema-on-write • Eerst tabel maken • Dan er in schrijven • Vast • Schema-on-read • Structuur bepalen per use case • Flexibel DB keuze SQL DB Cosmos • Variability – geen/vast schema • Variability – flexible schema • Document DB – JSON • Wereldwijd beschikbaar • XML (2005) / JSON • SPARSE columns • Read-only replicas • SQL native client / ADO.NET • Web server • Heel veel functionaliteit • Dicht bij gebruiker – latency • Writes ??? • REST API • Meer werk zelf Polyglot persistence • Azure BLOB storage • Foto’s , video , PDF, … • Cosmos • Product ‘table’ • Variability • Dicht bij gebruiker • SQL DB • Invoice ‘table’ • Gestructureerd - optimalisaties • ACID • Kosten • Meer abonnementen • Meer kennis • Complexiteit • KISS • Consistentie Data Lake • Opslag van ruwe data in zijn oorspronkelijke format • Visie: met water kan ik geld verdienen • Bouw een stuwdam • Verwerk per use case Exam DP200 • Skillpipe.com • eBook • Vul aan met MSLearn • Code LOD • VM waarin je opgaves lab • Azure PASS – www.microsoftazurepass.com