Best practice og metadata drevet ingestion framework
Snowflake, Azure Data Factory og dbt
Ejvind Hald
Snowflake Copenhagen User Group
Den 19. december 2024 afholdtes der et Snowflake Copenhagen User Group event i København. Som medarrangører af dette event holdt Ejvind Hald & Tamas Paulik et indlæg vedr. data platform inkl. live demo. Indlægget blev også live streamet til YouTube via Lund & Bendsen infrastruktur, og det kan ses på nedenstående link.
Typisk setup og behov hos danske virksomheder
I indlægget giver vi vores bud på, hvordan vi håndterer typiske udfordringer for danske virksomheder mht. data platform. De benytter tit SQL Server og har ofte præference for Microsoft værktøjer såsom Azure Data Factory. I indlægget viser vi, hvordan det kan sættes op, så data ingestion fungerer enkelt med Snowflake og dbt. Der vises live demo af best practices for dbt og et struktureret Terraform setup med afvikling på Terraform cloud.