Data Warehouse2021-06-25T12:39:57+02:00

Data Warehouse

Et cloud-baseret Data Warehouse er udgangspunktet for god Business Analytics

Data Warehouse – overblik, struktur og validitet

Et centralt Data Warehouse er hjørnestenen i vores Business Analytics-løsninger. Ved at bygge et robust Data Warehouse sikrer vi konsistente data og mulighed for meningsfulde sammenligninger.

Vi er vilde med at bygge Data Warehouses

I dag er kravene til det robuste Data Warehouse mange. Antallet af datakilder stiger for de fleste virksomheder, og ønskerne omkring funktionalitet dækker mange aspekter: Historik på stamdata og transaktioner, data- og brugerdrevet sikkerhed, Master Data-mapning og -berigelse, håndtering af processer for forbedring af datakvalitet og en øget frekvens for opdatering af data, i nogle tilfælde tæt på realtid.

Vi mestrer hele spektret fra design af arkitektur, sizing af infrastruktur, cloud, hybrid eller on-premise, integrationer og datamodellering. Vi arbejder med Microsofts ETL-værktøj, Integration Services og Microsofts Master Data værktøj MDS, som begge er en integreret del af Microsofts SQL Server.

Om din løsning skal køre som en intern løsning, en cloud løsning eller en hybrid derimellem kan vi også hjælpe jer med at beslutte.

Som den eneste danske partner har vi endvidere et partnerskab med Theobald Software, som gør os i stand til at bygge et Microsoft Data Warehouse baseret på data hentet direkte i SAP.

Læs mere om Theobald Software her.

Vores Data Warehouse-arkitektur følger vores Kapacity Best Practice metode – en metode udbygget og tilpasset til nye versioner af SQL over de sidste 10 år, som sikrer konsistens og hurtig Time to Market for kundernes løsninger.

Gratis e-bog

Få inspiration til din rejse mod en datadrevet organisation i vores gratis e-bog

Måske er du vokset ud af din nuværende dataplatform, eller måske er den forældet og ikke fleksibel nok til dine behov. Selvom drivkraften bag transformationen af både store og mellemstore virksomheders dataplatform er den samme, betyder det ikke, at de kan bruge den samme løsning.

I denne e-bog vil vi gennemgå, hvordan man kommer rundt om alle aspekter, der påvirker valget af en moderne dataplatform og effekten af den digitale datatransformation, den skal hjælpe med at drive.

Få ekspertvejledning til hvordan du undgår de mest almindelige fejl og lykkes med din dataplatform.

Hent e-bogen her

Master Data Management er en naturlig del af et Business Analytics projekt hos Kapacity

Master data management i en Business Intelligece-kontekst vedrører de datadimensioner, hvor der kan være et ønske om at lave andre grupperinger eller hierarkier end dem, som kildesystemerne har. Det kan også være, hvor kildesystemerne har forskellige strukturer for de samme dimensionsdata, og der dermed er et behov for at mappe til en fælles rapporteringsstruktur. I Data Warehouse-designet håndteres også behovet for at gemme historik på de enkelte masterdata-værdier og historik på de hierakier, som er lagt ned over masterdata.

En Master Data Management-løsning i Business Intelligence-sammenhæng skal også kunne bruges til at liste manglende og fejlagtige attributter på nyoprettede masterdata, som hentes fra kildesystemerne, således at en masterdata-ansvarlig for f.eks. oprettelse af kunder eller produkter får en notifikation om manglende værdier. Derefter kan disse så oprettes på korrekt vis i kildesystemet og indgå i Data Warehouset efter næste ETL kørsel.

Endelig kan en Master Data Management-løsning bruges til at styre mål på KPI’er i et Performance Management-setup, således at brugere kan justere disse mål periodisk, uden at logikken i Data Warehouset eller rapporterne skal ændres.

Kapacity anbefaler Microsoft SQL Server Master Data Services, MDS, som er en del af Microsoft SQL Enterprise.

SQL Server Master Data Services (MDS) indeholder følgende funktionalitet:

  • Fuldt integreret best practice import/eksport-procedure som en del af ETL-processen.

  • Design guidelines for avanceret modellering.

  • MDS er SQL Serverens løsning til at håndtere Master Data Management for at berige kildesystemsdata eller Data Warehouset med masterdata.

  • Avanceret brugersikkerheds-integration til brug for opdateringer.

  • Funktionalitet til automatisk deployment.

  • Add-in til Excel/eller web application til brug for slutbrugerens opdatering af masterdata-attributter.

For virksomheder med mange kildesystmer til de forskellige Master Data-objekter, og med et komplekst system-integrations landskab, der gør det svært at overskue sammenhænge og kvalitet for Master Data, er alternativet til MDS CluedIn. CluedIn er en dataintegrationsplatform, der er bygget til at strømline og automatisere rensning, integration og forberedelse af Master Data samt at understøtte organisationen i sine arbejdsprocesser for Data Mangement, Data Governance og Data Compliance.

Fremtidens Data Warehouse er her nu

Fremtidens Business Analytics-behov kræver, at vi udvider den traditionelle Data Warehouse-arkitektur, så vi kan rumme både den rapportering og de analyser, vi kender i dag og fremtidens data og analysebehov.

  • Eksterne data skal indgå sammen med virksomhedens interne datakilder.
  • Nye datakilder kan være uden skema, data kan altså være struktureret, semistruktureret eller ustruktureret.
  • Virksomheder indsamler nye typer af data fra deres produkter, butikker eller fra udstyr, de vedligeholder. Datamængderne kan være så store, at vi taler om ”big data” eller de skal leveres og analyseres i realtid for at give mening.
  • Virksomheder har brug for indsigt fra Advanced Analytics, også her i nogle tilfælde i realtid.
  • Eksplorative teknologier som Machine Learning bruges til at finde ny indsigt.
  • Generelt vokser datamængderne, og vi skal designe arkitekturen efter det.

Bimodal Data Warehouse

I Gartners terminologi taler vi om bimodal som en forudsætning for at kunne lave digital transformation. Vores Data Warehouse skal kunne rumme både det stabile og velbeskrevne (Mode 1) og det fleksible og eksperimenterende, som er målrettet mod de informationer, vi ikke kender (Mode 2), og arkitekturen skal give mulighed for en proces, hvor det eksplorative mode 2 fund kan bruges i det klassiske mode 1 Data Warehouse.

Automatisering (BIML)

Vi udvikler med forventning om ændringer

Når virksomheder i dag går i gang med deres første Business Analytics-projekt eller gør klar til deres generation 2.0 løsning, så er der en faktor, som alle skal arbejde med:

Deres kildesystemer kommer til at ændre sig, de skal opgraderes eller udskiftes, og formodentlig vil der komme flere datakilder til undervejs også. Dette betyder, at vi skal bygge Data Warehouset ud fra et princip, hvor metadata kan definere vores integrationer, navngivning og i nogle tilfælde også vores logik, således at vi kan udskifte et kildesystem og kun med få rettelse opnå samme datamæssige sammenhænge i vores analyser som før udskiftningen.

I Kapacity anvender vi en best practice metode, når vi bygger jeres Data Warehouse-løsning, som tager højde for dette.

Som en del af vores metode bruger vi BIML (Business Intelligence Markup Language), som er et definitionssprog, som kan bruge til at definere og automatisere de jobs, en udvikler traditionelt udfører manuelt.

Fordelene ved BIML er mange:

  • Meget hurtigere udvikling af integrationer og logik.
  • Sikring af faste standarder på tværs af flere udviklere og flere projektfaser.
  • Færre manuelle fejl og meget lettere vedligeholdelse også i forbindelse med udskiftning af kildesystemer.
  • Hurtigere tilføjelse af nye data, både tabeller og kolonner.
  • BIML genererer præcist den samme kode som manuel udvikling, så skulle man på et senere tidspunkt vælge at gå bort fra Kapacitys best practice metode eller BIML som definitionssprog, kan koden modificeres direkte.

Tjekliste: Aktiviteter, du skal have med før, under og efter dit Cloud Data Warehouse projekt

Den primære forretningsmæssige driver for at flytte et helt eller delvist etableret Data Warehouse til en Cloud Dataplatform er ofte ønsket om en mere agil tilgang til fremtidige ændringer samt udvidelse af løsningen både på data- og brugersiden.

Vi har lavet en tjekliste, som omhandler de aktiviteter, man bør forberede, før den egentlige udvikling af et Cloud Data Warehouse begyndes. Den omhandler beslutninger om processer, roller og ansvar, som vi af erfaring ved har stor effekt på projektets succes.

Du kan se listen i overskriftsform herunder, og hvis du vil gå mere i dybden, kan du læse et helt blogindlæg om emnet her.

  • Etablering af model for indsamling af forretningskrav og involvering af forretningen under projektet.

  • Etablering af target arkitektur

  • Etablering af projektgovernance

  • Etablering af designmetode og sikkerhedskoncept

  • Etablering af dashboard designskabelon baseret på best practice visualiseringsteori
  • Samle alle aktiviteter i et roadmap
  • Etablering af detaljeret design
  • Etablering af DevOps setup

  • Udvikling

  • Test

  • Produktionssætning og go live support
  • Dokumentation
  • Projektledelse
  • Vidensdeling og cloud kompetenceopbygning

  • Etablering af monitorering af løsning
  • Træning af brugerne
  • Etablering af supportprocesser inklusiv roller
  • Planlægning af forankringsaktiviteter og træning for nye medarbejdere
  • Etablering af governance for kontinuert udvikling af løsningen
  • Etablering af roller og kompetencer til håndtering af produktionssetup

Case: Krifa når nye datahøjder med moderne Data Warehouse

Få inspiration til dit Data Warehouse: Med et moderne Data Warehouse baseret på nyeste teknologi kan Krifa nu træffe endnu bedre beslutninger på baggrund af en fælles datavirkelighed. Det nye Data Warehouse skaber et fælles datagrundlag, hvor sandheden samles ét sted. Det vil bl.a. sige, at forskellige begreber lægges fast og anvendes ens på tværs af organisationen. Det fælles datagrundlag skal være med til at skabe indsigt og nysgerrighed til gavn for medarbejdere, medlemmer og samfundet. Dermed lettes presset på Krifas BI-team på samme tid. På sigt er det meningen, at værdiskabelsen skal realiseres direkte af Krifas egne folk.

Læs hele casen her

Blogindlæg, du måske vil finde spændende

Master Data Management: Golden Record

16. juni 2021|

Dette er andet blogindlæg i en serie, hvor vi går i dybden med typiske problemstillinger inden for Master Data Management, og hvordan du kan løse dem. I denne blog dykker vi ned i, hvad en Golden Record er, [...]

Go to Top