Sikrer jeres Data Warehouse et stabilt BI-fundament?

Data Warehouse – overblik, struktur og validitet

Et centralt Data Warehouse er hjørnestenen i vores Business Analytics-løsninger. Ved at bygge et robust Data Warehouse sikrer vi konsistente data og mulighed for meningsfulde sammenligninger.

Vi er vilde med at bygge Data Warehouses

I dag er kravene til det robuste Data Warehouse mange. Antallet af datakilder stiger for de fleste virksomheder, og ønskerne omkring funktionalitet dækker mange aspekter: Historik på stamdata og transaktioner, data- og brugerdrevet sikkerhed, Master Data-mapning og -berigelse, håndtering af processer for forbedring af datakvalitet og en øget frekvens for opdatering af data, i nogle tilfælde tæt på realtid.

Vi mestrer hele spektret fra design af arkitektur, sizing af infrastruktur, cloud, hybrid eller on-premise, integrationer og datamodellering.

Om din løsning skal køre som en intern løsning, en cloud løsning eller en hybrid derimellem kan vi også hjælpe jer med at beslutte.

Vores Data Warehouse-arkitektur følger vores twoday kapacity Best Practice metode – en metode udbygget og tilpasset til nye versioner af SQL over de sidste 10 år, som sikrer konsistens og hurtig Time to Market for kundernes løsninger.

Få inspiration til din rejse mod en datadrevet organisation i vores gratis e-bog

Måske er du vokset ud af din nuværende dataplatform, eller måske er den forældet og ikke fleksibel nok til dine behov. Selvom drivkraften bag transformationen af både store og mellemstore virksomheders dataplatform er den samme, betyder det ikke, at de kan bruge den samme løsning.

I denne e-bog vil vi gennemgå, hvordan man kommer rundt om alle aspekter, der påvirker valget af en moderne dataplatform og effekten af den digitale datatransformation, den skal hjælpe med at drive.

Få ekspertvejledning til hvordan du undgår de mest almindelige fejl og lykkes med din dataplatform.

Hent e-bogen her

twoday-ebook-ipad-vertical-mockup-thank-you-page-cloudbaseret-dataplatform

Master Data Management er en naturlig del af et Business Analytics-projekt hos twoday kapacity

Master data management i en Business Intelligece-kontekst vedrører de datadimensioner, hvor der kan være et ønske om at lave andre grupperinger eller hierarkier end dem, som kildesystemerne har. Det kan også være, hvor kildesystemerne har forskellige strukturer for de samme dimensionsdata, og der dermed er et behov for at mappe til en fælles rapporteringsstruktur. I Data Warehouse-designet håndteres også behovet for at gemme historik på de enkelte masterdata-værdier og historik på de hierakier, som er lagt ned over masterdata.

En Master Data Management-løsning i Business Intelligence-sammenhæng skal også kunne bruges til at liste manglende og fejlagtige attributter på nyoprettede masterdata, som hentes fra kildesystemerne, således at en masterdata-ansvarlig for f.eks. oprettelse af kunder eller produkter får en notifikation om manglende værdier. Derefter kan disse så oprettes på korrekt vis i kildesystemet og indgå i Data Warehouset efter næste ETL kørsel.

Endelig kan en Master Data Management-løsning bruges til at styre mål på KPI’er i et Performance Management-setup, således at brugere kan justere disse mål periodisk, uden at logikken i Data Warehouset eller rapporterne skal ændres.

twoday kapacity anbefaler Microsoft SQL Server Master Data Services, MDS, som er en del af Microsoft SQL Enterprise.

SQL Server Master Data Services (MDS) indeholder følgende funktionalitet:

Fuldt integreret best practice import/eksport-procedure som en del af ETL-processen.

Avanceret brugersikkerheds-integration til brug for opdateringer.

Design guidelines for avanceret modellering.

Funktionalitet til automatisk deployment.

MDS er SQL Serverens løsning til at håndtere Master Data Management for at berige kildesystemsdata eller Data Warehouset med masterdata.

Add-in til Excel/eller web application til brug for slutbrugerens opdatering af masterdata-attributter.

Fremtidens Data Warehouse er her nu

Fremtidens Business Analytics-behov kræver, at vi udvider den traditionelle Data Warehouse-arkitektur, så vi kan rumme både den rapportering og de analyser, vi kender i dag og fremtidens data og analysebehov.

Eksterne data skal indgå sammen med virksomhedens interne datakilder.
Nye datakilder kan være uden skema, data kan altså være struktureret, semistruktureret eller ustruktureret.
Virksomheder indsamler nye typer af data fra deres produkter, butikker eller fra udstyr, de vedligeholder. Datamængderne kan være så store, at vi taler om ”big data” eller de skal leveres og analyseres i realtid for at give mening.
Virksomheder har brug for indsigt fra Advanced Analytics, også her i nogle tilfælde i realtid.
Eksplorative teknologier som Machine Learning bruges til at finde ny indsigt.
Generelt vokser datamængderne, og vi skal designe arkitekturen efter det.

Bimodal Data Warehouse

I Gartners terminologi taler vi om bimodal som en forudsætning for at kunne lave digital transformation. Vores Data Warehouse skal kunne rumme både det stabile og velbeskrevne (Mode 1) og det fleksible og eksperimenterende, som er målrettet mod de informationer, vi ikke kender (Mode 2), og arkitekturen skal give mulighed for en proces, hvor det eksplorative mode 2 fund kan bruges i det klassiske mode 1 Data Warehouse.

Automatisering (BIML)

Vi udvikler med forventning om ændringer

Når virksomheder i dag går i gang med deres første Business Analytics-projekt eller gør klar til deres generation 2.0 løsning, så er der en faktor, som alle skal arbejde med:

Deres kildesystemer kommer til at ændre sig, de skal opgraderes eller udskiftes, og formodentlig vil der komme flere datakilder til undervejs også. Dette betyder, at vi skal bygge Data Warehouset ud fra et princip, hvor metadata kan definere vores integrationer, navngivning og i nogle tilfælde også vores logik, således at vi kan udskifte et kildesystem og kun med få rettelse opnå samme datamæssige sammenhænge i vores analyser som før udskiftningen.

I twoday kapacity anvender vi en best practice metode, når vi bygger jeres Data Warehouse-løsning, som tager højde for dette.

Som en del af vores metode bruger vi BIML (Business Intelligence Markup Language), som er et definitionssprog, som kan bruge til at definere og automatisere de jobs, en udvikler traditionelt udfører manuelt.

Fordelene ved BIML er mange:

Meget hurtigere udvikling af integrationer og logik.

Hurtigere tilføjelse af nye data, både tabeller og kolonner.

Sikring af faste standarder på tværs af flere udviklere og flere projektfaser.

Færre manuelle fejl og meget lettere vedligeholdelse også i forbindelse med udskiftning af kildesystemer.

BIML genererer præcist den samme kode som manuel udvikling, så skulle man på et senere tidspunkt vælge at gå bort fra Kapacitys best practice metode eller BIML som definitionssprog, kan koden modificeres direkte.

Tjekliste: Aktiviteter, du skal have med før, under og efter dit Cloud Data Warehouse projekt

Den primære forretningsmæssige driver for at flytte et helt eller delvist etableret Data Warehouse til en Cloud Dataplatform er ofte ønsket om en mere agil tilgang til fremtidige ændringer samt udvidelse af løsningen både på data- og brugersiden.

Vi har lavet en tjekliste, som omhandler de aktiviteter, man bør forberede, før den egentlige udvikling af et Cloud Data Warehouse begyndes. Den omhandler beslutninger om processer, roller og ansvar, som vi af erfaring ved har stor effekt på projektets succes.

Du kan se listen i overskriftsform her, og hvis du vil gå mere i dybden, kan du læse et helt blogindlæg om emnet her.

Før projektet

Etablering af model for indsamling af forretningskrav og involvering af forretningen under projektet.
Etablering af target arkitektur
Etablering af projektgovernance
Etablering af designmetode og sikkerhedskoncept
Etablering af dashboard designskabelon baseret på best practice visualiseringsteori
Samle alle aktiviteter i et roadmap

Under projektet

Etablering af detaljeret design
Etablering af DevOps setup
Udvikling
Test
Produktionssætning og go live support
Dokumentation
Projektledelse
Vidensdeling og cloud kompetenceopbygning
Etablering af monitorering af løsning

Efter projektet

Træning af brugerne
Etablering af supportprocesser inklusiv roller
Planlægning af forankringsaktiviteter og træning for nye medarbejdere
Etablering af governance for kontinuert udvikling af løsningen
Etablering af roller og kompetencer til håndtering af produktionssetup

Case: Krifa når nye datahøjder med moderne Data Warehouse

Få inspiration til dit Data Warehouse: Med et moderne Data Warehouse baseret på nyeste teknologi kan Krifa nu træffe endnu bedre beslutninger på baggrund af en fælles datavirkelighed. Det nye Data Warehouse skaber et fælles datagrundlag, hvor sandheden samles ét sted. Det vil bl.a. sige, at forskellige begreber lægges fast og anvendes ens på tværs af organisationen. Det fælles datagrundlag skal være med til at skabe indsigt og nysgerrighed til gavn for medarbejdere, medlemmer og samfundet. Dermed lettes presset på Krifas BI-team på samme tid. På sigt er det meningen, at værdiskabelsen skal realiseres direkte af Krifas egne folk.

Læs hele casen

Tre hurtige om data warehouse

Hvad er et data warehouse?

Et data warehouse er en samling af forretningsdata fra forskellige kilder, der er organiseret og optimeret til rapportering, analyse og beslutningstagning. Et data warehouse centraliserer og konsoliderer dermed store mængder data, som virksomheden kan trække værdifulde forretningsindsigter fra og dermed forbedre beslutningstagningen. Over tid opbygges et historisk datalager, som kan være undværlig for bl.a. Data Scientists og Business Analysts. Et data warehouse betragtes ofte som en organisations ”single source of truth”.

Hvad er forskellene mellem en database og et data warehouse?

Et data warehouse og en database er begge systemer, som lagrer data – men de tjener vidt forskellige formål. En af de primære forskelle på en database og et data warehouse er, at en database bruger Online Transactional Processing (OLTP) til at slette, indsætte, erstatte og opdatere et stort antal onlinetransaktioner. Denne type behandling reagerer øjeblikkeligt på brugeranmodninger og bruges derfor til at behandle en virksomheds daglige drift i realtid.

Et data warehouse bruger Online Analytical Processing (OLAP) til hurtigt at analysere store mængder af data. Din database registrerer f.eks. salgsdata for hvert minut, men hvis du ønsker at se det samlede beløb for hver dag, skal du indsamle og summere salgsdataene hver dag, som er en langsommelig proces. OLAP er specielt designet til at gøre dette meget hurtigere end OLTP.

Hvad er forskellene mellem big data og data warehouse (big data vs. data warehouse)

Både data warehouse og big data bruges som primære kilder til Business Intelligence – f.eks. når det kommer til opbygning af rapporter og analyser, der bidrager til effektiv datadreven beslutningstagning. De har dog to forskellige funktioner.

Big data referer i bund og grund til opbevaring, analyse, processering og fortolkning af enorme mængder af data. De store mængder af data kan både være struktureret, semi-struktureret eller ikke-struktureret, hvorimod et data warehouse kun tillader behandlede data, da data warehouset skal opretholde pålideligheden og konsistensen af dataene.

Vil du i gang? Det vil vi også

Gør som en lang række af landets mest ambitiøse virksomheder:
Udfyld formularen eller tag fat i Søren – så kan vi tage en god snak om jeres udfordringer og drømme.

Søren Toft Joensen

Partner & CCO
stj@kapacity.dk
26 30 90 01