Azure Databricks: End-to-end webbaseret analyseplatform
Azure Databricks gør det nemt at analysere selv meget store datamængder ved hjælp af den enorme regnekraft, der findes i cloud-miljøet.
Azure Databricks funktioner
Databricks er grundlæggende skabt med henblik på, at det skal være nemt at arbejde med. Løsningen indeholder derfor en hel del brugervenlige funktioner:
Direkte visualiseringer i Notebook’en
Et internt dashboard forbundet til din Notebook
Integration med Github og Bitbucket
Direkte schedulering af den enkelte Notebook
Egen Notebook, der fungerer som Databricks’ egen IDE (Interactive Development Environment)
Mulighed for at skifte frit mellem sprogene R, Python, SQL og Scala – selv i samme Notebook
Eksempler på brug af Databricks
Udover den generelle fordel ved at have et nemt overblik over sine pipelines og cluster computing-fordelen. når man behandler meget store datamængder, kan vi her se på to eksempler, hvor det specielt giver mening:
Opgaver, der inkluderer brug af Machine Learning eller Deep Learning
Udover at have en nem og overskuelig integration til alle de store Machine Learning-biblioteker samt nødvendigheder, der kommer før og efter Machine Learning-udvikling, så har Databricks den fordel, at de meget store udregninger eller datamængder, der er ofte hører med Machine Learning og Deep Learning nemt kan blive orkestreret på din automatisk startede cluster.
Opgaver, der inkluderer brug af real time streaming data så som IoT-data fra maskiner
Her kan man nemlig udnytte Databricks Apache Spark-fundamentet, mere specifikt udvidelsen til Apache Sparks core API: Spark Streaming, som er er sat op til at arbejde med ofte brugte datakilder så som Kafka, HDFS og Twitter. Spark Streaming er desuden fuldt integreret i løsningen og meget nemt at opsætte og bruge.
Med open source menes software, hvor kildekoden er frit tilgængelig til brug og bidrag. I dette tilfælde drejer det sig om Scala, som Apache Spark er bygget på.
Med distributed cluster computing menes, at de programmer, man eksekverer, bliver behandlet (distribueret) på en gruppe af computere (et cluster).
Man kan sige, at man bryder et større problem ned i mindre problemer, og lader hver enkelt node (computer) i sit cluster samtidigt håndtere en mindre bid af opgaven. Derfor når man meget hurtigere frem til resultatet.
Denne fordeling (mapping) af opgaverne til de ledige noder samt sammenlægning af de individuelle resultater (reducing) sker automatisk og giver i de fleste tilfælde meget store fordele tidsmæssigt, når man arbejder med meget store datamængder.
Vil du i gang? Det vil vi også
Gør som en lang række af landets mest ambitiøse virksomheder:
Udfyld formularen eller tag fat i Søren – så kan vi tage en god snak om jeres udfordringer og drømme.
