Schematriggers maken - Azure Data Factory en Azure Synapse (2023)

  • Artikel

GELDT VOOR: Schematriggers maken - Azure Data Factory en Azure Synapse (1)Azure-gegevensfabriekSchematriggers maken - Azure Data Factory en Azure Synapse (2)Azure Synapse-analyse

Dit artikel bevat informatie over de planningstrigger en de stappen voor het maken, starten en bewaken van een planningstrigger. Zie voor andere soorten triggersPijplijnuitvoering en triggers.

Wanneer u een planningstrigger maakt, geeft u een planning op (startdatum, herhaling, einddatum enz.) voor de trigger en koppelt u deze aan een pijplijn. Pijplijnen en triggers hebben een veel-op-veel-relatie. Meerdere triggers kunnen een enkele pijplijn starten. Een enkele trigger kan meerdere pijplijnen starten.

In de volgende secties vindt u stappen om op verschillende manieren een planningstrigger te maken.

Azure Data Factory en Synapse-portalervaring

U kunt eenschema triggerom te plannen dat een pijplijn periodiek wordt uitgevoerd (elk uur, dagelijks, enz.).

Opmerking

ZieQuickstart: maak een data factory met behulp van Data Factory UI.

  1. Schakel over naar deBewerkingtabblad in Data Factory of het tabblad Integreren in Azure Synapse.

    • Azure-gegevensfabriek
    • Azure Synaps

    Schematriggers maken - Azure Data Factory en Azure Synapse (3)

  1. SelecteerTrekkerin het menu en selecteer vervolgensNieuw/Bewerken.

    Schematriggers maken - Azure Data Factory en Azure Synapse (4)

  2. Op deTriggers toevoegenpagina, selecteerKies trekker...en selecteer vervolgens+Nieuw.

    Schematriggers maken - Azure Data Factory en Azure Synapse (5)

  3. Op deNieuwe trekkerpagina, voert u de volgende stappen uit:

    1. Bevestig datSchemavoor wordt geselecteerdType.

    2. Geef de begindatum/tijd van de trigger op voorBegin datum. Het is standaard ingesteld op de huidige datetime in Coordinated Universal Time (UTC).

    3. Geef de tijdzone op waarin de trigger wordt gemaakt. De tijdzone-instelling is van toepassingBegin datum,Einddatum, EnPlan uitvoeringstijdenin Geavanceerde herhalingsopties. Als u de instelling voor de tijdzone wijzigt, wordt uw startdatum niet automatisch gewijzigd. Zorg ervoor dat de startdatum correct is in de opgegeven tijdzone. Houd er rekening mee dat de geplande uitvoeringstijd van de trigger wordt beschouwd als na de startdatum (zorg ervoor dat de startdatum ten minste 1 minuut korter is dan de uitvoeringstijd, anders wordt de pijplijn geactiveerd bij de volgende herhaling).

      Opmerking

      Voor tijdzones die zomertijd in acht nemen, wordt de activeringstijd automatisch aangepast voor de verandering van twee keer per jaar, als de herhaling is ingesteld opDagenof daarboven. Als u zich wilt afmelden voor de wijziging van de zomertijd, selecteert u een tijdzone die geen zomertijd in acht neemt, bijvoorbeeld UTC

      Belangrijk

      Zomertijdaanpassing gebeurt alleen voor trigger met herhaling ingesteld opDagenof daarboven. Als de trigger is ingesteld opUurofMinutenfrequentie, zal het met regelmatige tussenpozen blijven vuren.

    4. SpecificeerHerhalingvoor de trekker. Selecteer een van de waarden in de vervolgkeuzelijst (Elke minuut, Per uur, Dagelijks, Wekelijks en Maandelijks). Voer de vermenigvuldiger in het tekstvak in. Als u bijvoorbeeld wilt dat de trigger eenmaal per 15 minuten wordt uitgevoerd, selecteert uElke minuuten voer in15in het tekstvak.

    5. In deHerhaling, als u "Dag(en), Week(en) of Maand(en)" kiest in de vervolgkeuzelijst, kunt u "Geavanceerde herhalingsopties" vinden.Schematriggers maken - Azure Data Factory en Azure Synapse (6)

    6. Om een ​​einddatum tijd op te geven, selecteert uGeef een einddatum op, en specificeerEindigt open selecteer vervolgensOK. Aan elke uitvoering van de pijplijn zijn kosten verbonden. Als u aan het testen bent, wilt u er misschien voor zorgen dat de pijplijn slechts een paar keer wordt geactiveerd. Zorg er echter voor dat er voldoende tijd is om de pijplijn uit te voeren tussen de publicatietijd en de eindtijd. De trigger wordt pas van kracht nadat u de oplossing hebt gepubliceerd, niet wanneer u de trigger opslaat in de gebruikersinterface.

      Schematriggers maken - Azure Data Factory en Azure Synapse (7)

      Schematriggers maken - Azure Data Factory en Azure Synapse (8)

  4. In deNieuwe trekkervenster, selecteerJain deGeactiveerdoptie en selecteer vervolgensOK. U kunt dit selectievakje gebruiken om de trigger later te deactiveren.

    Schematriggers maken - Azure Data Factory en Azure Synapse (9)

  5. In deNieuwe trekkervenster, bekijk het waarschuwingsbericht en selecteer vervolgensOK.

    Schematriggers maken - Azure Data Factory en Azure Synapse (10)

  6. SelecteerPubliceer allesom de wijzigingen te publiceren. Totdat u de wijzigingen publiceert, begint de trigger niet met het activeren van de pijplijnuitvoeringen.

    Schematriggers maken - Azure Data Factory en Azure Synapse (11)

  7. Schakel over naar dePijpleiding loopttabblad aan de linkerkant en selecteer vervolgensVernieuwenom de lijst te vernieuwen. U ziet de pijplijnuitvoeringen die worden geactiveerd door de geplande trigger. Let op de waarden in deVeroorzaakt doorkolom. Als je deActiveer nuoptie, ziet u de handmatige triggerrun in de lijst.

    • Azure-gegevensfabriek
    • Azure Synaps

    Schematriggers maken - Azure Data Factory en Azure Synapse (12)

  1. Schakel over naar deTrigger loopt\Schemaweergave.

    • Azure-gegevensfabriek
    • Azure Synaps

    Schematriggers maken - Azure Data Factory en Azure Synapse (13)

Azure PowerShell

Opmerking

We raden u aan de Azure Az PowerShell-module te gebruiken voor interactie met Azure. ZienInstalleer Azure PowerShellstarten. Zie voor meer informatie over het migreren naar de Az PowerShell-moduleMigreer Azure PowerShell van AzureRM naar Az.

In deze sectie ziet u hoe u Azure PowerShell gebruikt om een ​​planningstrigger te maken, starten en bewaken. Om dit voorbeeld werkend te zien, gaat u eerst door deQuickstart: maak een data factory met behulp van Azure PowerShell. Voeg vervolgens de volgende code toe aan de methode main, die een planningstrigger maakt en start die elke 15 minuten wordt uitgevoerd. De trigger is gekoppeld aan een pijplijn met de naamAdfv2QuickStartPipelinedie u maakt als onderdeel van de Quickstart.

Vereisten

  • Azure-abonnement. Als u geen Azure-abonnement hebt,Maak een gratis accountvoordat je begint.

  • Azure PowerShell. Volg de instructies inInstalleer Azure PowerShell op Windows met PowerShellGet.

Voorbeeldcode

  1. Maak een JSON-bestand met de naamMyTrigger.jsonin de map C:\ADFv2QuickStartPSH\ met de volgende inhoud:

    Belangrijk

    Voordat u het JSON-bestand opslaat, stelt u de waarde in van destarttijdelement naar de huidige UTC-tijd. Stel de waarde van deeindtijdelement tot een uur na de huidige UTC-tijd.

    { "properties": { "name": "MyTrigger", "type": "ScheduleTrigger", "typeProperties": { "recurrence": { "frequency": "Minute", "interval": 15, "startTime": "2017-12-08T00:00:00Z", "endTime": "2017-12-08T01:00:00Z", "timeZone": "UTC" } }, "pipelines": [{ "pipelineReference": { " type": "PipelineReference", "referenceName": "Adfv2QuickStartPipeline" }, "parameters": { "inputPath": "adftutorial/input", "outputPath": "adftutorial/output" } } ] }}

    In het JSON-fragment:

    • Detypeelement van de trigger is ingesteld op "ScheduleTrigger".

    • Defrequentieelement is ingesteld op "Minuut" en deintervalelement is ingesteld op 15. Als zodanig voert de trigger de pijplijn elke 15 minuten uit tussen de begin- en eindtijd.

    • Detijdzoneelement specificeert de tijdzone waarin de trigger wordt gemaakt. Deze instelling is van invloed op beidestarttijdEneindtijd.

    • Deeindtijdelement is een uur na de waarde van destarttijdelement. Als zodanig voert de trigger de pijplijn 15 minuten, 30 minuten en 45 minuten na de starttijd uit. Vergeet niet de starttijd bij te werken naar de huidige UTC-tijd en de eindtijd naar een uur na de starttijd.

      Belangrijk

      Voor de UTC-tijdzone moeten de startTime en endTime de notatie 'jjjj-MM-ddTHH:mm:ss' volgenZ', terwijl voor andere tijdzones startTime en endTime volgen op 'jjjj-MM-ddTHH:mm:ss'.

      Volgens de ISO 8601-norm, deZachtervoegsel voor tijdstempel markeer de datum/tijd in de UTC-tijdzone en maak het veld tijdZone onbruikbaar. Terwijl vermistZachtervoegsel voor UTC-tijdzone resulteert in een fout bij activeringactivering.

    • De trigger is gekoppeld aan deAdfv2QuickStartPipelinepijpleiding. Als u meerdere pijplijnen aan een trigger wilt koppelen, voegt u er meer toepijplijnReferentiesecties.

    • De pijplijn in de Snelstartgids duurt tweeparameterswaarden:invoerPathEnoutputPath. En u geeft waarden voor deze parameters door vanuit de trigger.

  2. Creëer een trigger met behulp van deSet-AzDataFactoryV2Triggercmdlet:

    Set-AzDataFactoryV2Trigger -ResourceGroupName $ResourceGroupName -DataFactoryName $DataFactoryName -Name "MyTrigger" -DefinitionFile "C:\ADFv2QuickStartPSH\MyTrigger.json"
  3. Bevestig dat de status van de trigger isGestoptdoor gebruik te maken van deGet-AzDataFactoryV2Triggercmdlet:

    Get-AzDataFactoryV2Trigger -ResourceGroupName $ResourceGroupName -DataFactoryName $DataFactoryName -Name "MyTrigger"
  4. Start de trigger met behulp van deStart-AzDataFactoryV2Triggercmdlet:

    Start-AzDataFactoryV2Trigger -ResourceGroupName $ResourceGroupName -DataFactoryName $DataFactoryName -Name "MyTrigger"
  5. Bevestig dat de status van de trigger isBegonnendoor gebruik te maken van deGet-AzDataFactoryV2Triggercmdlet:

    Get-AzDataFactoryV2Trigger -ResourceGroupName $ResourceGroupName -DataFactoryName $DataFactoryName -Name "MyTrigger"
  6. Download de trigger-uitvoeringen in Azure PowerShell met behulp van deGet-AzDataFactoryV2TriggerRuncmdlet. Voer regelmatig de volgende opdracht uit om de informatie over de triggerruns te krijgen. Update deTriggerRunStartedAfterEnTriggerRunStartedBeforewaarden die overeenkomen met de waarden in uw triggerdefinitie:

    Get-AzDataFactoryV2TriggerRun -ResourceGroupName $ResourceGroupName -DataFactoryName $DataFactoryName -TriggerName "MyTrigger" -TriggerRunStartedAfter "2017-12-08T00:00:00" -TriggerRunStartedBefore "2017-12-08T01:00:00"

    Opmerking

    Triggertijd van Schedule-triggers wordt gespecificeerd in UTC-tijdstempel.TriggerRunStartedAfterEnTriggerRunStartedBeforeverwacht ook UTC-tijdstempel

    Zie voor het bewaken van de triggeruitvoeringen en pijplijnuitvoeringen in de Azure-portalBewaak pijplijnuitvoeringen.

Azure CLI

In deze sectie ziet u hoe u Azure CLI gebruikt om een ​​planningstrigger te maken, starten en bewaken. Om dit voorbeeld werkend te zien, gaat u eerst door deQuickstart: maak een Azure Data Factory met behulp van Azure CLI. Volg daarna de onderstaande stappen om een ​​schematrigger te maken en te starten die elke 15 minuten wordt uitgevoerd. De trigger is gekoppeld aan een pijplijn met de naamAdfv2QuickStartPipelinedie u maakt als onderdeel van de Quickstart.

Vereisten

  • Gebruik de Bash-omgeving inAzure Cloud Shell. Voor meer informatie, zieSnelstartgids voor Bash in Azure Cloud Shell.

    Schematriggers maken - Azure Data Factory en Azure Synapse (14)

  • Als u CLI-referentieopdrachten liever lokaal uitvoert,installerende Azure CLI. Als u op Windows of macOS werkt, kunt u overwegen Azure CLI in een Docker-container uit te voeren. Voor meer informatie, zieDe Azure CLI uitvoeren in een Docker-container.

    • Als u een lokale installatie gebruikt, meldt u zich aan bij de Azure CLI met behulp van deaz inloggencommando. Volg de stappen die in uw terminal worden weergegeven om het authenticatieproces te voltooien. Zie voor andere aanmeldingsoptiesMeld u aan met de Azure CLI.

    • Wanneer u hierom wordt gevraagd, installeert u de Azure CLI-extensie bij het eerste gebruik. Zie voor meer informatie over extensiesGebruik extensies met de Azure CLI.

    • Loopaz-versieom de geïnstalleerde versie en afhankelijke bibliotheken te vinden. Om naar de nieuwste versie te upgraden, voert u hetaz-upgrade.

Voorbeeldcode

  1. Maak in uw werkmap een JSON-bestand met de naamMyTrigger.jsonmet de eigenschappen van de trigger. Gebruik voor dit voorbeeld de volgende inhoud:

    Belangrijk

    Voordat u het JSON-bestand opslaat, stelt u de waarde in van destarttijdelement naar de huidige UTC-tijd. Stel de waarde van deeindtijdelement tot een uur na de huidige UTC-tijd.

    { "name": "MyTrigger", "type": "ScheduleTrigger", "typeProperties": { "recurrence": { "frequency": "Minute", "interval": 15, "startTime": "2017-12- 08T00:00:00Z", "endTime": "2017-12-08T01:00:00Z", "timeZone": "UTC" } }, "pipelines": [{ "pipelineReference": { "type": "PipelineReference ", "referenceName": "Adfv2QuickStartPipeline" }, "parameters": { "inputPath": "adftutorial/input", "outputPath": "adftutorial/output" } } ]}

    In het JSON-fragment:

    • Detypeelement van de trigger is ingesteld op "ScheduleTrigger".

    • Defrequentieelement is ingesteld op "Minuut" en deintervalelement is ingesteld op 15. Als zodanig voert de trigger de pijplijn elke 15 minuten uit tussen de begin- en eindtijd.

    • Detijdzoneelement specificeert de tijdzone waarin de trigger wordt gemaakt. Deze instelling is van invloed op beidestarttijdEneindtijd.

    • Deeindtijdelement is een uur na de waarde van destarttijdelement. Als zodanig voert de trigger de pijplijn 15 minuten, 30 minuten en 45 minuten na de starttijd uit. Vergeet niet de starttijd bij te werken naar de huidige UTC-tijd en de eindtijd naar een uur na de starttijd.

      Belangrijk

      Voor de UTC-tijdzone moeten de startTime en endTime de notatie 'jjjj-MM-ddTHH:mm:ss' volgenZ', terwijl voor andere tijdzones startTime en endTime volgen op 'jjjj-MM-ddTHH:mm:ss'.

      Volgens de ISO 8601-norm, deZachtervoegsel voor tijdstempel markeer de datum/tijd in de UTC-tijdzone en maak het veld tijdZone onbruikbaar. Terwijl vermistZachtervoegsel voor UTC-tijdzone resulteert in een fout bij activeringactivering.

    • De trigger is gekoppeld aan deAdfv2QuickStartPipelinepijpleiding. Als u meerdere pijplijnen aan een trigger wilt koppelen, voegt u er meer toepijplijnReferentiesecties.

    • De pijplijn in de Snelstartgids duurt tweeparameterswaarden:invoerPathEnoutputPath. En u geeft waarden voor deze parameters door vanuit de trigger.

  2. Creëer een trigger met behulp van deaz datafactory-trigger makencommando:

    az datafactory trigger create --resource-group "ADFQuickStartRG" --factory-name "ADFTutorialFactory" --name "MyTrigger" --properties @MyTrigger.json
  3. Bevestig dat de status van de trigger isGestoptdoor gebruik te maken van deaz datafactory-triggershowcommando:

    az datafactory trigger show --resource-group "ADFQuickStartRG" --factory-name "ADFTutorialFactory" --name "MyTrigger"
  4. Start de trigger met behulp van deaz datafactory-trigger startencommando:

    az datafactory trigger start --resource-group "ADFQuickStartRG" --factory-name "ADFTutorialFactory" --name "MyTrigger"
  5. Bevestig dat de status van de trigger isBegonnendoor gebruik te maken van deaz datafactory-triggershowcommando:

    az datafactory trigger show --resource-group "ADFQuickStartRG" --factory-name "ADFTutorialFactory" --name "MyTrigger"
  6. Download de trigger-uitvoeringen in Azure CLI met behulp van deaz datafactory trigger-run query-by-factorycommando. Voer regelmatig de volgende opdracht uit om informatie over de triggerruns te krijgen. Update delaatst-bijgewerkt-naEnlaatst-bijgewerkt-voorwaarden die overeenkomen met de waarden in uw triggerdefinitie:

    az datafactory trigger-run query-by-factory --resource-group "ADFQuickStartRG" --factory-name "ADFTutorialFactory" --filters operand="TriggerName" operator="Equals" values="MyTrigger" --last-updated- na "2017-12-08T00:00:00" --laatst-bijgewerkt-voor "2017-12-08T01:00:00"

    Opmerking

    Triggertijd van Schedule-triggers wordt gespecificeerd in UTC-tijdstempel.laatst-bijgewerkt-naEnlaatst-bijgewerkt-voorverwacht ook UTC-tijdstempel

    Zie voor het bewaken van de triggeruitvoeringen en pijplijnuitvoeringen in de Azure-portalBewaak pijplijnuitvoeringen.

.NET-SDK

In deze sectie ziet u hoe u de .NET SDK gebruikt om een ​​trigger te maken, starten en bewaken. Om dit voorbeeld werkend te zien, gaat u eerst door deQuickstart: maak een data factory met behulp van de .NET SDK. Voeg vervolgens de volgende code toe aan de methode main, die een planningstrigger maakt en start die elke 15 minuten wordt uitgevoerd. De trigger is gekoppeld aan een pijplijn met de naamAdfv2QuickStartPipelinedie u maakt als onderdeel van de Quickstart.

Om een ​​planningstrigger te maken en te starten die elke 15 minuten wordt uitgevoerd, voegt u de volgende code toe aan de main-methode:

// Creëer de trigger Console.WriteLine("De trigger maken"); // Stel de starttijd in op de huidige UTC-tijd DateTime startTime = DateTime.UtcNow; // Specificeer waarden voor de parameters inputPath en outputPath Dictionary pipelineParameters = new Dictionary(); pipelineParameters.Add("inputPath", "adftutorial/input"); pipelineParameters.Add("outputPath", "adftutorial/output"); // Maak een schema-triggerstring triggerName = "MyTrigger"; ScheduleTrigger myTrigger = new ScheduleTrigger() { Pipelines = new List() { // Koppel de Adfv2QuickStartPipeline-pijplijn aan de trigger new TriggerPipelineReference() { PipelineReference = new PipelineReference(pipelineName), Parameters = pipelineParameters, } }, Recurrence = new ScheduleTriggerRecurrence() { // Stel de starttijd in op de huidige UTC-tijd en de eindtijd op één uur na de starttijd StartTime = startTime, TimeZone = "UTC", EndTime = startTime.AddHours(1), Frequency = RecurrenceFrequency.Minute , interval = 15, } }; // Maak nu de trigger door de CreateOrUpdate-methode TriggerResource triggerResource = new TriggerResource() { Properties = myTrigger }; client.Triggers.CreateOrUpdate(resourceGroup, dataFactoryName, triggerName, triggerResource); // Start de trigger Console.WriteLine("De trigger starten"); client.Triggers.Start(resourceGroup, dataFactoryName, triggerName);

Om triggers in een andere tijdzone dan UTC te maken, zijn de volgende instellingen vereist:

<>.SerializationSettings.DateFormatHandling = Newtonsoft.Json.DateFormatHandling.IsoDateFormat;<>.SerializationSettings.DateTimeZoneHandling = Newtonsoft.Json.DateTimeZoneHandling.Unspecified;<>.SerializationSettings.DateParseHandling = DateParseHand leng.Geen; <>.DeserializationSettings.DateParseHandling = DateParseHandling.None;<>.DeserializationSettings.DateFormatHandling = Newtonsoft.Json.DateFormatHandling.IsoDateFormat;<>.DeserializationSettings.DateTimeZoneHandling = Newtonsoft.Json.DateTimeZ oneHandling.Ongespecificeerd;

Om een ​​triggerrun te bewaken, voegt u de volgende code toe vóór de laatsteConsole.WriteLineverklaring in het voorbeeld:

// Controleer of de trigger elke 15 minuten wordt uitgevoerd. Console.WriteLine("Trigger wordt uitgevoerd. U ziet de uitvoer elke 15 minuten"); voor (int i = 0; i < 3; i++) { Systeem.Threading.Thread.Sleep(TimeSpan.FromMinutes(15)); Lijst triggerRuns = client.Triggers.ListRuns(resourceGroup, dataFactoryName, triggerName, DateTime.UtcNow.AddMinutes(-15 * (i + 1)), DateTime.UtcNow.AddMinutes(2)).ToList(); Console.WriteLine("{0} trigger-runs gevonden", triggerRuns.Count); foreach (TriggerRun uitgevoerd in triggerRuns) { foreach (KeyValuePair triggerPipeline in run.TriggeredPipelines) { PipelineRun triggerPipelineRun = client.PipelineRuns.Get(resourceGroup, dataFactoryName, triggerPipeline.Value); Console.WriteLine("Pipeline-run-ID: {0}, Status: {1}", getriggerdPipelineRun.RunId, getriggerdPipelineRun.Status); Lijst wordt uitgevoerd = client.ActivityRuns.ListByPipelineRun(resourceGroup, dataFactoryName, triggerPipelineRun.RunId, run.TriggerRunTimestamp.Value, run.TriggerRunTimestamp.Value.AddMinutes(20)).ToList(); } } }

Zie voor het bewaken van de triggeruitvoeringen en pijplijnuitvoeringen in de Azure-portalBewaak pijplijnuitvoeringen.

Python-SDK

In deze sectie ziet u hoe u de Python SDK gebruikt om een ​​trigger te maken, starten en bewaken. Om dit voorbeeld werkend te zien, gaat u eerst door deQuickstart: maak een data factory met behulp van de Python SDK. Voeg vervolgens het volgende codeblok toe na het codeblok "monitor the pipeline run" in het Python-script. Deze code maakt een planningstrigger die elke 15 minuten wordt uitgevoerd tussen de opgegeven begin- en eindtijd. Update destarttijdvariabele naar de huidige UTC-tijd, en deeindtijdvariabel tot een uur na de huidige UTC-tijd.

# Maak een trigger tr_name = 'mytrigger' scheduler_recurrence = ScheduleTriggerRecurrence(frequency='Minute', interval='15',start_time='2017-12-12T04:00:00Z', end_time='2017-12-12T05:00: 00Z', time_zone='UTC') pipeline_parameters = {'inputPath':'adftutorial/input', 'outputPath':'adftutorial/output'} pipelines_to_run = [] pipeline_reference = PipelineReference('copyPipeline') pipelines_to_run.append(TriggerPipelineReference( pipeline_reference, pipeline_parameters)) tr_properties = TriggerResource(properties=ScheduleTrigger(description='My scheduler trigger', pipelines = pipelines_to_run, recurrence=scheduler_recurrence)) adf_client.triggers.create_or_update(rg_name, df_name, tr_name, tr_properties) # Start de trigger adf_client. triggers.start(rg_name, df_name, tr_name)

Zie voor het bewaken van de triggeruitvoeringen en pijplijnuitvoeringen in de Azure-portalBewaak pijplijnuitvoeringen.

Azure Resource Manager-sjabloon

U kunt een Azure Resource Manager-sjabloon gebruiken om een ​​trigger te maken. Voor stapsgewijze instructies, zieMaak een Azure-datafactory met behulp van een Resource Manager-sjabloon.

Geef de starttijd van de trigger door aan een pijplijn

Azure Data Factory versie 1 ondersteunt het lezen of schrijven van gepartitioneerde gegevens met behulp van de systeemvariabelen:Slice Start,SliceEnd,VensterStart, EnVenstereinde. In de huidige versie van Azure Data Factory en Synapse-pijplijnen kunt u dit gedrag bereiken door een pijplijnparameter te gebruiken. De starttijd en geplande tijd voor de trigger worden ingesteld als de waarde voor de pijplijnparameter. In het volgende voorbeeld wordt de geplande tijd voor de trigger doorgegeven als een waarde aan de pijplijngeplandeRunTimeparameter:

"parameters": { "scheduledRunTime": "@trigger().scheduledTime"}

JSON-schema

De volgende JSON-definitie laat zien hoe u een planningstrigger maakt met planning en herhaling:

{ "properties": { "type": "ScheduleTrigger", "typeProperties": { "recurrence": { "frequency": <>, "interval": < >, // Optioneel, geeft aan hoe vaak moet worden geactiveerd (standaard op 1) "startTime": <>, "endTime": <>, "timeZone": "UTC" "schedule": { // Optioneel (geavanceerde planningsspecificaties) "hours": [<<0-23>>], "weekDays": [<>], "minutes": [<<0-59>>], "monthDays": [<<1-31>>], "monthlyOccurrences": [ { "day": <>, "occurrence": <<1-5>> } ] } } }, " pipelines": [ { "pipelineReference": { "type": "PipelineReference", "referenceName": "" }, "parameters": { "": { "type": "Expressie", "waarde": "" }, "" : "" } } ] }}

Belangrijk

Deparameterseigenschap is een verplichte eigenschap van depijpleidingenelement. Als uw pijp lijn geen parameters accepteert, moet u een lege JSON-definitie opnemen voor deparameterseigendom.

Schema overzicht

De volgende tabel geeft een algemeen overzicht van de belangrijkste schema-elementen die verband houden met herhaling en planning van een trigger:

JSON-eigenschapBeschrijving
starttijdEen datum-tijdwaarde. Voor eenvoudige schema's is de waarde van destarttijdeigenschap is van toepassing op het eerste voorkomen. Voor complexe schema's start de trigger niet eerder dan de opgegevenstarttijdwaarde.
Voor UTC-tijdzone is het formaat'jjjj-MM-ddTHH:mm:ssZ', voor andere tijdzones is het formaat'jjjj-MM-ddTHH:mm:ss'.
eindtijdDe einddatum en -tijd voor de trigger. De trigger wordt niet uitgevoerd na de opgegeven einddatum en -tijd. De waarde voor het onroerend goed mag niet in het verleden liggen. Deze eigenschap is optioneel.
Voor UTC-tijdzone is het formaat'jjjj-MM-ddTHH:mm:ssZ', voor andere tijdzones is het formaat'jjjj-MM-ddTHH:mm:ss'.
tijdzoneDe tijdzone waarin de trigger is gemaakt. Deze instelling is van invloedstarttijd,eindtijd, Enschema. Zienlijst met ondersteunde tijdzones
herhalingEen herhalingsobject dat de herhalingsregels voor de trigger specificeert. Het herhalingsobject ondersteunt defrequentie,interval,eindtijd,graaf, Enschemaelementen. Wanneer een herhalingsobject is gedefinieerd, wordt hetfrequentieelement is vereist. De andere elementen van het herhalingsobject zijn optioneel.
frequentieDe eenheid van frequentie waarmee de trigger terugkeert. De ondersteunde waarden zijn 'minuut', 'uur', 'dag', 'week' en 'maand'.
intervalEen positief geheel getal dat het interval voor de aangeeftfrequentiewaarde, die bepaalt hoe vaak de trigger wordt uitgevoerd. Als bijvoorbeeld deintervalis 3 en defrequentieis "week", de trigger komt elke 3 weken terug.
schemaHet herhalingsschema voor de trigger. Een trigger met een opgegevenfrequentiewaarde verandert de herhaling op basis van een herhalingsschema. Deschemaeigenschap bevat wijzigingen voor de herhaling die zijn gebaseerd op minuten, uren, weekdagen, maanddagen en weeknummer.

Belangrijk

Voor de UTC-tijdzone moeten de startTime en endTime de notatie 'jjjj-MM-ddTHH:mm:ss' volgenZ', terwijl voor andere tijdzones startTime en endTime volgen op 'jjjj-MM-ddTHH:mm:ss'.

Volgens de ISO 8601-norm, deZachtervoegsel voor tijdstempel markeer de datum/tijd in de UTC-tijdzone en maak het veld tijdZone onbruikbaar. Terwijl vermistZachtervoegsel voor UTC-tijdzone resulteert in een fout bij activeringactivering.

Schemastandaarden, limieten en voorbeelden

JSON-eigenschapTypeVereistStandaardwaardeGeldige waardenVoorbeeld
starttijdSnaarJaGeenISO-8601 Datum-Tijdenvoor UTC-tijdzone"startTime" : "2013-01-09T09:30:00-08:00Z"
voor andere tijdzone"2013-01-09T09:30:00-08:00"
tijdzoneSnaarJaGeenWaarden voor tijdzones"UTC"
herhalingVoorwerpJaGeenHerhalingsobject"herhaling": { "frequentie": "maandelijks", "interval": 1}
intervalNummerNee11 tot 1.000"interval":10
eindtijdSnaarJaGeenEen datum-tijdwaarde die een tijd in de toekomst vertegenwoordigt.voor UTC-tijdzone"endTime" : "2013-02-09T09:30:00-08:00Z"
voor andere tijdzone"endTime" : "2013-02-09T09:30:00-08:00"
schemaVoorwerpNeeGeenSchema-object"schema": { "minuut": [30], "uur": [8,17]}

Tijdzone optie

Hier volgen enkele tijdzones die worden ondersteund voor Schedule-triggers:

TijdzoneUTC-offset (geen zomertijd)timeZone-waardeHoud rekening met zomertijdFormaat tijdstempel
Gecoördineerde universele tijd0UTCNee'jjjj-MM-ddTHH:mm:ssZ'
Pacific-tijd (PT)-8Pacifische standaardtijdJa'jjjj-MM-ddTHH:mm:ss'
Centrale tijd (CT)-6Centrale standaardtijdJa'jjjj-MM-ddTHH:mm:ss'
Oostelijke tijd (ET)-5Oostelijke standaardtijdJa'jjjj-MM-ddTHH:mm:ss'
Greenwichtijd (GMT)0GMT-standaardtijdJa'jjjj-MM-ddTHH:mm:ss'
Midden-Europese standaardtijd+1W. Europa (standaardtijd).Ja'jjjj-MM-ddTHH:mm:ss'
Indiase standaardtijd (IST)+5:30Indiase standaardtijdNee'jjjj-MM-ddTHH:mm:ss'
Chinese standaardtijd+8Chinese standaardtijdNee'jjjj-MM-ddTHH:mm:ss'

Deze lijst is onvolledig. Verken de portal voor een volledige lijst met tijdzone-optiesPagina voor het maken van triggers

startTime-eigenschap

In de volgende tabel ziet u hoe destarttijdeigenschap bestuurt een triggerrun:

startTime-waardeHerhaling zonder schemaHerhaling met schema
Begintijd in het verledenBerekent de eerste toekomstige uitvoeringstijd na de starttijd en wordt op dat moment uitgevoerd.

Voert volgende uitvoeringen uit op basis van berekeningen vanaf de laatste uitvoeringstijd.

Zie het voorbeeld dat volgt op deze tabel.

De trigger begintniet eerder dande aangegeven starttijd. Het eerste exemplaar is gebaseerd op het schema dat wordt berekend vanaf de starttijd.

Voert volgende uitvoeringen uit op basis van het herhalingsschema.

Begintijd in de toekomst of nuWordt één keer uitgevoerd op de opgegeven starttijd.

Voert volgende uitvoeringen uit op basis van berekeningen vanaf de laatste uitvoeringstijd.

De trigger begintniet eerderdan de opgegeven starttijd. Het eerste exemplaar is gebaseerd op het schema dat wordt berekend vanaf de starttijd.

Voert volgende uitvoeringen uit op basis van het herhalingsschema.

Laten we een voorbeeld bekijken van wat er gebeurt als de begintijd in het verleden ligt, met een herhaling, maar zonder schema. Neem aan dat de huidige tijd is08-04-2017 13:00, de starttijd is07-04-2017 14:00, en de herhaling is elke twee dagen. (Deherhalingwaarde wordt bepaald door het instellen van defrequentieeigendom naar "dag" en deintervaleigendom tot 2.) Merk op dat destarttijdwaarde ligt in het verleden en vindt plaats vóór de huidige tijd.

Onder deze voorwaarden is de eerste uitvoering op2017-04-09bij14:00 uur. De Scheduler-engine berekent uitvoeringsgebeurtenissen vanaf de starttijd. Alle instanties in het verleden worden weggegooid. De engine gebruikt de volgende instantie die zich in de toekomst voordoet. In dit scenario is de begintijd2017-04-07bij2:00, dus de volgende instantie is twee dagen vanaf dat moment, dat is2017-04-09bij2:00.

De eerste uitvoeringstijd is hetzelfde, zelfs als destarttijdwaarde is05-04-2017 14:00of01-04-2017 14:00. Na de eerste uitvoering worden volgende uitvoeringen berekend met behulp van het schema. Daarom zijn de daaropvolgende executies op2017-04-11bij2:00, Dan2017-04-13bij2:00, Dan2017-04-15bij2:00, enzovoort.

Ten slotte, wanneer de uren of minuten niet zijn ingesteld in het schema voor een trigger, worden de uren of minuten van de eerste uitvoering gebruikt als de standaardwaarden.

eigenschap plannen

Enerzijds kan het gebruik van een schema het aantal triggeruitvoeringen beperken. Als een trigger met een maandelijkse frequentie bijvoorbeeld is gepland om alleen op dag 31 te worden uitgevoerd, wordt de trigger alleen uitgevoerd in de maanden met een 31e dag.

Terwijl een schema ook het aantal triggeruitvoeringen kan uitbreiden. Een trigger met een maandelijkse frequentie die is gepland om te worden uitgevoerd op maanddag 1 en 2, wordt bijvoorbeeld uitgevoerd op de 1e en 2e dag van de maand, in plaats van eenmaal per maand.

Indien meerdereschemaelementen zijn gespecificeerd, is de volgorde van evaluatie van de grootste naar de kleinste schema-instelling. De evaluatie begint met het weeknummer en vervolgens de dag van de maand, de dag van de week, het uur en ten slotte de minuut.

De volgende tabel beschrijft deschemaelementen in detail:

JSON-elementBeschrijvingGeldige waarden
minutenMinuten van het uur waarop de trigger loopt.
  • Geheel getal
  • Reeks gehele getallen
uurUren van de dag waarop de trigger wordt uitgevoerd.
  • Geheel getal
  • Reeks gehele getallen
doordeweekse dagenDagen van de week waarop de trigger wordt uitgevoerd. De waarde kan alleen met een wekelijkse frequentie worden opgegeven.
  • Maandag dinsdag woensdag donderdag vrijdag zaterdag Zondag
  • Matrix van dagwaarden (maximale matrixgrootte is 7)
  • Dagwaarden zijn niet hoofdlettergevoelig
maandelijksVoorvallenDagen van de maand waarop de trigger wordt uitgevoerd. De waarde kan alleen met een maandelijkse frequentie worden opgegeven.
  • Reeks vanmaandelijksVoorvalvoorwerpen:{ "dag": dag, "gebeurtenis": gebeurtenis }.
  • Dedagkenmerk is de dag van de week waarop de trigger wordt uitgevoerd. Bijvoorbeeld eenmaandelijksVoorvallenpand met eendagwaarde van{Zondag}betekent elke zondag van de maand. Dedagattribuut is vereist.
  • Devoorkomenattribuut is het voorkomen van het gespecificeerdedagtijdens de maand. Bijvoorbeeld eenmaandelijksVoorvalleneigendom meedagEnvoorkomenwaarden van{zondag, -1}betekent de laatste zondag van de maand. Devoorkomenattribuut is optioneel.
maandDagenDag van de maand waarop de trigger loopt. De waarde kan alleen met een maandelijkse frequentie worden opgegeven.
  • Elke waarde <= -1 en >= -31
  • Elke waarde >= 1 en <= 31
  • Reeks waarden

Voorbeelden van trigger-herhalingsschema's

In dit gedeelte worden voorbeelden gegeven van herhalingsschema's en wordt ingegaan op deschemaobject en zijn elementen.

De voorbeelden gaan ervan uit dat deintervalwaarde 1 is, en dat defrequentiewaarde correct is volgens de planningsdefinitie. U kunt bijvoorbeeld geen afrequentiewaarde van "dag" en hebben ook een wijziging "maandDagen" in deschemavoorwerp. Beperkingen zoals deze worden vermeld in de tabel in de vorige sectie.

VoorbeeldBeschrijving
{"uren":[5]}Elke dag om 05:00 uur.
{"minuten":[15], "uren":[5]}Ren elke dag om 05:15 uur.
{"minuten":[15], "uren":[5,17]}Elke dag om 05:15 uur en 17:15 uur.
{"minuten":[15,45], "uren":[5,17]}Elke dag om 5:15 uur, 5:45 uur, 17:15 uur en 17:45 uur.
{"minuten":[0,15,30,45]}Ren elke 15 minuten.
{uur":[0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22 , 23]}Loop elk uur. Deze trigger wordt elk uur uitgevoerd. De notulen worden gecontroleerd door destarttijdwaarde, wanneer een waarde is opgegeven. Als er geen waarde is opgegeven, worden de minuten bepaald door de aanmaaktijd. Als de starttijd of aanmaaktijd (wat van toepassing is) bijvoorbeeld 12:25 uur is, loopt de trigger om 00:25, 01:25, 02:25, ... en 23:25.

Dit schema is gelijk aan het hebben van een trigger met eenfrequentiewaarde van "uur", eenintervalwaarde van 1, en neeschema. Dit schema kan met verschillende worden gebruiktfrequentieEnintervalwaarden om andere triggers te creëren. Wanneer bijvoorbeeld defrequentiewaarde "maand" is, wordt het schema slechts één keer per maand uitgevoerd, in plaats van elke dag, wanneer defrequentiewaarde is "dag".

{"minuten":[0]}Draai elk uur op het hele uur. Deze trigger wordt elk uur op het hele uur uitgevoerd, beginnend om 00:00 uur, 01:00 uur, 02:00 uur, enzovoort.

Dit schema is gelijk aan een trigger met eenfrequentiewaarde van "uur" en astarttijdwaarde van nul minuten, of neeschemamaar eenfrequentiewaarde van "dag". Als defrequentiewaarde "week" of "maand" is, wordt het schema respectievelijk één dag per week of één dag per maand uitgevoerd.

{"minuten":[15]}Ren om 15 minuten over elk uur. Deze trigger wordt elk uur uitgevoerd om 15 minuten over het hele uur, beginnend om 00:15 uur, 01:15 uur, 02:15 uur, enzovoort, en eindigt om 23:15 uur.
{"hours":[17], "weekDays":["zaterdag"]}Elke week om 17.00 uur op zaterdag.
{"hours":[17], "weekDays":["maandag", "woensdag", "vrijdag"]}Elke week om 17:00 uur op maandag, woensdag en vrijdag.
{"minuten":[15,45], "uren":[17], "weekDagen":["maandag", "woensdag", "vrijdag"]}Elke week om 17:15 uur en 17:45 uur op maandag, woensdag en vrijdag.
{"minuten":[0,15,30,45], "weekDays":["maandag", "dinsdag", "woensdag", "donderdag", "vrijdag"]}Ren elke 15 minuten op weekdagen.
{"minuten":[0,15,30,45], "uren": [9, 10, 11, 12, 13, 14, 15, 16] "weekDays":["maandag", "dinsdag", " woensdag donderdag vrijdag"]}Rijd elke 15 minuten op weekdagen tussen 9:00 en 16:45 uur.
{"weekDays":["dinsdag", "donderdag"]}Draai op dinsdag en donderdag op de opgegeven starttijd.
{"minuten":[0], "uren":[6], "maandDagen":[28]}Wordt uitgevoerd om 06:00 uur op de 28e dag van elke maand (uitgaande van eenfrequentiewaarde van "maand").
{"minutes":[0], "hours":[6], "monthDays":[-1]}Uitvoeren om 06:00 uur op de laatste dag van de maand. Gebruik -1 in plaats van dag 28, 29, 30 of 31 om een ​​trigger op de laatste dag van een maand uit te voeren.
{"minuten":[0], "uren":[6], "maandDagen":[1,-1]}Draai om 06:00 uur op de eerste en laatste dag van elke maand.
{maandDagen":[1,14]}Uitvoeren op de eerste en 14e dag van elke maand op de opgegeven starttijd.
{"minutes":[0], "hours":[5], "monthlyOccurrences":[{"day":"friday", "occurrence":1}]}Draai elke eerste vrijdag van de maand om 5:00 uur.
{"monthlyOccurrences":[{"day":"vrijdag", "occurrence":1}]}Wordt uitgevoerd op de eerste vrijdag van elke maand op de opgegeven starttijd.
{"monthlyOccurrences":[{"day":"vrijdag", "occurrence":-3}]}Wordt uitgevoerd op de derde vrijdag vanaf het einde van de maand, elke maand, op de opgegeven starttijd.
{"minutes":[15], "hours":[5], "monthlyOccurrences":[{"day":"friday", "occurrence":1},{"day":"friday", "occurrence" :-1}]}Draai elke eerste en laatste vrijdag van de maand om 5:15 uur.
{"monthlyOccurrences":[{"day":"vrijdag", "occurrence":1},{"day":"vrijdag", "occurrence":-1}]}Wordt uitgevoerd op de eerste en laatste vrijdag van elke maand op de opgegeven starttijd.
{"monthlyOccurrences":[{"day":"vrijdag", "occurrence":5}]}Wordt uitgevoerd op de vijfde vrijdag van elke maand op de opgegeven starttijd. Als er geen vijfde vrijdag in een maand is, loopt de pijplijn niet, omdat deze volgens de planning alleen op de vijfde vrijdag wordt uitgevoerd. Om de trigger op de laatst voorkomende vrijdag van de maand uit te voeren, kunt u overwegen -1 te gebruiken in plaats van 5 voor devoorkomenwaarde.
{"minutes":[0,15,30,45], "monthlyOccurrences":[{"day":"friday", "occurrence":-1}]}Ren elke 15 minuten op de laatste vrijdag van de maand.
{"minutes":[15,45], "hours":[5,17], "monthlyOccurrences":[{"day":"woensdag", "occurrence":3}]}Draai om 5:15 uur, 5:45 uur, 17:15 uur en 17:45 uur op de derde woensdag van elke maand.

Volgende stappen

  • Zie voor gedetailleerde informatie over triggersPijplijnuitvoering en triggers.
  • Meer informatie over het verwijzen naar triggermetagegevens in de pijplijn, zieVerwijzen naar triggermetadata in pijplijnuitvoeringen

Feedback

Feedback indienen en bekijken voor

FAQs

Does Azure Synapse include data factory? ›

In Azure Synapse Analytics, the data integration capabilities such as Synapse pipelines and data flows are based upon those of Azure Data Factory.

Is Azure Synapse same as Azure data Factory? ›

Synapse allows you to collect, transform, and analyze data from just one platform. However, Azure Data Factory is only suitable for data engineers to streamline data collection processes with in-built processes. If you only want to connect and transform data without writing code, you should embrace Azure Data Factory.

How do I create an Azure data Factory in Azure? ›

Create a data factory
  1. Sign in to the Azure portal.
  2. Select New > Data + Analytics > Data Factory.
  3. On the New data factory blade, under Name, enter GetStartedDF. ...
  4. Under Subscription, select the Azure subscription where you want the data factory to be created.
  5. Select an existing resource group, or create a resource group.
Apr 12, 2023

How to connect ADF to SQL database? ›

Create a SQL Server linked service using UI
  1. Browse to the Manage tab in your Azure Data Factory or Synapse workspace and select Linked Services, then click New: Azure Data Factory. ...
  2. Search for SQL and select the SQL Server connector.
  3. Configure the service details, test the connection, and create the new linked service.
Feb 28, 2023

How to connect ADF to Azure SQL? ›

Select on the Azure SQL Database tile and select continue. In the SQL DB configuration pane, enter 'SQLDB' as your linked service name. Enter in your credentials to allow data factory to connect to your database. If you're using SQL authentication, enter in the server name, the database, your user name and password.

Does Synapse replace data factory? ›

Synapse Analytics offers all the possibilities of Data Factory such as the integration of different data sources, but with added functionalities of monitoring, management, alerting, and security in one place.

Is Azure Synapse a ETL? ›

Traditional SMP dedicated SQL pools use an Extract, Transform, and Load (ETL) process for loading data. Synapse SQL, within Azure Synapse Analytics, uses distributed query processing architecture that takes advantage of the scalability and flexibility of compute and storage resources.

What are the 3 components of Azure Synapse analytics? ›

What are the main components of Azure Synapse Analytics? An Azure analytics service that brings together data integration, enterprise data warehousing, and big data analytics.

Which database does Azure Synapse use? ›

Azure Synapse Analytics is an enterprise analytics service that accelerates time to insight across data warehouses and big data systems. It brings together the best of SQL technologies used in enterprise data warehousing, Apache Spark technologies for big data, and Azure Data Explorer for log and time series analytics.

What is the difference between dataflow and synapse? ›

Data flows provide an entirely visual experience with no coding required. Your data flows run on Synapse-managed execution clusters for scaled-out data processing. Azure Synapse Analytics handles all the code translation, path optimization, and execution of your data flow jobs.

Is Azure Synapse a SQL database? ›

Azure Synapse SQL is a big data analytic service that enables you to query and analyze your data using the T-SQL language. You can use standard ANSI-compliant dialect of SQL language used on SQL Server and Azure SQL Database for data analysis.

Is Azure Data factory an ETL tool? ›

Azure Data Factory is the platform that solves such data scenarios. It is the cloud-based ETL and data integration service that allows you to create data-driven workflows for orchestrating data movement and transforming data at scale.

Does Azure Data factory do ETL? ›

With Azure Data Factory, it's fast and easy to build code-free or code-centric ETL and ELT processes.

What are the prerequisites for Azure Data factory? ›

Prerequisites
  • Azure subscription. If you don't have an Azure subscription, create a free Azure account before you begin.
  • Azure storage account. You use Blob storage as a source data store. ...
  • Azure SQL Database. You use the database as a sink data store.
Sep 27, 2022

How to direct connectivity to SQL Azure and SQL database? ›

To connect to an Azure SQL database from Power Query Desktop, take the following steps:
  1. Select the Azure SQL database option in the connector selection.
  2. In SQL Server database, provide the name of the server and database (optional).
  3. Select either the Import or DirectQuery data connectivity mode.
Feb 15, 2023

How do I copy data from one Azure SQL database to another? ›

Copy using the Azure portal

To copy a database by using the Azure portal, open the page for your database, and then choose Copy to open the Create SQL Database - Copy database page. Fill in the values for the target server where you want to copy your database to.

How to create table in SQL using ADF? ›

Data Factory Copy: Auto-Create Sink Table
  1. Create Copy Step.
  2. Use a query in the Source tab.
  3. Specify the SQL Server as the Sink.
  4. Have option to auto create table without having to select an existing dataset or table.
Mar 15, 2022

How to connect Azure DB in SQL? ›

To connect to Azure SQL Database:
  1. On the File menu, select Connect to SQL Azure (this option is enabled after the creation of a project). ...
  2. In the connection dialog box, enter or select the server name of Azure SQL Database.
  3. Enter, select, or Browse the Database name.
  4. Enter or select Username.
  5. Enter the Password.
Feb 28, 2023

How to connect Azure SQL Database from ADF using managed identity? ›

Set a managed identity in the Azure portal
  1. Go to your SQL server or SQL managed instance resource.
  2. Under Security, select the Identity setting.
  3. Under User assigned managed identity, select Add.
  4. Select a subscription, and then for Primary identity, select a UMI for the subscription. Then choose the Select button.
Mar 21, 2023

How do I connect to Azure SQL Database from Azure function? ›

Get connection information
  1. Sign in to the Azure portal.
  2. Select SQL Databases from the left-hand menu, and select your database on the SQL databases page.
  3. Select Connection strings under Settings and copy the complete ADO.NET connection string. For Azure SQL Managed Instance copy connection string for public endpoint.
Jan 30, 2023

Is Azure Synapse a data warehouse or data lake? ›

Azure Synapse uses Azure Data Lake Storage Gen2 as a data warehouse and a consistent data model that incorporates administration, monitoring and metadata management sections.

Does Synapse have a database? ›

Database compute

The lake database is exposed in Synapse SQL serverless SQL pool and Apache Spark providing users with the capability to decouple storage from compute.

Where are datasets in Synapse? ›

To create a dataset with the Synapse Studio, select the Data tab, and then the plus sign icon, to choose Integration dataset. You'll see the new integration dataset window to choose any of the connectors available in Azure Synapse, to set up an existing or new linked service.

Why Synapse is better than Databricks? ›

Azure Synapse vs Databricks: What is the Difference? Azure Synapse successfully integrates analytical services to bring enterprise data warehouse and big data analytics into a single platform. On the other hand, Databricks not only does big data analytics but also allows users to build complex ML products at scale.

Why Snowflake is better than Azure Synapse? ›

Because Snowflake and Synapse have extremely diverse performance capabilities, making a straight performance comparison is challenging. Snowflake typically outperforms Synapse significantly with no fine-tuning, as with every cloud data platform, because it is a SaaS service while Synapse is a PaaS-based solution.

Is Azure Synapse the same as Databricks? ›

Azure Synapse utilizes a 3-component architecture; Data storage, processing, and visualization in a single, unified platform. On the other hand, Databricks utilizes a lakehouse architecture that enables the best data warehouse and data lake features into one continuous platform.

What is the difference between Azure SQL and Azure Synapse? ›

Azure SQL DB provides an easy-to-maintain data storage with predictable cost structures while Azure synapse provides control and features such as pausing computational tasks in order to efficiently manage costs.

What is the difference between snowflake and Synapse? ›

Snowflake is a serverless solution with fully independent storage and computation processing layers based on the ANSI SQL. Azure Synapse consists of built-in support for AzureML to handle machine learning workflows. A robust machine-learning environment is available at Databricks for the creation of various models.

Is Azure Synapse a columnar database? ›

Synapse stores data in a columnar format and enables distributed querying capabilities, which is better suited for the performance of OLAP workloads.

How do I create a database in Azure Synapse? ›

Start the process
  1. Open the Azure portal, in the search bar enter Synapse without hitting enter.
  2. In the search results, under Services, select Azure Synapse Analytics.
  3. Select Create to create a workspace.
Jan 6, 2023

Where are Azure Synapse tables stored? ›

For Azure Synapse Analytics, the table is stored on a distribution database on each Compute node. For Analytics Platform System (PDW), the table is stored in a SQL Server filegroup that spans the Compute node.

Is Synapse an OLAP? ›

What is Azure Synapse Analytics? It's formally know as Azure SQL Data Warehouse and it is an Azure database specially made for Online Analytical Processing (OLAP). It is capable of massively parallel processing (MPP) to quickly process large sets of data into your data warehouse.

What is the difference between Databricks and Azure data Factory? ›

Azure Data Factory is primarily used for ETL processes and orchestrating large-scale data movements. On the other hand, Databricks is like a collaborative platform for data scientists. Here, they can perform ETL as well as build machine learning models under a single platform.

What is Azure Synapse architecture? ›

Azure Synapse Analytics serverless architecture allows you to scale your compute and storage levels independently. Compute resources are charged based on usage, and you can scale or pause these resources on demand. Storage resources are billed per terabyte, so your costs will increase as you ingest more data.

How is data stored in Azure Synapse? ›

The storage is used for staging the data before it loads into Azure Synapse Analytics by using PolyBase. After the copy is complete, the interim data in Azure Blob Storage is automatically cleaned up. In the New linked service page, select your storage account, and select Create to deploy the linked service.

Is Azure Synapse a NoSQL database? ›

Azure Synapse Analytics (Azure SQL Data Warehouse) Microsoft Azure Cosmos DB is Microsoft's Big Data analysis platform. It is a NoSQL database service and is a replacement for the earlier DocumentDB NoSQL database.

What is the difference between SQL database and Lake database in Azure Synapse? ›

What are the differences between Lake Databases and SQL Serverless databases? At face value, they're very similar. They're both means by which you can query data in your data lake. However, Lake Databases are special in that they're synchronized between the Spark and the SQL Serverless engines in Synapse.

What is the difference between ETL and Azure Data Factory? ›

An ETL tool extracts, transforms, and loads data. SQL Server Integration Service (SSIS) is an on-premises ETL technology intended for use in on-premises applications. Azure Data Factory is a data pipeline orchestrator based in the cloud.

Which ETL tool is used in Azure? ›

Integrate.io is one of the most reliable ETL tools for Azure Data Warehouse. It comes with over 100 out-of-the-box connectors that sync data to warehouses like Azure, as well as data lakes and other destinations.

What language is used in Azure Data Factory? ›

SDKs. If you are an advanced user and looking for a programmatic interface, Data Factory provides a rich set of SDKs that you can use to author, manage, or monitor pipelines by using your favorite IDE. Language support includes . NET, PowerShell, Python, and REST.

What is the salary of Azure Data Factory? ›

Average Annual Salary by Experience

Azure Data Engineer salary in India with less than 2 year of experience to 6 years ranges from ₹ 4 Lakhs to ₹ 14.5 Lakhs with an average annual salary of ₹ 6.5 Lakhs based on 2.8k latest salaries.

Is coding required for Azure Data Factory? ›

Is coding required for Azure Data Factory? Ans: No, coding is not required. Azure Data Factory lets you create workflows very quickly. It offers 90+ built-in connectors available in Azure Data Factory to transform the data using mapping data flow activities without programming skills or spark cluster knowledge.

How do I build an ETL pipeline in Azure? ›

Step 1: Visit the Azure home page. Click on Create a resource (+). Step 2: Select Storage Account in Popular Azure Services -> Create. Step 3: On the Basics page, select your subscription name, create a resource group, provide the storage account name, select the performance, redundancy, and region, and click Next.

How do I create an Azure Data Factory? ›

Create a data factory
  1. Sign in to the Azure portal.
  2. Select New > Data + Analytics > Data Factory.
  3. On the New data factory blade, under Name, enter GetStartedDF. ...
  4. Under Subscription, select the Azure subscription where you want the data factory to be created.
  5. Select an existing resource group, or create a resource group.
Apr 12, 2023

What are the steps for creating ETL process in Azure Data Factory? ›

The three steps of ETL are:
  1. Extract: Extracting data from a source location, such as a file or database.
  2. Transform: Transforming the data from its source format to fit the target location's schema.
  3. Load: Finally, loading the data into a target location such as a data warehouse for analytics and reporting.

How long it will take to learn Azure Data Factory? ›

Azure Data Factory Training program will have a duration of 3 months.

What can Azure Data factory connect to? ›

Linked services are used for two purposes in Data Factory: To represent a data store that includes, but isn't limited to, a SQL Server database, Oracle database, file share, or Azure blob storage account.

What connects an Azure Data factory activity to a dataset? ›

The Azure Storage and Azure SQL Database linked services contain connection strings that Data Factory uses at runtime to connect to your Azure Storage and Azure SQL Database, respectively. The Azure Blob dataset specifies the blob container and blob folder that contains the input blobs in your Blob storage.

How do I connect to Azure Synapse workspace? ›

Set up Azure Synapse workspace firewall access
  1. In the Azure portal, go to the Azure Synapse workspace.
  2. On the left pane, select Networking.
  3. For Allow Azure services and resources to access this workspace control, select ON.
  4. Select Save.
May 15, 2023

Is Azure Synapse an ETL tool? ›

Traditional SMP dedicated SQL pools use an Extract, Transform, and Load (ETL) process for loading data. Synapse SQL, within Azure Synapse Analytics, uses distributed query processing architecture that takes advantage of the scalability and flexibility of compute and storage resources.

Which 3 types of activities can you run in Microsoft Azure data factory? ›

Data Factory supports three types of activities: data movement activities, data transformation activities, and control activities.

Is Azure Data factory a ETL tool? ›

With Azure Data Factory, it's fast and easy to build code-free or code-centric ETL and ELT processes.

How do I manually trigger Azure Data Factory? ›

To manually trigger a pipeline or configure a new scheduled, tumbling window, storage event, or custom event trigger, select Add trigger at the top of the pipeline editor. If you choose to manually trigger the pipeline, it will execute immediately.

How do I ingest data into Azure Synapse Analytics? ›

Create linked services
  1. Open the Azure Synapse Analytics UX and go to the Manage tab.
  2. Under External connections, select Linked services.
  3. To add a linked service, select New.
  4. Select the Azure Data Lake Storage Gen2 tile from the list and select Continue.
  5. Enter your authentication credentials. ...
  6. Select Create when finished.
Sep 13, 2022

How do I create an Azure Synapse dataset? ›

To create a dataset with the Synapse Studio, select the Data tab, and then the plus sign icon, to choose Integration dataset. You'll see the new integration dataset window to choose any of the connectors available in Azure Synapse, to set up an existing or new linked service.

What is the ETL process in Azure Data Factory? ›

Extract, transform, and load (ETL) process

Extract, transform, and load (ETL) is a data pipeline used to collect data from various sources. It then transforms the data according to business rules, and it loads the data into a destination data store.

What is the difference between linked Service and dataset in Azure Data Factory? ›

Linked services are much like connection strings, which define the connection information needed for the service to connect to external resources. Think of it this way; the dataset represents the structure of the data within the linked data stores, and the linked service defines the connection to the data source.

What is the difference between Databricks and Azure Data Factory? ›

Azure Data Factory is primarily used for ETL processes and orchestrating large-scale data movements. On the other hand, Databricks is like a collaborative platform for data scientists. Here, they can perform ETL as well as build machine learning models under a single platform.

How do I query Azure Synapse database? ›

For dedicated SQL pools in Azure Synapse, navigate to the Azure Synapse Analytics workspace.
  1. Select Manage.
  2. In the Analytics pools section, select SQL pools.
  3. Select + New to create a new dedicated SQL pool.
  4. Give the dedicated SQL pool a new name TutorialDB and pick a performance level. ...
  5. Select Create.
Mar 3, 2023

How do I connect to Azure Synapse database from SSMS? ›

Serverless SQL pool
  1. Open SQL Server Management Studio (SSMS).
  2. In the Connect to Server dialog box, fill in the fields, and then select Connect: Server name: Enter the server name previously identified. ...
  3. To explore, expand your Azure SQL server. You can view the databases associated with the server.
Feb 18, 2022

What is the default storage account in Azure Synapse? ›

Data lake storage Gen2 account is the default storage for Synapse workspace.

References

Top Articles
Latest Posts
Article information

Author: Van Hayes

Last Updated: 10/03/2023

Views: 5637

Rating: 4.6 / 5 (46 voted)

Reviews: 93% of readers found this page helpful

Author information

Name: Van Hayes

Birthday: 1994-06-07

Address: 2004 Kling Rapid, New Destiny, MT 64658-2367

Phone: +512425013758

Job: National Farming Director

Hobby: Reading, Polo, Genealogy, amateur radio, Scouting, Stand-up comedy, Cryptography

Introduction: My name is Van Hayes, I am a thankful, friendly, smiling, calm, powerful, fine, enthusiastic person who loves writing and wants to share my knowledge and understanding with you.