Przetwarzania równoległego z wykorzystaniem tabel w Azure danych fabrycznych pojedynczego rurociągu, pojedynczy Notebook Databricks?

głosy
0

Chcę przekształcić listę tabel w równoległym wykorzystaniem Azure Fabrykę danych i jeden Notebook Databricks.

Mam już Azure Data Factory (ADF) rurociągu, który odbiera listę tabel jako parametru ustawia każdy stół z listy tabeli jako zmienna, a następnie zwraca jeden pojedynczy zeszyt (który wykonuje proste transformacje) i przechodzi każdy stół szeregowo notebook. Problemem jest to, że transformuje tabele szeregowo (jeden za drugim) i równolegle (nie wszystkie tabele, w tym samym czasie). muszę tabele być przetwarzane równolegle.

Więc moje pytania: 1) Czy jest możliwe aby wywołać te same czasy Databricks notebook wiele dokładnie w tym samym momencie (za każdym razem z innej tabeli jako parametr) od Azure Data Factory? 2) Jeśli tak, to co muszę zmienić w moim rurociągu lub notebooka, aby to działało?

Myślę, że nie jest prawdopodobne, możliwe do uruchomienia tego samego notebooka wielokrotnie jednocześnie, ponieważ kiedy wywołać ten notatnik bezpośrednio z Databricks (i przekazać tablicę jako zmienną), muszę czekać na zakończenie uruchomiony zanim wywoła to ponownie dla innego stół (parametrów). Ale chcę, aby upewnić się, czy jest to możliwe, czy nie. Wiem też, że jest możliwe, aby przetwarzać kilka tabel w równoległym wykorzystaniem wielu notebooków, ale w moim przypadku muszę używać tylko jednego notebooka. Z góry dziękuję :)

parametry

Parametry

zmienne

zmienne

Ustawić zmienne stołowe i Notebook

wprowadzić

Konfiguracja sekwencyjny

Konfiguracja

Sekwencyjny Nieograniczony z partii count = wykroju

Gdy skonfigurowane jako „sekwencyjnego” i hrabiego partii = wykroju, i przekazać dwie tabele tras rurociągów „Pomyślnie”, ale tylko jedna tabela jest przekształcana (nawet jeśli dodać wiele tabel na liście tabeli). „Ustaw zmienną” prawidłowo pokazuje dwa razy, raz dla każdej tabeli. Ale Orchestrate pokazuje dwa razy do tej samej tabeli.

wprowadzić

Sekwencyjne Niesprawdzona z partii hr = 2

Gdy skonfigurowane jako „sekwencyjnego” i partii Hrabiego = 2, i przechodzą dwie tabele, rurociąg nie na drugiej iteracji, ale również próbuje przekształcając tym samym stole dwa razy. „Ustaw zmienną” prawidłowo pokazuje dwa razy, raz dla każdej tabeli. Ale Orchestrate pokazuje dwa razy do tej samej tabeli.

Sekwencyjne

Zaznaczony lub sekwencyjnego wsadowego Liczba = 1

, Jeśli pozostawić sekwencyjne sprawdzone lub serii Liczba = 1, a rurociąg przebiega prawidłowo i dokonuje przemiany na wszystkich tabelach, ale przetwarzanie zachodzi w szeregu (prawidłowo).

wprowadzić

Utwórz 13/01/2020 o 23:55
źródło użytkownik
W innych językach...                            


1 odpowiedzi

głosy
0

I rozwiązać go za pomocą „Lookup” do tabel SQL zamiast „Set Variable”. Poniższe zdjęcie przedstawia bieg 5 stołów równolegle przy użyciu tylko jednego notebooka.

wprowadzić opis obrazu tutaj

Odpowiedział 14/01/2020 o 22:40
źródło użytkownik

Cookies help us deliver our services. By using our services, you agree to our use of cookies. Learn more