Bugün ki yazımızda Azure Data Factory kullanarak On-Premise SQL Server veritabanından Azure SQL Server veritabanına veri aktarımının nasıl olacağını anlatmaya çalışacağım. Öncelikle On-Premise SQL Server 2015 ve üst versiyonunda bu işleminin yapılabileceğini söylemek isterim.
Öncelikle Azure Portal üzerinden Azure Data Factory’i açalım, pencerenin sol tarafındaki Manage (Yönet) simgesini tıklayın, Integration Runtime (Entegrasyon Çalışma Zamanı) sekmesini seçin ve aşağıda gösterildiği gibi New (Yeni) butonunu tıklayın;
Resim-1
Görüntülenen Integration Runtime Setup penceresinden, Self-Hosted Integration Runtime yani kendi kendine barındırılan entegrasyon çalışma zamanını planlamak için ilgili türü seçiyoruz ve ardından Continue (Devam’ı) tıklıyoruz.
Resim-2
SH-IR’niz için benzersiz bir ad girdikten sonra Create‘e (Oluştur’a) tıklayın.
Resim-3
SH-IR’in en son sürümünü indirmek için aşağıdaki linki kopyalayıp On-Premise sunucuda kurulum dosyasını indirin. Ayrıca Key1 ya da Key2 kimlik doğrulama anahtarını kopyalayın.
Resim-4
SH-IR kurulum dosyasını indirdikten sonra çalıştırın ve kurulum yolunu belirttikten sonra kurulumu tamamlayın.
Resim-5
Yükledikten sonra aşağıda gösterildiği gibi kopyaladığınız kimlik doğrulama anahtarını kullanarak SH-IR’yi Azure Data Factory’e kaydetmek için yeni bir pencere açılacaktır.
Resim-6
Ardından SH-IR bağlantısının güvenliğini sertifikalar kullanarak aşağıdaki gibi yapılandırma yeteneği ile SH-IR için atanan düğümleri gösterecektir. Ayrıca yerel düğüm için de bir tanımlayabilirsiniz.
Resim-7
SH-IR aşağıda gösterildiği gibi On-Premise sunucuya yüklenmiş olur. Azure Data Factory kaydedilir ve bağlanmış olur.
Resim-8
SH-IR kaydını ve bağlantısını Azure Data Factory’den aşağıdaki gibi oluştuğunu görebilirsiniz.
Resim-9
Şu ana kadar Data Factory üzerinden On-Premise sunucuya bağlantısını sağladık. Bundan sonra da On-Premise sunucudan Azure SQL Database’e nasıl veri çekeceğimizi göreceğiz. Burada veri aktarımı için ya Pipeline oluşturarak manuel bir şekilde pipeline componentleri kullanarak ya da aşağıda gösterildiği gibi Copy data aracını kullanarak aktarımı yapabiliriz.
Resim-10
Bu aktarım işlemi için öncelikle benzersiz bir ad tanımlamanız gerekiyor. Ayrıca aktarımı schedule haline de getirebilirsiniz. Ama biz burada bir kereye mahsus yapacağımız için Run once now seçeneğini seçiyoruz.
Resim-11
Buradan veri çekeceğiz kanal olan On-Premise için Linked Service oluşturacağız. Aşağıda gösterildiği gibi SQL Server seçeceğiz ve devam edeceksiniz.
Resim-12
Linked Service’e benzersiz bir ad veriniz. On-Premise SQL Server’a bağlanmak için gerekli Sql kullanıcı bilgileri ve veritabanı adı giriniz. Aşağıdaki gibi bağlantıyı test ettiğinizde başarılı olduğunu gördükten sonra Create‘a basarak Linked Service oluşturunuz.
Resim-13
Oluşturduğunuz kaynak aşağıdaki gibi Source data store altında görüntülenecektir.
Resim-14
Linked Service’i başarılı bir şekilde oluşturduktan sonra, aşağıdaki gibi aktarılacak kaynak tabloları seçmeniz gerekiyor. Ayrıca sorgular yazarak da çekeceğiniz verileri belirleyebilirsiniz.
Resim-15
Aşağıdaki gibi kaynak verilere ek filtreler koyabilirsiniz.
Resim-16
Sonraki adım olarak aşağıda gösterildiği gibi hedef veritabanı olan Azure SQL Database için gerekli Linked Service oluşturacaksınız.
Resim-17
Aşağıdaki gibi Azure SQL Database bağlantı bilgilerini girip gerekli Linked Service’i oluşturuyorsunuz.
Resim-18
Hedef Linked Service de aşağıdaki gibi oluştuğunu görüntülenecektir.
Resim-19
Oluşturulan hedef Linked Service ile, Azure SQL Database’deki hedef tabloyu seçerek hedef veri kümesini oluşturmanız gerekir; eğer hedefte ilgili tablo yoksa otomatik oluşturulacaktır. Aşağıda görüldüğü gibi On-Premise’den gelen veriler hedef tabloya aktarılması için gereken şema gösterildiği gibidir.
Resim-20
Veri aktarımından önce kaynak ve hedef tablolar arasındaki şemayı aşağıdaki gibi gözden geçirebilirsiniz.
Resim-21
Son olarak, performans ve hata toleransı ayarları aşağıdaki gibi yapılandırmanız istenir.
Resim-22
Gerekli tüm ayarları bitirdikten sonra süreci gözden geçirmeniz için aşağıdaki gibi bir özet pencere karşınıza çıkacaktır.
Resim-23
Tüm adımlar aşağıdaki gibi belirtilmiş olup ardından çalıştırılacaktır.
Resim-24
Oluşturulan Pipeline ve Dataset’ler aşağıdaki gibi Azure Data Factory üzerinde görülecektir. Ayrıca bu ekran üzerinden gerekli düzeltmeleri yapabilirsiniz.
Resim-25
Son olarak On-Premise SQL Server veritabanından Azure SQL veritabanına verilerin doğru aktarıldığını SSMS kullanarak Azure SQL veritabanına bağlanarak kontrol edebilirsiniz.
Umarım faydalı bir yazı olmuştur.
Bu konuyla ilgili sorularınızı alt kısımda bulunan yorumlar alanını kullanarak sorabilirsiniz.
Referanslar
https://docs.microsoft.com/en-us/azure/data-factory/tutorial-hybrid-copy-data-tool
TAGs: Data, Business intelligence, Sql Server, Azure, Azure Data Factory