Data Factory Nedir?
Veri kaynaklarının çeşitliliğinin artması ve aynı zamanda saklanan veri boyutunun da her geçen gün büyümesiyle beraber ETL (Extract-Transform-Load) süreçleri daha sık kullanılır hale geldi.
Bildiğiniz üzere bu süreçleri geliştirebileceğimiz birçok ürün mevcut. Informatica, ODI (Oracle Data Integrator), IBM DataStage ve SSIS (SQL Server Integratıon Services) bunlardan sadece birkaç tanesi. Azure Data Factory ise ETL (veya ELT) süreçlerinizi Cloud ortamında geliştirmenizi sağlayan bir servis. Başlıkta özetlediğimiz gibi ETL as a Service aslında. Peki, hali hazırda piyasada bu kadar ETL ürünü varken neden Data Factory?
Ölçeklenebilir ve Code-Free
Data Factory bir Cloud servisi olması sayesinde değişen ihtiyaçlarınız karşısında ölçeklenebilir bir alt yapı sunarak projeleriniz üzerinde rahatlıkla kaynak yönetimi yapabilmenizi sağlıyor. Aynı zamanda sunduğu arayüz ve bileşenler sayesinde herhangi bir kodlama bilgisine ihtiyaç duymadan uçtan uca tüm ETL süreçlerini geliştirme olanağı sağlıyor. Ek olarak, Microsoft teknolojileri özelinde değerlendirecek olursak Data Factory servisi çerisinde Integration Runtime (IR) barındırması sayesinde SSIS ile geliştirdiğiniz ETL paketlerini de çalıştırabilme yeteneğine sahip.
Resim-1
Zengin Bağlantı Seçenekleri
Avantajları sadece ölçeklenebilir ve Code-Free olması değil elbette. Azure Data Factory, barındırdığı geniş bağlantı seçenekleri sayesinde; NoSQL sistemler, Big Data servisleri ve File formatındaki veri kaynakları gibi birçok veri kaynağına bağlanabileceğiniz bir çalışma ortamı sunuyor. Büyük çaplı projelerde onlarca farklı veri kaynağına aynı anda bağlanmak gerektiğinde Data Factory’nin bu zenginliği ciddi bir avantaj sağlıyor diyebiliriz.
Resim-2
Data Factory Nasıl Kurulur?
Gelelim Azure Data Factory’nin kullanımına. Öncelikle elbette bir Azure hesabınız olması gerekir. Yeni bir Azure hesabı açtığınızda 1 ay boyunca geçerli 200 USD değerinde kredi sağlanıyor. Bu kredileri kullanarak denemeler yapabilirsiniz. Detaylar için; Ücretsiz Azure Hesabı
Bireysel hesabınızla veya şirket hesabınızla bir şekilde Azure hesabınızı oluşturduğunuzu ve portal.azure.com’a giriş yaptığınızı varsayalım. Buradan sonra sırasıyla aşağıdaki adımları izleyerek Data Factory servisinizi oluşturabilirsiniz.
Adım 1:
Portal.azure.com’a giriş yaptığınızda aşağıdaki gibi bir ekran sizi karşılayacak. Buradan Create a Resource seçeneğine tıklayarak istediğiniz Azure servisini oluşturabilirsiniz. Herhangi bir Azure servisi oluşturmadan önce elbette Azure’da bir Resource Group (Kaynak Grup) oluşturmanız gerekli. Çünkü bu servisleri oluştururken, donanımsal olarak hangi kaynakları kullanacağını belirtmemiz gerekiyor.
Resim-3
Adım 2:
Create a Resource seçeneğine tıkladıktan sonra karşınıza tüm Azure servislerinin listesi gelecek, bu listeden Data Factory’yi seçtikten sonra aşağıdaki ekrana ulaşacaksınız (Resim-4). Burada daha önce de bahsettiğim gibi Resource Group seçimi yapmanız gerekiyor. Eğer hiç oluşturmadıysanız Create New seçeneğine tıklayarak yeni bir Resource Group oluşturabilirsiniz. Ardından oluşturacağın Data Factory sevisi için bir isim seçmeniz gerekiyor. Bu ismi tüm dünyadaki Data Factory servislerinin kullanıcı adı gibi düşünebilirsiniz bu yüzden benzersiz olması yani daha önce kullanılmamış olması gerekiyor.
Son olarak Region ve Version seçimlerini de yaptıktan sonra bir sonraki sekmeye geçebilirsiniz.
Resim-4
Adım-3:
Bu ekranda Data Factory servisinize bir versiyon kontrol teknolojisi ekleyebilirsiniz. Eğer herhangi bir teknoloji eklemek istemiyorsanız ilk satırdaki Configure Git Later seçeneğini aktif hale getirmeniz gerekiyor. Aksi taktirde kurulum da bir sonraki aşamaya geçemeyeceksiniz.
Networking, Advanced ve Tags sekmelerinde de isteğe bağlı düzenlemelerinizi yapabilirsiniz.
Resim-5
Adım-4:
Tüm konfigürasyon işlemlerini tamamladıktan sonra Review + Create sekmesinde o ana kadar yaptığınız seçimlerin bir özetini görebilirsiniz. Eğer herhangi bir hata olduğunu düşünmüyorsanız Create butonuna tıklayarak saniyeler içerisinde Data Factory servisinizi oluşturabilirsiniz.
Resim-6
Azure Data Factory servisini sıfırdan ele alarak keşfettiğimiz yazı serimizin ilk bölümünü tamamladık. Bir sonraki bölümde Azure Data Factory arayüzünü tanıyacağız ve temel fonksiyonlarını kullanmayı göreceğiz. Sonraki bölümde görüşmek üzere!
Bu konuyla ilgili sorularınızı alt kısımda bulunan yorumlar alanını kullanarak sorabilirsiniz.
Referanslar
https://docs.microsoft.com/en-us/azure/data-factory/introduction
TAGs: Azure Data Factory, Azure Data Factory nedir, Data Factory, ETL, Data Factory nedir?