Veri Bilimi (Data Science) Süreçleri
Yapay Zeka (Artifical Intelligence) da verinin tahmin edilmesi, akıllı hale getirilmesi ve aksiyonlarımız belirlemesi kadar sürecin ve mimarinin düzgün kurulması oldukça önemlidir. Son dönemlerde AI, BI, Cognitive Servisler gibi yapay zeka ve veri analiz teknolojilerinin meşhur olmasının en önemli sebeplerinden bir tanesi bu verilerin kolay işlenebilir ve taşınabilir hale gelmesidir.
Önceden verinin tahminlenmesi için gereken yapay zeka altyapısı çok ciddi süre, yatırım ve bilgi birikimi istiyordu. Bulut bilişim ile Computing altyapısının kuvvetlenmesi, herkes tarafından kullanılabilir olması verinin işlenmesi sorununu çözdü.
Bir diğer sorun ise verinin platformlar arası taşınması konusu idi. Kurumsal firmalar çok önceden büyük verilere sahip kuruluşlar, fakat verinin tutulduğu ortam ile tahminleme yapılan veya yapay zeka da kullanılacak altyapının birbirinden farklı olması verinin taşınmasını hem zorlaştırıyor hem de süreç doğru işletilmez ise başarısızlık ile sonuçlanmasına neden oluyordu.
Yukarıda bahsettiğimiz gibi tüm işletmelerde veriyi üreten oldukça fazla bileşen var ve aynı zamanda bu veriler çok büyük miktarlarda veri depolama sistemlerinde buluyor. Fakat birçok yerde bu veri kullanılamıyor veya dinamik bir şekilde sürekli entegre edilemiyor.
İlk olarak veri biliminin amacını tanımlayarak süreci inceleyelim. Veri biliminde amaç mevcut verinin zeka katılarak akıllı aksiyonlara dönüştürülmesidir. Farklı bir deyişle verinizden bir değer oluşturarak iş süreçlerinizin veya hizmetlerinizin kaliteli hale getirilmesidir.
Örnek vermek gerekirse, bir ticaret sisteminde müşterilerin hangi ürünleri aldığı bilgisi tek başına çok ciddi bir değer değilken hangi müşterilerin hangi ürünleri alabileceğini tahmin etmek ve onlara alabilecekleri ürünleri sunmak verinize ve satışlarınıza ciddi değer katar.
Yukarı da bahsedilen değerleri oluşturabilmek için veri bilimi mimarisinin teknolojik olarak iyi tasarlanması gerekiyor.
Öncelikle verinin üretilmesi ve akıllı hale getirilmesi ve iş birimlerine, uygulamalara sunulmasına kadar olan bir süreci kısaca inceleyelim.
Günümüz uygulama ve kuruluşlarında çok büyük verilen olduğunu ve bu veriyi üreten çok fazla sayıda bileşeni olduğu söylemiştik.
Verimize değer katmak için yukarıda özetlenen mimariyi çok iyi işletmemiz gerekiyor.
Yukarıda Microsoft Cortana Intelligence Suite’ in çalışma prensibini görüyorsunuz. Cortana Intelligence Suite yukarıda bahsettiğimiz mimariyi uçtan uca çözebilecek tüm teknolojileri bize sunan bir teknoloji paketidir.
Öncelikle verinizi bir çok bileşenden uygulama, Sensor, Cihaz ve diğer bir çok veri kaynağında düzgün, sorunsuz ve hızlı bir şekilde ortak bir işleme ortamına atmalısınız.
Bu aşama da farklı bir yazı da konunun detaylarına gireceğimiz birçok Microsoft Azure teknolojisi bize çözüm sunuyor. Örn. Data Factory, Data Catalog, Event Hub, Data Gateways vs.
Buradaki en önemli konulardan bir tanesi veriyi kolay bir şekilde yeni platforma dinamik bir şekilde atmaktır.
Örneğin terabaytlarca bir SQL verisinin işlenip aynı şekilde buluta taşınması çok ciddi bir süreç ve maliyettir.
Fakat Azure Data Factory gibi Teknolojiler ile mevcut platformunuzu ve altyapınızı koruyarak veri taşıma arabirimleri ile buluta kopyalayabilirsiniz. Ve bu taşıma işlemini sürekli otomatik hale getirebilirsiniz.
Veya bir IoT sensörden verinin öncelikle mevcut onprem SQL e taşınması ve sonra buluta taşınması yerine Event Hubs hizmeti ile direk olarak bulutta bulunan veri depolama birimlerine kolayca aktarabilirsiniz.
İkinci kısım (Intelligence) yani zeka kısmı veri biliminin esas olarak işletildiği bölümdür. Burada Azure Machine Learning, Cognitive Services gibi teknolojiler ile iş probleminize uygun bir şekilde yorumlayabilirsiniz.
Örnek olarak sürekli sıcaklık ölçen bir IoT cihazdan yukarıda bahsettiğimiz gibi Azure depolama teknolojilerine taşıyarak (Azure SQL, SQL, Blob Storage vs.) ve ordan da Machine Learning platformuna girdi olarak vererek ileriki tarihli sıcaklık değerlerinin tahminlemesi yapılır.
İlk iki bölümde aslında iş problemini çözdük. Fakat tüm teknolojilerde olduğu gibi işin çözülmesi çözüm sunulmadan bir işe yaramıyor.
Dolayısı ile var ise aksiyonumuzu veya yeni değer katan verinin sunulması işlemi var. Burada yine Azure bulut ortamı kullanılarak Machine Learning veya Cognitive Servisler de üretilen data bir bot servisine bir Uygulamaya veya PowerBI gibi bir iş zekası arabirimine aktarılmalı ve kullanımına sunulmalıdır.
Genel olarak veri biliminde ki süreçleri özet olarak incelemiş olduk. Yukarıda üç parça olan tüm çözüm süreçlerini detaylı olarak hangi teknolojiler ile kullanacağımız ayrıca inceliyor olacağız.
Bu konuyla ilgili sorularınızı alt kısımda bulunan yorumlar alanını kullanarak sorabilirsiniz.
Referanslar
TAGs : Azure Data Factory , Event Hubs, Cognitive (Bilişsel) Servisler , AI, yapay zeka, Machine Learning, artificial intelligence, AI nedir, artificial intelligence nedir, AI ornekler, artificial intelligence ornekler, Cortana Intelligence Suite
