1. Ana Sayfa
  2. Microsoft Azure
  3. Veri Bilimi (Data Science) Süreçleri

Veri Bilimi (Data Science) Süreçleri

Veri Bilimi (Data Science) Süreçleri

(Artifical Intelligence) da verinin tahmin edilmesi, akıllı hale getirilmesi ve aksiyonlarımız belirlemesi kadar sürecin ve mimarinin düzgün kurulması oldukça önemlidir. Son dönemlerde , BI, Cognitive Servisler gibi ve veri analiz teknolojilerinin meşhur olmasının en önemli sebeplerinden bir tanesi bu verilerin kolay işlenebilir ve taşınabilir hale gelmesidir.

Önceden verinin tahminlenmesi için gereken yapay zeka altyapısı çok ciddi süre, yatırım ve bilgi birikimi istiyordu. Bulut bilişim ile Computing altyapısının kuvvetlenmesi, herkes tarafından kullanılabilir olması verinin işlenmesi sorununu çözdü.

Bir diğer sorun ise verinin platformlar arası taşınması konusu idi. Kurumsal firmalar çok önceden büyük verilere sahip kuruluşlar, fakat verinin tutulduğu ortam ile tahminleme yapılan veya yapay zeka da kullanılacak altyapının birbirinden farklı olması verinin taşınmasını hem zorlaştırıyor hem de süreç doğru işletilmez ise başarısızlık ile sonuçlanmasına neden oluyordu.

Yukarıda bahsettiğimiz gibi tüm işletmelerde veriyi üreten oldukça fazla bileşen var ve aynı zamanda bu veriler çok büyük miktarlarda veri depolama sistemlerinde buluyor. Fakat birçok yerde bu veri kullanılamıyor veya dinamik bir şekilde sürekli entegre edilemiyor.

İlk olarak veri biliminin amacını tanımlayarak süreci inceleyelim. Veri biliminde amaç mevcut verinin zeka katılarak akıllı aksiyonlara dönüştürülmesidir. Farklı bir deyişle verinizden bir değer oluşturarak iş süreçlerinizin veya hizmetlerinizin kaliteli hale getirilmesidir.

Örnek vermek gerekirse, bir ticaret sisteminde müşterilerin hangi ürünleri aldığı bilgisi tek başına çok ciddi bir değer değilken hangi müşterilerin hangi ürünleri alabileceğini tahmin etmek ve onlara alabilecekleri ürünleri sunmak verinize ve satışlarınıza ciddi değer katar.

Yukarı da bahsedilen değerleri oluşturabilmek için veri bilimi mimarisinin teknolojik olarak iyi tasarlanması gerekiyor.

Öncelikle verinin üretilmesi ve akıllı hale getirilmesi ve iş birimlerine, uygulamalara sunulmasına kadar olan bir süreci kısaca inceleyelim.

Günümüz uygulama ve kuruluşlarında çok büyük verilen olduğunu ve bu veriyi üreten çok fazla sayıda bileşeni olduğu söylemiştik.

Verimize değer katmak için yukarıda özetlenen mimariyi çok iyi işletmemiz gerekiyor.

Yukarıda Microsoft ’ in çalışma prensibini görüyorsunuz. yukarıda bahsettiğimiz mimariyi uçtan uca çözebilecek tüm teknolojileri bize sunan bir teknoloji paketidir.

Öncelikle verinizi bir çok bileşenden uygulama, Sensor, Cihaz ve diğer bir çok veri kaynağında düzgün, sorunsuz ve hızlı bir şekilde ortak bir işleme ortamına atmalısınız.

Bu aşama da farklı bir yazı da konunun detaylarına gireceğimiz birçok Microsoft Azure teknolojisi bize çözüm sunuyor. Örn. Data Factory, Data Catalog, Event Hub, Data Gateways vs.

Buradaki en önemli konulardan bir tanesi veriyi kolay bir şekilde yeni platforma dinamik bir şekilde atmaktır.

Örneğin terabaytlarca bir SQL verisinin işlenip aynı şekilde buluta taşınması çok ciddi bir süreç ve maliyettir.

Fakat gibi Teknolojiler ile mevcut platformunuzu ve altyapınızı koruyarak veri taşıma arabirimleri ile buluta kopyalayabilirsiniz. Ve bu taşıma işlemini sürekli otomatik hale getirebilirsiniz.

Veya bir IoT sensörden verinin öncelikle mevcut onprem SQL e taşınması ve sonra buluta taşınması yerine hizmeti ile direk olarak bulutta bulunan veri depolama birimlerine kolayca aktarabilirsiniz.

İkinci kısım (Intelligence) yani zeka kısmı veri biliminin esas olarak işletildiği bölümdür. Burada Azure , Cognitive Services gibi teknolojiler ile iş probleminize uygun bir şekilde yorumlayabilirsiniz.

Örnek olarak sürekli sıcaklık ölçen bir IoT cihazdan yukarıda bahsettiğimiz gibi Azure depolama teknolojilerine taşıyarak (Azure SQL, SQL, Blob Storage vs.) ve ordan da Machine Learning platformuna girdi olarak vererek ileriki tarihli sıcaklık değerlerinin tahminlemesi yapılır.

İlk iki bölümde aslında iş problemini çözdük. Fakat tüm teknolojilerde olduğu gibi işin çözülmesi çözüm sunulmadan bir işe yaramıyor.

Dolayısı ile var ise aksiyonumuzu veya yeni değer katan verinin sunulması işlemi var. Burada yine Azure bulut ortamı kullanılarak Machine Learning veya Cognitive Servisler de üretilen data bir bot servisine bir Uygulamaya veya PowerBI gibi bir iş zekası arabirimine aktarılmalı ve kullanımına sunulmalıdır.

Genel olarak veri biliminde ki süreçleri özet olarak incelemiş olduk. Yukarıda üç parça olan tüm çözüm süreçlerini detaylı olarak hangi teknolojiler ile kullanacağımız ayrıca inceliyor olacağız.

Bu konuyla ilgili sorularınızı https://forum.mshowto.org linkini kullanarak ulaşacağınız forum sayfamızda sorabilirsiniz.

Referanslar

www.mshowto.org

TAGs : Azure Data Factory , Event Hubs, , AI, yapay zeka, Machine Learning, , , nedir, , ornekler, Cortana Intelligence Suite

Yorum Yap

Yazar Hakkında

Onur Yüksektepeli - Chief Technology Architect | Micosoft MVP Onur Yüksektepeli Nephocraft firmasının kurucusu aynı zamanda kendi firmasında teknoloji çözümleri mimarıdır. 15 Yıldan fazla IT tecrübesi ile temel uzmanlık alanı olan Platform ve diğer teknolojiler için müşterilerine ürün ve hizmetler sunmaktadır. Microsoft MVP ünvanına sahip Onur Yüksektepeli birçok IT etkinliğinde aktif konuşmacı olarak ve IT topluluklarında yönetici olarak aktif rol üstlenmektedir. Nephocraft firmasın da yönetici olarak oluşturduğu çözümlerde yeni teknoloji gelişmelerini de göz önünde bulundurarak, müşterilerine esnek, yenilikçi, akıllı ve üretken iş çözümleri üretmektedir.Onur Yüksektepeli bulut, platform, data, devops, development gibi konularda aktif danışmanlık ve IT eğitmenliğine de devam etmektedir.

Yorum Yap