Big Data (Büyük Veri) ve Büyük Veri Yöneticisi Nedir? Son yıllarda sıkça duyduğumuz bir ünvan Büyük Veri Yöneticisi (Big Data Admin). Bu uzmanlıktaki kişiler ne iş yapar ve sorumlulukları nelerdir, hangi teknolojiler ile çalışırlar? Bu yazımda sizlere bunlar hakkında bilgi vermeye çalışacağım.
Öncelikle (Büyük Veri) Big Data nedir?
Örneğin arkadaşlarımız ile marka bir araba konusunda konuştuk ve o marka aracın reklamı telefonumuzda karşımıza geldi, ya da akşam işten eve dönmeden önce arkadaşlarımızla bugün pizza mı ? yesek diye konuşsak hemen reklamı telefonumuza düşer.
Kullandığımız internete bağlı olan cihazlarımızdan sadece internette gezinmiyoruz her bir websitesi hep bir uygulama açmamız bir veri oluşturuyor , bu verilerin hepsi büyük veriyi oluşturmaktadır.
Big Data için (Büyük veri) 3 temel özellik ise, sürekli artan hacimlerde olması, önceki gelen verilere göre her gelen verinin daha hızlı gelmesi ve daha fazla çeşitlilikle gelmesi (Volume , Velocity, Variety yani 3V ) şeklindedir.
Resim-1
Büyük veri sınırsız miktarda verinin saklanması toplanması ve anlamlandırılması ile ortaya çıkar. Bu veriler farklı formatlarda olabilir bu verilerin yapay zeka, makine öğrenmesi ve birçok opensource veya enterprise ürün kullanılarak anlamlandırılması ile oluşmaktadır.
Büyük veriyi genellikle bankalar, e ticaret siteleri ve büyük markalar kullanmaktadır.
Bu veriler, müşteri davranışlarının analizi, pazarlama stratejilerinin geliştirilmesi, ürün ve hizmetlerin iyileştirilmesi gibi amaçlarla kullanılabilir.
Büyük veri, farklı kaynaklardan toplanabilir, ancak en yaygın kaynaklar arasında sosyal medya, mobil cihazlar, e-ticaret siteleri, sensörler ve IoT (Nesnelerin İnterneti) cihazları bulunur. Bu veriler, genellikle farklı formatlarda saklanır ve işlenir, ancak en yaygın olarak kullanılan formatlar arasında CSV, JSON ve NoSQL veritabanları bulunur.
Sonuç olarak, büyük veri, bugünün veri ekonomisinde önemli bir rol oynayan ve sürekli olarak büyüyen bir veri kavramıdır. Anlamlı sonuçlar çıkararak kullanılması, şirketlerin ve kurumların verimliliğini artırmasına, pazarlama stratejilerinin geliştirilmesine ve diğer çok sayıda faydaya neden olabilir.
Peki bu büyük verinin yönetiminden sorumlu büyük veri yöneticisi ne iş yapar ve hangi Teknolojileri kullanır birazda ona değinelim.
Big Data (Büyük Veri) yöneticisi kimdir?
Resim-2
Büyük veri analitik projelerinin planlanması , yönetilmesi , yürütülmesinden ve kullanılan sunucuların 7/24 sağlıklı şekilde çalışmasından sorumludur.
Ayrıca, veri güvenliği ve gizliliği konularını da yönetirler. Big Data Admin (Büyük Veri yöneticisi) profilinde çalışan kişiler , veri analistleri, veri yazılımcıları ve diğer IT profesyonelleriyle çalışır ve verianalitik projelerinin tamamlanmasını ve sonuçlarının şirkete uygulanmasını koordine eder.
Görevleri;
- Veri toplama depolama ve yapılandırma.
- Veri analitik uygulamalarının yönetini ve tasarımı
- Veri kalitesinin garanti edilmesi
- Veri güvenliği
- Ekip yönetimi
Kullandığı Teknolojiler;
Resim-3
- Veri Depolama Teknolojileri
Hadoop, NoSQL veri tabanları (MongoDB, Cassandra), SQL veri tabanları (Oracle, MySQL, SQL Server).
- Veri Analitik Teknolojileri
Apache Spark, Apache Storm, Apache HBase, Apache Hive, Apache Impala.
- Veri Görselleştirme Teknolojileri
Apache Superset, Tableau , PowerBI
- Veri Bilimi ve Makine Öğrenme Teknolojileri
Python, R, TensorFlow, PyTorch, scikit-learn, H2O
- Bulut Teknolojileri
Amazon Web Services (AWS), Microsoft Azure, Google Cloud Platform
- Veri Yönetimi ve Veri Katmanı Platformları
Apache Ni Fi
- Veri Yapısı ve Veri Modelli Olusturma Teknolojileri
Talend, Informatica, MuleSoft, Apache Nifi.
- DevOps ve Veri Yönetimi
Docker, Kubernetes, Ansible
- Veri Güvenliği ve Koruma Teknolojileri
Apache Ranger, Apache Sentry, Cloudera Navigator, Dataguard
Bu konuyla ilgili sorularınızı alt kısımda bulunan yorumlar alanını kullanarak sorabilirsiniz.
Referanslar