İlginizi Çekebilir
  1. Ana Sayfa
  2. Yazılım
  3. Python ile Veri Analizi – NumPy ve Pandas Kütüphaneleri

Python ile Veri Analizi – NumPy ve Pandas Kütüphaneleri

Python ile Veri Analizi – NumPy ve Pandas Kütüphaneleri

Günümüzde en popüler ve sıklıkla bahsedilen konu veri analizi, nam-ı diğer ‘’… Peki veri yönetimi veya manipülasyonunu nasıl yapmak daha doğru olur? Doğru olandan bahsederken sanırım artık günümüzde basiti ve hızlıyı işaret etmeliyiz. Bu noktada da tüm oklar Python’ı işaret ediyor. Ve tabii ki onun eşsiz iki kütüphanesi ve ’dan doğma

NumPy, bilimsel hesaplamalarda ve işlemlerde kullanılıyor. Bu paket ile birlikte N-Dimensiyonel arrayleri manipüle edebildiğiniz ve hızlıca yaratabildiğimiz, linear cebirden, Fourier Transformasyona kadar tamamen matematiğin gücünü kullanabildiğiniz eşsiz kütüphane… Güzel özelliklerinden birini örnek vermek gerekirse; arrayleri broadcast edebiliyor, böylece orijinal array üzerinde canlı bir şekilde, başka bir değişkene kopyalamaya gerek kalmadan değişiklik yapabiliyorsunuz. Bu da memory problemini ortadan kaldırıyor.


Resim-1

Pandas tarafına geçecek olursak ise işte ‘Data Analysis’ burada başlıyor diyebiliriz. Verileri irdelediğimiz, manipüle ettiğimiz kısım da burası. Pandas’ı Microsoft Excel olarak da düşünebiliriz. Burada ek olarak web sitelerinden html tagleri okuyarak veri çekebiliyor, bunu istediğimiz platforma (sql, excel, csv vb.) aktarabiliyoruz. Tabi ki ‘merge, join ve concatenation’ gibi global işlemleri de rahatlıkla pandas’in içerisinde bulunan fonksiyonlarla yapılabiliyor, verileri istediğimiz gibi yönetebiliyoruz. Ancak ben çok detaya inmeden, bu makalemde daha çok bir web sitesinden veri çekme, csv veya excel’den veri okuyup sql’e aktarma gibi işlemleri kısaca kod üzerinden göstererek Pandas’ın gücüne dikkat çekeceğim.

Mesela aşağıdaki gibi bir excelimiz olsun:


Resim-2

Bu exceli Pandas ile okumak ve onu yönetmek çok basit. Bu excelimizi sonrasında sqlalchemy kütüphanesini kullanarak veritabanına aktarabiliriz.

Not: Sqlalchemy kütüphanesini edinmek için conda install sqlalchemy veya pip install sqlalchemy komutunu cmd’den çalıştırmalısınız.


Resim-3

Gördüğünüz üzere excel’deki veriyi sql’e atarak, oradan başarıyla okuduk. Şimdi ise kısaca bir web sitesinden veri okumayı göstermek istiyorum. Mesela banka şube bilgilerinin yer aldığı bir linki (https://www.tbb.org.tr/modules/banka-bilgileri/banka_sube_bilgileri.asp) ele alalım ve web sitesinin görüntüsü de aşağıdaki gibi olsun.


Resim-4

Kod tarafında yapmamız gereken ise çok basit:


Resim-5

Ve elde ettiğiniz veri içerisinde arzu ettiğinizi NumPy ve Pandas kütüphanelerini kullanarak yapabilirsiniz. O artık sizin talebinize göre, yapmak istediğinize göre değişkenlik gösterecektir. Ancak bir örnek vermek gerekirse istenilen veriyi aşağıdaki gibi adresleyebilirsiniz:


Resim-6

Bu makalemde kısaca NumPy ve Pandas’tan bahsetmeye ve biraz da olsa fikir vermeye çalıştım. Detaylı bilgileri ve fonksiyonların tamamını pandas’ın resmi sayfasından bulabilirsiniz.

Bu konuyla ilgili sorularınızı https://forum.mshowto.org linkini kullanarak ulaşacağınız forum sayfamızda sorabilirsiniz.

Referanslar

www.mshowto.org

TAGs: , , Data Analysis, ,, NumPy,Pandas

Yorum Yap

Yazar Hakkında

Münih Teknik'te Elektronik ve Haberleşme Mühendisliğinden mezun oldum. Sonraki iki yıl IBTech'te system adminliği yaptım. Bu sırada da ilgi alanım doğrultusunda freelance olarak Csharp ve Python projelerinde yer aldım. Otomasyona olan ilgim sonucu da Comparex Turkey'de iş imkanı buldum. Şu an bir yıldır Comparex Turkey'de Solutions Consultant olarak çalışıyorum. Robotic Process Automation'dan, Workload Automation'a kadar birçok alanda çalışıyorum. Bunları yaparken de ağırlıklı olarak PowerShell, Python ve Bash Scripting kullanıyorum.

Yorum Yap