Fun With Docker – ELK Stack – ElasticSearch
  1. Anasayfa
  2. Container

Fun With Docker – ELK Stack – ElasticSearch

0

Fun with Docker yazı serisine ELK Stack kurulumunu aktaracak, yazı dizisi içerisinde yeni bir yazı dizisiyle devam etmeye karar verdim.

Bilmeyenler için ELK, 3 ayrı open source proje olan Elasticsearch, Logstash ve Kibana projelerinin birleşiminden oluşan yine open source olarak kullanıma sunulan ve bakımı Elastic tarafından  yürütülen bir proje.

Resim-1

Bu arada ELK Stack ile ilgili tüm detaylara https://www.elastic.co/elk-stack linkini kullanarak ulaşabilirsiniz.

Peki biz yazı dizisi sırasında ELK Stack ile neler yapmaya çalışacağız?

Docker hostumuz (Windows 10) üzerinde File Beat kurarak, IIS Loglarını toparlayacağız. Topladığımız bu IIS loglarını container üzerinde koşan LogStash’e gönderecek ve LogStash üzerinde yaptığımız konfigürasyonlarla parse operasyonunu tamamlayıp, oluşan anlamlı datayı yine container üzeride koşan ElasticSearch ‘e insert edeceğiz. Insert ettiğimiz tüm bu log datasını ise yine container imajı olarak ayağa kaldırıp, konfigürasyonunu yaptığımız Kibana ile görüntüleyeceğiz.

Yazı dizisi tamamlandığında, Docker açısından önemli challangelardan bir tanesi olarak karşımıza çıkabilecek Container’lar arasındaki network iletişimi ve sytem adminler açısından büyük bir challange olan log toplama ve raporlama konularını containerlar üzerinde ELK sistemi ayağa kaldırarak bir çözüme kavuşturmuş olacağız. Umarım elime yüzüme bulaştırmadan çalışan bir sistem kurabilirim:)

Yazının ilk bölümüne tüm projenin ve yazı dizimizin depend ettiği ElasticSearch kurulumu ile başlayacağız.

Herşeye başlamadan önce Docker for Windows ile yeni tanışıyorsanız, community (ce) edition ‘ı download ederek bilgisayarımıza kurmamız gerekiyorhttps://www.docker.com/docker-windows

Docker for Windows kurulumunu tamamladıktan sonra repositoryde ihtiyacımız olan imajı local repositorye indirerek kuruluma devam edebiliriz.

Öncelikle komutlarımızı çalıştırabilmek için Powershell’i run as administrator moduyla açtığımızdan emin olalım ve Powershell admin modunda açıldıktan sonra aşağıdaki komut ile ElasticSearch imajını indirelim.

docker pull elastic/elasticsearch:6.2.2

Kullanacağım imaj uyum problemi olmaması için yine elastic tarafından maintain edilen imaj olacak. Pull işlemi tamamlanana kadar aşağıdaki linki kullanarak repository hakkında detaylı bilgi edinebilirsiniz.

https://hub.docker.com/r/elastic/elasticsearch/


Resim-1

Artık aksiyon aşamasına geçebiliriz.. Testlerim sırasında kullandığım imajlarımı, default olarak kullanılan bridge network yerine yine bridge driveri kullanarak oluşturduğum custom bir networkle çalıştırdım. Siz de benim gibi containerları static ipyle çalıştırmak istiyorsanız, aşağıdaki komutları takip etmenizi öneririm. Docker networking konusu detaylı olarak araştırmanız ve test etmeniz gereken bir konu. Bununla ilgili dilerseniz Docker dokümantasyonlarını inceleyebilirsiniz. Ben network layerın detaylarında boğulmadan hızlıca tanımları yapacağım;

Reklam içeren:) bu yeni networku oluşturmak için;

docker network create –driver bridge –subnet=172.18.0.0/24 ogretmenNw 

Komutunu kullanmanız yeterli olacaktır. Eğer 172.18.0.0/24 subnetini kullanan başka custom bir  network tanımınız yok ise hata almadan yeni network oluşturma işlemini tamamlayabilirsiniz. Komutun işe yarayıp yaramadığını görmek için ise aşağıdaki komutu;

docker network ls

Havalı olsun isterseniz de;

(docker network ls)[-1]

Komutunu kullanabilirsiniz.  Powershell çok güçlü bir scripting dili, [-1] ile dizinin son indexine ait değeri bizim için çekip getiriyor, sanırım Python’dan esinlenmişler:) Dağılmadan hemen ElasticSearch kurulumuyla devam edelim…

ElasticSearch kurulumu da Jenkins kurulumu kadar kolay, bu sefer kullanması gereken portu da önceden kontrol ettim ve aşağıdaki komutu çalıştırdım, işte Docker for Windows ile ElasticSearch kurulumu bu kadar kolay…

docker run -p 9200:9200 -p 9300:9300 –network ogretmenNw –name myElastic –hostname myElastic –ip172.18.0.21 -e “discovery.type=single-node” elastic/elasticsearch:6.2.2 


Resim-2

Sonraki yazılarımızda kullanacağımız önemli konfigürasyon noktalarını da içeren bu komutla, myElastic isimli yeni bir container oluşturdum. Bu container’in hostname ‘i de display name ‘i gibi myElastic oldu. IP addressi 172.18.0.21 ve 9200-9300 portlarını docker hosta expose ediyor.

Elbette ElasticSearch tek başına ELK Stack için yeterli değil ancak olmazsa olmazı. Peki bu ElasticSearch ü kurduk da ne oldu, nasıl bağlanırız, ne yaparız diyorsanız. Bu amçala kullanmak için Chrome extensionlar arasından ElasticSearch Head plugini kullanabilirsiniz.


Resim-3

Yukarıdaki bölüme http://localhost:9200 yazarak localhost üzerinden Elasticsearch’e bağlantı kurarak, dilediğiniz gibi ElasticSearch ü bozabilirsiniz:) İyi eğlenceler…


Resim-4

Bu konuyla ilgili sorularınızı  alt kısımda bulunan yorumlar alanını kullanarak sorabilirsiniz.

Referanslar

www.mshowto.org

TAGs: Container, ElasticSearch,Docker,Docker for Windows, Jenkins,PowerShell,Windows 10, ELK Stack,ELK, Open source, ElasticSearch, Logstash, Kibana,File Beat

Bu İçeriğe Tepkin Ne Oldu?
  • 0
    harika_
    Harika!!
  • 0
    be_enmedim
    Beğenmedim
  • 0
    _ok_iyi
    Çok iyi
  • 0
    sevdim_
    Sevdim!
  • 0
    bilemedim_
    Bilemedim!
  • 0
    olmad_
    Olmadı!
  • 1
    k_zd_m_
    Kızdım!

Üniversite ve öncesindeki öğrenimimi İzmir’de tamamladım. Ege Üniversitesi Bilgisayar Mühendisliği bölümünden mezun olduktan sonra IBTech ‘te System Administrator olarak kariyerime adım attım. Sonrasında yine IBTech içerisinde System, Database ve Application yönetimini aynı anda yapabildiğim kartlı ödeme sistemleri ekibinde görev aldım. Burada gerçekleştirdiğimiz altyapı otomasyon projelerinin de etkisiyle Intertech’te DevOps pozisyonunda kariyerime devam etme fırsatını elde ettim.Microsoft onprem ürünlerinden SCCM, SCO, Windows Server, Active Directory, Exchange ve SQL Server gibi temel ürünlerde adminlik yapmamın yanı sıra, Failover Cluster, Powershell gibi konularda da iş hayatımda önemli çalışmalarım ve tecrübelerim oldu.DevOps ‘un hayatıma girmesiyle de işler çok hızlı değişmeye başladı. Hızlıca CI/CD süreçlerinde kullanılan Microsoft TFS kullanmaya başlayarak, Open Source ürünlerle tanışma fırsatını yakaladım. Piyasada kullanılan Open Source ürünlerden Jenkins, Ansible, Docker, Kubernetes, Elastic Search, Logstash, Kibana ile uğraşma fırsatım oldu.Üniversiteden mezun olduktan sonra hiç bitmeyen yazılım merakım sayesinde ASP .Net, .Net Core, C# programlama dilleriyle geliştirmelerim oldu. Orta seviyede Groovy, başlangıç seviyesinde de Python dillerinde program ya da script geliştirebiliyorum, ileri derecede Powershell bilgisine sahibim. Önümüzdeki yıllarda Powershell ile ilgili Türkçe kaynaklar yayımlamayı, python bilgimi arttırarak, DevOps ‘un özellikle IaC alanında programlama diline bağımlı kalmaksızın geliştirmeler yapabilmeyi hedefliyorum.

Yazarın Profili

Bültenimize Katılın

Tıklayın, üyemiz olun ve yeni güncellemelerden haberdar olan ilk kişi siz olun.

E-posta adresiniz yayınlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir