Apache Spark ile LightGBM Kullanarak Sınıflandırma Yapmak
Merhabalar. LightGBM’in ününü duymuşsunuzdur. Ancak bunu Spark ile kullanmak istediğinizde maalesef bu algoritma Spark ML’de bulunmuyor. Bu yazımızda LightGBM’i Spark içinde nasıl kullanacağımızı PySpark ile uygulamalı olarak göreceğiz. Bildiğimiz gibi Apache Spark büyük veri dünyasında makine öğrenmesi çalışmalarının vazgeçilmez bir aracı. Küçük veri dünyasında scikit-learn ile yaptığımız işleri büyük veri tarafında genelde Spark ile yaparız. […]
Kaggle İlaç Sınıflandırma Yarışması – DEEP LEARNING Uygulaması (Tensorflow)
Bu uygulama yazısında, Kaggle’dan alınan veri seti kullanılarak, ilaçlar üzerine multilabel sınıflandırma çalışması yapılmıştır. İlk modelde LGBM yöntemi tercih edilirken, ikinci model çalışmasında Tensorflow dataframe’i tercih edilerek deep learning model mimarisi kurulmuştur. Bu veri setinde deep learning modeli, boosting yöntemine göre daha başarılı bir performans sergilediği görülmüştür.
Lojistik Regresyon ve K-En Yakın Komşu
Giriş Regresyon modelinde hedef değişkenin (bağımlı – y) nicel olduğunu biliyoruz. Ancak gerçek hayatta birçok durumda hedef değişken nicel değil nitel olabiliyor. Nitel değişken ikili (evet-hayır, içiyor-içmiyor, hasta-hasta değil) olabileceği gibi, kategorik (iyi-kötü-çirkin) de olabilir. Hatta bu kategorik değişken sıralı (ilk öğrenim – lise – üniversite) da olabilir. Bu şekildeki hedef nitel değişkenleri tahmin etmeye […]
