Anasayfa / Hiyerarşik Kümeleme / Hiyerarşik Kümeleme Python Uygulama

Hiyerarşik Kümeleme Python Uygulama

Kümeleme ve hiyerarşik kümelemede ilerlemeye devam ediyoruz. Bu yazımızda Python dilinde hiyerarşik kümeleme uygulaması yapacağız.

Önce kütüphaneleri ve veri setini yükleyelim:
Veri setini buradan indirebilirsiniz.

import numpy as np
import matplotlib.pyplot as plt
import pandas as pd
import os
os.chdir('Calisma_Dizniniz')
dataset = pd.read_csv('Mall_Customers.csv')

Spyder varialble explorer ekranından veri setimizi görelim.

Veriyi Anlamak

Yukarıda görülen veri seti bir markete ait olsun. Market, müşterilerine dağıttığı üyelik kartları ile müşteri bilgileri ile satın alma bilgilerini kaydetmiş olsun. Niteliklerimiz sırasıyla şöyle: Müşteri Numarası (CustomerID), Cinsiyet (Gender), Yaş (Age), Yıllık Gelir (Annual Income) ve Harcama Skoru (Spending Score). Harcama Skoru müşterilerin geçmiş alış-veriş kayıtlarına dayanarak market tarafından 1 ile 100 arasında belirlenmiş bir puandır. Puan 1’e yaklaşması müşterinin daha az harcama yapan bir müşteri olduğunu gösterir. Market elindeki müşterileri segmentlere (kümelere) ayırmak ister. Kim bilir belki de her segmentteki müşteriyi ayrı ele alacak ve ona göre satış arttırma politikaları üretecektir. Kaç segment oluşacağı belli değildir.

Nitelikleri Seçmek

Yukarıda gördüğümüz niteliklerden bağımsız değişken olarak sadece yıllık geliri ve harcama skorunu kullanacağız.

X = dataset.iloc[:,[3,4]].values

Elimizde veri seti var. Şimdi veriyi işlemeye başlayabiliriz. K-ortalamalar tekniğinde dirsek yöntemi ile küme sayısını seçmiştik. Hiyerarşik kümelemede ise dendogram kullanacağız. Önce bir dendogram oluşturup bakalım kaç ayrı küme oluşturabiliriz. Bunun için scipy kütüphanesini kullanıyoruz.

import scipy.cluster.hierarchy as sch
dendogram = sch.dendrogram(sch.linkage(X, method = 'ward'))
plt.title('Dendogram')
plt.xlabel('Müşteriler')
plt.ylabel('Öklid Mesafesi')
plt.show()

Dendogramımız yukarıda çizildi. Şimdi herhangi bir yatay çizgi tarafından bölünmeyen en uzun bacağı bulalım.

Şimdi kümeleme algoritmamızı çalıştıralım. Bunun için scikit-learn kütüphanesinin AgglomerativeClustering sınıfını kullanacağız. Nesnemiz oluşurken yapıcıya (__init__) bazı parametreler gönderiyoruz. Bunlardan ilki n_clusters yani küme sayısı. Bu küme sayısını dendogramdan faydalanarak beş belirlemiştik. İkincisi affinity hengi yöntemle mesafe ölçüleceğini belirtir, nümerik nitalikler olduğu için euclidean yazıyoruz. Son parametremiz linkage, buraya da küme içi varyansı asgari düzeye indiren ward değerini veriyoruz.

from sklearn.cluster import AgglomerativeClustering
hiyerarsikKumeleyici = AgglomerativeClustering(n_clusters=5, affinity='euclidean', linkage='ward')
kume_elemanlari = hiyerarsikKumeleyici.fit_predict(X)

Kodlarımızı çalıştırdık ve variable explorer dan küme elemanlari ile orijinal dataseti açıyor ve hangi müşteri hangi kümeye düşmüş bakıyoruz.

Müşteri numarası 1 oaln müşteri 4’üncü kümeye, 2 olan 3’üncü kümeye düşmüş. Kalanları siz kıyas ediniz. Şimdi kümelerimizi görsel hale getirelim.

plt.scatter(X[kume_elemanlari == 0, 0], X[kume_elemanlari == 0, 1], s = 100, c = 'red', label = 'Cluster 1')
plt.scatter(X[kume_elemanlari == 1, 0], X[kume_elemanlari == 1, 1], s = 100, c = 'blue', label = 'Cluster 2')
plt.scatter(X[kume_elemanlari == 2, 0], X[kume_elemanlari == 2, 1], s = 100, c = 'green', label = 'Cluster 3')
plt.scatter(X[kume_elemanlari == 3, 0], X[kume_elemanlari == 3, 1], s = 100, c = 'cyan', label = 'Cluster 4')
plt.scatter(X[kume_elemanlari == 4, 0], X[kume_elemanlari == 4, 1], s = 100, c = 'magenta', label = 'Cluster 5')
plt.title('Hiyerarşik Kümeleme ile Müşteri Kümeleri')
plt.xlabel('Yıllık Gelir')
plt.ylabel('Harcama Skoru (1-100)')
plt.legend()
plt.show()

Grafiğimizi oluşturduk. Şimdi daha iyi görebiliyoruz. Kümelerimizi tek tek inceleyelim. Küme 1’de yer alan müşteriler (kırmızı noktalar) Yıllık Geliri yüksek ancak harcama skoru düşük müşteriler. Market sahibi bu müşterilerin daha fazla harcamasını sağlayacak tedbirler düşünebilir. Küme 2’deki müşteriler (mavi noktalar) ortalama gelir ve ortalama harcama skoruna sahipler ve birbirine çok benzeşiyor. Muhtemelen küme içi noktaların merkeze uzaklığının kareler ortalaması (wcss) bu kümede en yüksektir. Küme 3 (yeşil noktalar) yüksek gelirle birlikte yüksek harcama skoruna sahip müşteriler. Her market işletmesinin sahip olmak isteyeceği müşteri segmetidir. Market bu müşterileri elinde tutmak ve bu kümeye müşteri eklemek için gerekli politikaları üretip uygulamaya koyabilir. Küme 4’teki müşteriler (turkuaz mavi) düşük gelire sahip olmasına rağmen yüksek harcama skoruna sahip. Bu müşteriler muhtemelen kredi kartı batağında olan dikkatsiz müşterilerdir 🙂 Küme 5 (pembe) düşük gelire sahip ve harcama skoru düşük müşteriler. Bu müşterilere dikkatli ve tutumlu müşteriler olarak adlandırabiliriz. Kümeleme ile uygulamamız burada son buldu. Bir hatırlatma yapalım: grafikle ilgili kodları sadece iki boyutlu kümelemede kullanabiliriz. Esen kalın…

Hakkında Erkan ŞİRİN

2014'ten beri hem akademik hem de sektörde pratik anlamda büyük veri ve veri bilimi ile ilgili çalışmalar yürütmektedir. Halihazırda İmpektra Bilişim A.Ş.'de büyük veri yöneticisi olarak çalışmakta olup aynı zamanda Gazi Üniversitesi Yönetim Bilişim Sistemleri doktora öğrencisidir. Büyük veri ve veri bilimi ile ilgili birçok kurum ve şirkete eğitimler vermekte ve projeler icra etmektedir. Çalışma alanları: büyük veri platformlarının kurulum ve yönetimi, büyük veri üzerinde makine öğrenmesi, olağan dışılık tespiti, sahtecilik tespiti, veri hazırlama sürecidir.

GÖZ ATMAK İSTEYEBİLİRSİNİZ

Apache Spark K-Ortalamalar Tekniği ile Bilgisayar Ağlarında Anormallik Tespiti Bölüm 1/3

Merhabalar. Bu yazımızda Apache Spark ML kullanarak K-Ortalamalar yöntemi ile anormallik tespiti yapmaya çalışacağız. Gün …

3 yorumlar

  1. plt.scatter(X[kume_elemanlari == 0, 0], X[kume_elemanlari == 0, 1], s = 100, c = ‘red’, label = ‘Cluster 1’)
    plt.scatter(X[kume_elemanlari == 1, 0], X[kume_elemanlari == 1, 1], s = 100, c = ‘blue’, label = ‘Cluster 2’)
    plt.scatter(X[kume_elemanlari == 2, 0], X[kume_elemanlari == 2, 1], s = 100, c = ‘green’, label = ‘Cluster 3’)
    plt.scatter(X[kume_elemanlari == 3, 0], X[kume_elemanlari == 3, 1], s = 100, c = ‘cyan’, label = ‘Cluster 4’)
    plt.scatter(X[kume_elemanlari == 4, 0], X[kume_elemanlari == 4, 1], s = 100, c = ‘magenta’, label = ‘Cluster 5’)
    plt fonsiyonun icinde yer alan sabit 0 ve 1 neyi temsil ediyor

    • Merhaba onlar sabit değil. numpyndarray indeksleri. X[kume_elemanlari == 0, 0] sıfırıncı kümeye düşenlerin yıllık geliri, X[kume_elemanlari == 0, 1] ise sıfırıncı kümeye düşenlerin harcama skorunu temsil ediyor. Biz sıfırıncı kümeyi bir diye adlandırdık grafikte.

  2. istatistik ve olasılık dahil tüm makine öğrenmesi yazılarınız şimdiye kadar okuduğum en anlaşılır makaleler. Bu anlatımınızı devam ettirmeniz dileğiyle

Bir cevap yazın

E-posta hesabınız yayımlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir