Anasayfa / Büyük Veri / Windows 10 Üzerine Kafka Kurmak

Windows 10 Üzerine Kafka Kurmak

Merhaba, bu yazımızda akan veri işleme ve yönetmede oldukça popüler olan Apache Kafka’nın Windows 10 üzerine kurulumu ve temel komutlarından bahsedeceğiz.

Ön Gereksinimler

  • Java kurulu olmalı
  • Sıkıştırma programı kurulu olmalı (Örn:7-zip)

———-

1. Zookeeper Kurulumu:

Bir çok Apache projesi gibi Kafka da çalışmak için Zookeeper’ın varlığına ihtiyaç duyuyor. Zookeeper’ı buradan indirebilirsiniz. Zookeeper için C veya D diskinde zookeper adında bir klasör oluşturunuz. Burası artık Zookeeper’ın home dizinidir. Zookeeper’ı indirdiğiniz yerde aşağıdaki hale gelene kadar açınız. Açılan dosyaların hepsini az önce yarattığınız zookeeper klasörü (home dizin) içine taşıyınız.

conf içindeki “zoo_sample.cfg” dosyasının adını “zoo.cfg” olarak değiştiriniz.

home dizin içinde data isminde bir klasör daha yaratın. zoo.cfg dosyası içine girip dataDir=/tmp/zookeeper değerini :dataDir=D:\\zookeeper\\data olarak değiştirin. Aşağıdaki şeklde görüldüğü gibi ortam değişkenleri (Environment Variables) ayarlarına gidiniz.

Aşağıdaki gibi Zookeeper home dizinini ve Path’e Zookeeper uygulama dosya yollarını ekleyin. Bunu yapmamızın sebebi dizin değiştirmeden zookeeper komutlarını verebilmek.

Windows komut satırından zkserver yazarak Zookeeper’ı başlatabilirsiniz.

2. Kafka Kurulumu

Zookeeper kurulumundan sonra Kafka kurulumna geçebiliriz. Kafka’yı buradan indirebilirsiniz. Kafka için C veya D diskinde kafka adında bir klasör oluşturunuz. Burası artık Kafka’nın home dizinidir. Kafka’yı indirdiğiniz yerde aşağıdaki hale gelene kadar açınız. Açılan dosyaların hepsini az önce yarattığınız kafka klasörü (home dizin) içine taşıyınız.

Aşağıda görüldüğü şekilde Kafka için home dizini ve uygulama dosya yollarını Environmental Variables kısmına ekleyiniz.

Kafka logları için home dizin altında logs isminde bir klasör oluşturunuz. conf içindeki server.properties dosyasını açarak içinde şu değişikliği yapınız:  “log.dirs=/tmp/kafka-logs” yerine log.dirs=D:\\kafka\\logs

Varsayılan ayar olarak Apache Kafka port 9092 ve Apache Zookeeper port 2181 kullanır.

Kafka’yı Çalıştırma

Zookeeper haricinde ikinci bir komut satırına (Zookeeper çalışsın bırakın): kafka-server-start.bat %KAFKA_HOME%\config\server.properties komutunu yazıp çalıştırınız. Kafka çalışmaya başlayacaktır. Tebrikler Kafka’yı kurdunuz.

Kafka Topic Oluşturma

Kafka topic, kabaca veri tabanındaki bir tabloya; bir mesaj da tablonun satırına benzetilebilir. Örneğin deneme adında yeni bir topic oluşturmak için yeni bir komut satırı (üç etti) açarak şu komutu verin:

Kafka Topic Listeleme

Mevcut “topic” leri listelemek için şu komutu verin:

Kafka Topic Silme

server.properties içinde en son satıra
## Costum settings
delete.topic.enable=true
ekleyin ve daha sonra aşağıdaki komut ile topic silme işini yapabilirsiniz.

Konsol ile Kafka’ya Mesaj Göndermek

Bir komut satırı daha açıp şu komutu yazınız:

daha sonra aşağıdaki gibi rast gele cümleler yazın

Konsol ile Kafka’dan Mesaj Okumak

Başka bir komut satırı açın ve şu komutu verin:

Aşağıdaki gibi az önce yazdığınız mesajları Kafka’dan okuyacaksınız.

Kafka’yı Kapatma

Önce kafka konsolu üzerine gelerek Ctrl+C tuşlayınız ve Kafka’nın kapanmasını bekleyiniz. Sonra aynı işlemi Zookeeper konsolu için yapınız.

Tebrikler!!! Kafka’ya giriş yaptınız.
Giriş seviyesindeki diğer komutlar için Apache Kafka sitesini ziyaret edebilirsiniz. Esen kalın.

Hakkında Erkan ŞİRİN

2014'ten beri hem akademik hem de sektörde pratik anlamda büyük veri ve veri bilimi ile ilgili çalışmalar yürütmektedir. Halihazırda İmpektra Bilişim A.Ş.'de büyük veri yöneticisi olarak çalışmakta olup aynı zamanda Gazi Üniversitesi Yönetim Bilişim Sistemleri doktora öğrencisidir. Büyük veri ve veri bilimi ile ilgili birçok kurum ve şirkete eğitimler vermekte ve projeler icra etmektedir. Çalışma alanları: büyük veri platformlarının kurulum ve yönetimi, büyük veri üzerinde makine öğrenmesi, olağan dışılık tespiti, sahtecilik tespiti, veri hazırlama sürecidir.

GÖZ ATMAK İSTEYEBİLİRSİNİZ

Zaman Serileri : Geleneksel Yöntemler ile Yapay Sinir Ağlarının Karşılaştırılması

Utku Kubilay ÇINAR  R ile Derinlemesine Zaman Serisi… Zaman serileri modellemeleri ve zaman serileri 1900’lü …

2 yorumlar

  1. Tesekkuler 🙂 Ubuntu uzerinde de kuruluma dair bir makale olusa cok guzel olur 🙂

Bir cevap yazın

E-posta hesabınız yayımlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir