n8n’i Kubernetes’te Çalıştırma
Önceki yazımızda n8n’i Docker ile kendi bilgisayarınızda nasıl ayağa kaldıracağınızı anlatmıştık. O kurulum kişisel kullanım ve küçük ölçekli otomasyonlar için gayet yeterli. Ama n8n’i bir ekip için, yüksek işlem hacmiyle, kesintisiz çalışacak şekilde production’a taşımak istediğinizde işler değişir. İşte tam bu noktada Kubernetes devreye girer. Bu yazıda n8n’i Kubernetes’te çalıştırmanın temel mantığını, karşılaşacağınız kritik kararları […]
Apache Spark’ı Kubernetes Üzerinde Çalıştırmak: Sıfırdan Canlı Ortama Tam Rehber
Eğer büyük veri (big data) dünyasının içindeysek, Apache Spark’ın adını mutlaka duymuşuzdur. Yıllardır YARN üzerinde, standalone modda veya Mesos ile çalıştırdığımız bu güçlü dağıtık hesaplama motorunu (distributed computing engine) artık Kubernetes üzerinde, hem de “native” yani yerel olarak çalıştırabiliyoruz. Spark 2.3 ile başlayan bu yolculuk, 2026 yılında Spark 4.1’e ve Apache vakfının resmi Spark Kubernetes […]
Kubernetes RBAC Nedir?
Bu yazıda Kubernetes dünyasının en kritik güvenlik konularından biri olan Kubernetes RBAC (Role-Based Access Control — Rol Tabanlı Erişim Kontrolü) hakkında konuşacağız. Eğer bir Kubernetes Cluster yönetiyorsanız ya da kullanıyorsanız, bu yazı tam size göre. RBAC’ı birlikte öğreneceğiz, parçalarına ayıracağız ve sonunda “aa bu kadarmış!” diyeceksiniz. Hazırsanız başlıyoruz! Önce Sahneyi Kuralım: kubectl apply Dediğimizde Ne […]
Airflow Spark Kubernetes: Spark Uygulamasına Dışarıdan Argüman Göndermek
Bu yazıda Airflow, Spark, Kubernetes ile çalışan veri mühendisleri için oldukça pratik bir konuyu ele alacağız: Kubernetes üzerinde çalışan bir Apache Airflow ortamından, Spark uygulamalarına dinamik olarak argüman göndermeyi gerçek kod örnekleriyle birlikte inceleyeceğiz. Eğer siz de modern bir data lakehouse mimarisi kuruyorsanız ve iş akışlarınızı orkestre etmek için Airflow kullanıyorsanız, bu yazı tam size […]
Kubernetes Security: 5 Acı Gerçek
Giriş: “Güvenli” Sandığınız Cluster Aslında Öyle Olmayabilir Merhaba! Bugün sizlerle Kubernetes (K8s) güvenliği hakkında konuşacağız. Biliyorum, “güvenlik” kelimesi kulağa sıkıcı gelebilir ama inanın bana, bu yazıyı okuduktan sonra cluster’larınıza bir daha aynı gözle bakmayacaksınız. Kubernetes, konteyner yönetimi (container orchestration) dünyasının kralı haline geldi. Ancak bu güç beraberinde büyük bir sorumluluk getiriyor. İşte size şok edici […]
Kubernetes Quality of Service (QoS) Sınıfları
Merhaba arkadaşlar! Bugün Kubernetes dünyasında kritik bir konuya, yani Quality of Service (Hizmet Kalitesi) sınıflarına dalalım. Eğer “Neden bazı pod’lar sistem baskı altındayken ayakta kalırken diğerleri hemen ölüyor?” diye sorduysanız, cevabınız bu yazıda. QoS Nedir ve Neden Önemli? Quality of Service (QoS), Kubernetes’in pod’larınızı nasıl önceliklendireceğini ve kaynak sıkıntısı olduğunda hangilerini ilk evict edeceğini (çıkaracağını) […]
Kubernetes Kustomize ile Tanışalım: Başlangıç Rehberi
Merhaba! Bugün Kubernetes dünyasında uygulama yapılandırmalarını (configuration) yönetmek için kullanılan harika bir araçtan bahsedeceğiz: Kustomize. Eğer Kubernetes ile çalışıyorsanız ve farklı ortamlar için sürekli YAML dosyalarını kopyalayıp değiştirmekten bıktıysanız, doğru yerdesiniz. Beraber Kustomize’ı öğreneceğiz ve basit örneklerle nasıl kullanılacağını göreceğiz. Kustomize Nedir? Kustomize, Kubernetes için geliştirilmiş bir yapılandırma yönetim (configuration management) aracıdır [1][2]. En güzel […]
Kubernetes Jobs ve CronJobs ile Otomatik Görevleri Yönetmeyi Öğrenelim
Merhaba arkadaşlar! Bugün Kubernetes dünyasında çok önemli ama bazen gözden kaçan iki konuya dalacağız: Jobs ve CronJobs. Eğer Kubernetes’i bir süredir kullanıyorsanız, muhtemelen Deployment’lar, ReplicaSet’ler ve StatefulSet’ler gibi pod’larınızı sürekli çalıştıran denetleyicilere (controllers) aşinasınızdır. Peki ya sadece bir kez çalışması gereken işler için ne yapmalıyız? İşte tam da bu noktada Jobs ve CronJobs devreye giriyor! […]
Apache Flink Giriş
Bu makalede şu sorulara cevap vermeye çalışacağız: Stream veri işleme (stream data processing) nedir, neden önemlidir, Apache Flink bu konuda diğer sistemlerden ne farkla öne çıkar? Ardından iç mimariye, temel kavramlara ve kullanımı örneklerle göreceğiz. 1. Stream İşleme Nedir? (What Is Stream Processing) Veri dünyasında genellikle iki yaklaşım vardır: toplu işlem (batch processing) ve akış […]
12-Factor App Prensipleri: Veri Odaklı Roller İçin Modern Bir Geliştirme Manifestosu
İster veri mühendisi, ister veri bilimci, makine öğrenmesi mühendisi veya veri analisti olun, yazdığınız kodun ve geliştirdiğiniz uygulamaların sağlam, ölçeklenebilir ve sürdürülebilir olması kritik öneme sahiptir. 2011 yılında Heroku’daki geliştiriciler tarafından ortaya atılan 12-Factor App (12 Faktörlü Uygulama) metodolojisi, tam da bu hedeflere ulaşmak için bir dizi ilke sunar.1 Bu metodoloji, web uygulamaları için tasarlanmış […]
Kubernetes ve Airflow ile “Cloud-Native” Düşünmek: Bir Pull Request Reddi Beni Nasıl Aydınlattı?
Her şeyin yolunda gittiğini düşündüğün bir an vardır. Yeni ELT projesi için yazdığın Airflow DAG’ı tıkır tıkır çalışıyor, veriler akıyor, testler başarılı. Gururla kodunu ekibin görmesi için Pull Request’e (PR) dönüştürüyorsun. ✨ Kısa bir süre sonra o bildirim gelir. Takım liderin bir yorum bırakmış: “We cannot except this. No isolation airflow dag and ingestion pyhton […]
Kubernetes’te Postgresql ve Trino Bağlantısı
Günümüzde veri analizi, iş dünyasında stratejik kararların alınmasında kritik bir rol oynamaktadır. Bu yazıda, Kubernetes ortamında PostgreSQL ve Trino’nun nasıl entegre edileceğini ve bu kombinasyonun veri analizi için nasıl güçlü bir çözüm oluşturduğunu ele alacağız. Kubernetes: Modern Çağın Orkestrasyon Platformu Kubernetes, mikro servislerin yönetimi ve ölçeklendirilmesi için dünya çapında tercih edilen bir konteyner orkestrasyon platformudur. […]
Kubernetes Üzerinde Redpanda
Giriş Büyük veri, günümüzde birçok şirket için önemli bir varlıktır. Müşteri davranışları, pazar trendleri ve operasyonel veriler gibi çeşitli kaynaklardan gelen büyük miktarda veriyi ifade eder. Bu veriler, doğru şekilde analiz edildiğinde, şirketlerin daha bilinçli kararlar vermesine, daha etkili pazarlama kampanyaları yürütmesine ve genel olarak operasyonlarını optimize etmesine yardımcı olabilir. Apache Kafka gibi araçlar büyük […]
Kafka Connect Nedir?
Kafka Connect, Apache Kafka’nın tamamlayıcı bir parçasıdır ve diğer sistemleri Kafka ile entegre eder. Örneğin Kafka Connect, değişiklikleri bir veritabanından (source) Kafka’ya aktarmak ve buradan başka bir veri depolama sistemine (sink) yazmak için kullanılabilir, böylelikle diğer uygulamaların/servislerin (örneğin dashboard) gerçek zamanlı veriye erişimini sağlar. Kafka Connect, içinde Kafka’nın da vazgeçilmez bir parçası olduğu sağlam data […]
Apache Flink ile Kafka’dan Mesaj Okuma (Scala)
Herkese merhaba. Apache Flink gerçek zamanlı veri işleme konusunda oldukça başarılı ve popüler bir araç. Böyle olmasına rağmen ilginç bir şekilde Flink öğrenmek için yeterli kaynak ve güncel örnekler bulmak zor. Mesela benzer bir araç olan Apache Spark ile tonlarca kitap, kurs, makale ve örnek varken Flink’te bunun onda biri bile yok. Daha önce Apache […]
Zookeeper-less Kafka Cluster Kurulumu
Güncelleme: Ekim 2025. Bu yazının daha güncel hali için buraya tıklayınız. Bu yazımızda Zookeeper olmadan Docker ile Kafka cluster kurulumu yapacağız ve böylelikle 3-node Zookeeper-less Kafka’yı deneme şansı bulacağız. Bildiğimiz gibi Kafka yakın zamanda Zookeeper bağımlılığına tamamen son verdi (KIP-500 Kafka 2.8.0). Her ne kadar mevcut Kafka Cluster’lar Zookeeper kullanıyor olsa da yavaş yavaş bu […]
Gerçek Zamana Yakın – Apache Hudi
Merhaba bu yazımda sizlere Apache Hudi’yi kısaca tanıtmaya çalışacağım. Veri dünyasında uzun süredir konuşulan konuların en başında Real Time(Gerçek Zamanlı) veriler geliyor. Gerçek zamanlı veri işleme gerçekten her alanda çok önemlidir. Çünkü dikkatimiz artık saniyeler bazına düşmüş durumda ve biz saniyelerimizi merak ediyoruzdur. Örneğin bir yemek siparişinin durumunu anlık olarak takip etmek istiyoruz. Bu ne […]
Spark on Kubernetes
17 Ekim 2024’de güncellendi. Merhabalar. Bu yazımızda bir Spark uygulamasını Kubernetes cluster (Minikube) üzerinde çalıştıracağız, yaygın adıyla Spark on Kubernetes. Bildiğimiz gibi Spark 2.3 sürümüne kadar sadece 3 cluster yöneticisi vardı: Hadoop YARN, Apache Mesos ve Spark Standalone. Sürüm 2.3 ile beraber Kubernetes de bunların arasına katıldı. Şimdiye kadar Spark kullanımında hakim cluster yöneticisi YARN […]
Apache Spark’ın Çalışma Mimarisi
Herkese merhabalar, önceki yazımda Apache Spark’a giriş yapmıştık. Bu sefer daha derinliklere inip Apache Spark’ın çalışma mimarisine ve cluster moduna göz atacağız. 1. Spark’ın Cluster Moduna Bakış 1.1. Cluster manager Spark Cluster’ı bir çok cluster manager (cluster kaynak yöneticisi) ile birlikte çalışabilmektedir. Standalone Spark’ın kendine ait cluster yöneticisidir, varsayılan olarak gelir. Apache Spark Hadoop ve […]
Apache Spark’a Giriş
Verinin her geçen gün katlanarak büyüdüğü günümüz dünyasında o veriyi işleyebilmenin ve veriden anlamlı çıkarımlarda bulunabilmenin önemi de katlanarak artmaktadır. Ancak terabaytlarca ve hatta petabaytlarca verimizin olduğu ve içinde ilişkisel veritabanlarının, NoSQL’lerin ve text, CSV ve JSON, parquet gibi yarı yapısal ve yapısal olmayan verilerin bulunduğu bir ekosistemde klasik yöntemlerle analiz yapmak çok zordur. İşte […]