Airflow Spark Kubernetes: Spark Uygulamasına Dışarıdan Argüman Göndermek
Bu yazıda Airflow, Spark, Kubernetes ile çalışan veri mühendisleri için oldukça pratik bir konuyu ele alacağız: Kubernetes üzerinde çalışan bir Apache Airflow ortamından, Spark uygulamalarına dinamik olarak argüman göndermeyi gerçek kod örnekleriyle birlikte inceleyeceğiz. Eğer siz de modern bir data lakehouse mimarisi kuruyorsanız ve iş akışlarınızı orkestre etmek için Airflow kullanıyorsanız, bu yazı tam size […]
Apache Airflow 3 ile DAG Dosyalarını GitHub’dan Okuma (Airflow Github)
Selamlar! Nihayetinde Airflow DAG dosyalarını GitHub gibi uzak repolardan adam akıllı almamızı sağlayan özellik Apache Airflow 3 ile geldi: GitDagBundle. Daha öncede Airflow Github entegrasyonu gibi DAG dosyalarını dışarıdan bir yerden alıp getirmek için göbeğimiz çatlıyordu. GitSync gibi çözümler kullanıyorduk. Artık Git uzak repoları ve Amazon S3’ten alıp getirmek daha kolay. Bu yazıda GitHub örneği […]
Apache Airflow 3 Hakkında Mutlaka Bilmeniz Gereken 10 Kritik Değişiklik
Apache Airflow 2’den 3’e Geçiş Rehberi | Son güncelleme: Aralık 2025 Merhaba değerli veri mühendisleri (data engineers)! Bugün sizlerle veri dünyasındaki en heyecan verici gelişmelerden birini konuşacağız: Apache Airflow 3. Nisan 2025’te yayınlanan bu sürüm (release), Airflow tarihindeki en büyük güncelleme olarak kayıtlara geçti [1]. 2020’den bu yana ilk büyük sürüm (major release) olan Airflow […]
Airflow’da Idempotent Veri Akışları: Context ve Object Storage
Veri işleme süreçlerinde tekrar edilebilirlik (idempotency) ve depolama sistemlerinden bağımsız çalışabilme, güvenilir mimarilerin olmazsa olmaz özellikleridir. Apache Airflow bu noktada yalnızca işleri orkestre eden bir araç değil, aynı zamanda bu tür ihtiyaçları karşılayan mekanizmalar sunan bir platformdur. Bu yazıda Airflow’un iki önemli kavramı üzerinde duracağız: Airflow Context ve Airflow Object Storage. Airflow Context Airflow’da her […]
Kubernetes ve Airflow ile “Cloud-Native” Düşünmek: Bir Pull Request Reddi Beni Nasıl Aydınlattı?
Her şeyin yolunda gittiğini düşündüğün bir an vardır. Yeni ELT projesi için yazdığın Airflow DAG’ı tıkır tıkır çalışıyor, veriler akıyor, testler başarılı. Gururla kodunu ekibin görmesi için Pull Request’e (PR) dönüştürüyorsun. ✨ Kısa bir süre sonra o bildirim gelir. Takım liderin bir yorum bırakmış: “We cannot except this. No isolation airflow dag and ingestion pyhton […]