Erkan ŞİRİN 13 Haziran 2022 Data Engineering, Büyük Veri 8 15373 3613 kelime - 24 dakika77

---

Bu yazıya puan ver

(8 votes, average: 4,00 out of 5)

Loading...

---

Data Engineer, veriyi talep edilen yer ve zamanda istenen format ve doğrulukta hazır bulunduran ve bunun için gerekli sistem ve otomasyonu inşa eden ve bunun idamesini sağlayan bilişim çalışanıdır.  Bu yazımızda data engineer kimdir? Data engineer olmak istiyorsam ne yapmalıyım? İşveren olarak benim bir data engineer ihtiyacım var mı? Varsa kimi almalıyım? Data engineer çalışanlarımın yeteneklerini nasıl geliştirebilirim? gibi sorulara cevap vermeye çalışacağız.

Data Engineer görevleri nelerdir? Data Engineer ne yapar?

Temel olarak veri mühendisinin yaptığı iş, veri hazırlamak ve bunu otomatik hale getirmektir. Bu temel görev üzerine aşağıdaki maddeler ilave edilebilir.

• Veri akış hatlarını (data-pipelines) oluşturur, optimize eder, izler (monitoring) ve hatalarını giderir.
• İş gereksinimlerini karşılayan büyük ve karmaşık veri kümelerini bir araya getirir.
• Manuel süreçleri otomatikleştirir, veri teslimini (data delivery) optimize eder, daha fazla ölçeklenebilirlik (scale) için gerekirse altyapıyı yeniden tasarlar veya çözüm mimarı ile tartışır.
• Mevcut ETL yapılarını geliştirir, yeni ETL ihtiyaçları için gereken altyapıyı oluşturur, bunun için ilgili birimlerle müşterek çalışmalar yapar.
• Teknik değerlendirmeler, analizler, veri modellemesi, tasarım aşaması ve veri kalitesi testi gibi yaşam döngüsü aşamalarında diğer ekiplere destek olur.
• Datawarehouse, datalake ve lakehouse üzerinde veri modellemesi yapar.

Data Engineer için aranan özellikler nelerdir?

Aşağıdaki maddeler genel olarak bir data engineer ilanında yer alabilecek özelliklerdir. Bunlara ekleme ve çıkarmalar yapılabilir elbette ancak isterler üç aşağı beş yukarı bunlara benzer olacaktır.

• İleri seviye SQL
• İlişkisel veri tabanı
• Veri modelleme
• Fonksiyonel programlama (özellikle python veya scala)
• Linux ve shell scripting
• Apache Spark dataframe ve streaming
• Apache Airflow, Dagster, Luigi, Prefect vb. orkestrasyon araçlarını kullanabilmek ve bunlarla veri akış hatları (data pipelines) oluşturabilmek
• Hadoop ekosistemindeki araçlara (YARN, Hive, HDFS, Sqoop vb.) hakim olmak
• Streaming platformlarının çalışma mantığını ve kullanım durumlarını bilmek ve en az birini (örneğin Kafka) kullanabilmek
• Konteyner yönetim ve orkestrasyon araçlarını (Docker, Docker Swarm, ECS, EKS/Kubernetes, Mesos vb.) bilmek
• NoSQL veri tabanlarını bilmek (İşine göre değişir: Cassandra, MongoDB, DynamoDB, Elasticsearch, HBase vb.)
• REST API kullanabilmek ve gerektiğinde API geliştirmek
• Veri bilimi terminolojisine aşina olmak
• En az bir bulut servis sağlayıcının temel ve data engineering hizmetlerini bilmek
• JSON, Parquet, Avro, ORC vb. dosya formatlarını, sıkıştırma algoritmalarını ve hangi durumda hangisinin kullanılacağını bilmek
• Unit test ve integration testleri yapabilmek
• Agile/Lean proje yöntemlerini (Scrum ve Kanban) ve sürüm kontrol sistemi (git) bilmek
• CI/CD araçlarını (CircleCI, Jenkins, TravisCI, Spinnaker, AWS CodePipeline vb.) bilmek

Niye Data Engineer olayım?

Eğer veri ile uğraşmayı seviyorsanız ve bir sistem tasarlayıp sonra onun çalıştığını görmekten keyif alıyorsanız gözü kapalı veri mühendisi olabilirsiniz. Üstelik veri mühendisliği iyi kazandırıyor diyebiliriz. Glassdoor’a göre, ABD’deki ortalama maaş 115.176 dolar ve bazı veri mühendisleri yılda 168.000 dolar kazanıyor [1]. Ayrıca yurtdışı remote çalışmalarda 2500-7000 dolar arasında kazançlar duyduklarımızdan. Türkiye’de ise sadece Kariyernet’in sayfasında rastladık maaş bilgisine. 20 kişinin paylaştığı maaş verilerine göre 7 Temmuz 2024 tarihi için aylık ortalama 64.100 TL bir kazanç var.

Veri mühendisliğinde ilerledikçe, kıdemli pozisyonlara terfi edebilir, ileride yönetim rollerine geçebilir, veri veya çözüm mimarı (solution architect) olabilirsiniz.  Ya da belli bir noktada bırakıp devops veya makine öğrenmesi mühendisiliğine geçiş yapabilirsiniz.

Data engineer için giriş bariyerleri o kadar yüksek değil diyebiliriz. Bazen sadece sağlam bir Python ve SQL bilgisi bile sizin bir yerde çalışmaya başlamanız için yeterli olabilir. Ya da çok iyi bir Pandas veya Spark bilgisi sizi başkalarına nazaran öne çıkarabilir.

Herşeye rağmen veri mühendisliği giriş seviyesi rollerine çeşitli sebeplerle erişemiyorsanız endişe etmeyin. Birçok veri mühendisi işe yazılım mühendisi veya iş zekası/veri analisti olarak başlayıp daha sonra veri mühendisliğine geçiyor. Hatta veri bilimciler arasından bile veri mühendisliğine geçişler olabiliyor. Siz yeterki kararlılıkla olmak isteyin ve yola çıkın.

Nedir bu data-pipelines?

Veri mühendisinin en temel görevi veri hazırlamak ve bunu otomatik hale getirmektir demiştik. İşte bunu genellikle veri akış hatları yani data-pipelines ile yapar. Örneğin veri tabanına gelen her bir işlem (insert, update ve delete) gerçek zamanlı olarak bir dashboard üzerinde görselleştirilmek isteniyor olsun. İşte veri mühendisi bunun için şöyle bir pipeline tasarlayabilir:

Veri tabanındaki değişikliklerin algılanması (CDC)  —> Mesaj kuyruğu (Örn: RabbitMQ) —> Mesajların işlenmesi —> Dashboard veri tabanına yazılması.

Söylemesi kolay, yapması zor iş

Date engineering işleri oldukça deterministiktir. Tanımlaması çok kolaydır. Yukarıdaki basit data-pipeline örneğinde gördüğümüz gibi: “Onu oradan alıcan, buraya koyucan” tarzında tarif edilebilecek kadar dile kolaydır. Ancak bunu yapmak, otomatik hale getirmek ve sürekli çalışmasını sağlamak zordur. Akınıza gelmeyen başınıza gelir. İşe koyulunca dünyanın öbür ucundan bir taş gelir, ayağınıza değer. Ama işi bitirdiğinizde ve karşınızda çalışan bir şey gördüğünüzde keyfinize diyecek olmaz. Her data-pipeline bittiğinde ayrı bir heyecan duyarsınız. O çalıştıkça, bir değer ürettikçe, iç ve dış müşterilerinizin ihtiyaçlarını giderdikçe siz mutlu olursunuz, saygı görürsünüz ve takdir toplarsınız.

Niye Data Engineer alayım?

Bazı şirketlerde data engineer yok. İhtiyaç yok mu peki?  “Bizde data engineer yok ama işler tıkır tıkır yürüyor” diye düşünebilirler. Düşündükleri doğrudur. Ancak bu, orada data engineer işi yok anlamına gelmez. Ya data engineering işlerini bilerek veya bilmeyerek developer, iş zekası uzmanı, veri tabanı yöneticisi gibi başka çalışanlar yapıyordur ya da verileri boşa akıp gidiyor, zayi oluyordur; verinin potansiyelinin ve nelere kadir olabileceğinin farkında değillerdir.

Farkında olsunlar veya olmasınlar artık tüm şirketler birer veri şirketi olmak zorunda. Bundan kaçış yok. Eğer siz verinize hakim değilseniz, onu yönetemiyorsanız, ihtiyacınıza göre onu şekillendirip ondan değer üretemiyorsanız, bunu yapabilen rakiplerinize göre geride kalmayı kabul ediyorsunuzdur. Üstelik herkesin dilinde olan meşhur yapay zeka; petrol veya doğal gaz ile değil, veri ile çalışıyor. Sizin sağlam bir data engineering alt yapınız yoksa, ne kadar da heves etseniz yapay zeka yapmanız biraz zor.

Sözün kısası; data engineering modern işletmelerde artık en temel bir gereksinim. Sektör farketmeksizin küçük veya büyük  artık her işletmenin verisi var. Veri olan yerde de mutlaka ve mutlaka data engineering işi vardır. Küçük işletmeler olarak belki bu işi mevcut bilişim çalışanlarından birine ek olarak yaptırabilirsiniz ancak belli bir ölçekten sonra bu işi profesyonelce yapmalısınız.

Nasıl Data Engineer olunur?

Mezuniyet

Mezuniyet, başta bilgisayar bilimleri olmak üzere mühendislik ve sayısal ağırlıklı bölümler tercih ediliyor. Ancak bu demek değildir ki bu mezuniyetlere sahip olmayanlara veri mühendisliği kariyeri kapalıdır. Bilişim dünyası kendinizi ispat ettikten sonra herkese açıktır. Farklı bir mezuniyetiniz de olsa hiç endişe etmeden veri mühendisliğini kariyer olarak hedefleyebilirsiniz. Bununla ilgili bir çok başarılı örnek mevcuttur.

Sertifikalar

Bilişim dünyasında sertifikalar neredeyse diplomalar kadar değerli. Hatta bazı sertifikalar yüksek lisans ve doktora diplomalarından bile daha fazla değer görüyor. Ancak lisans konusunda sanki herkes anlaşmış gibi standart bir beklenti var: “Herhalde canım o da olsun artık”. Kimse lisans mezunu olmalıdır demiyor, doğrudan şu bölümden mezun olmuş olsa iyi olur diyor. Sonuç olarak bir lisans mezuniyetine sahip değilseniz önünüzde büyük bir bariyer var. En kısa zamanda bunu halletmenizi tavsiye ederim. Benlik birşey yok, iş gücü piyasasının standart bir beklentisi bu.

Gelelim sertifikalara.

Doğrudan ilgili olan sertifikalar:

• Her bulut sağlayıcısının kendi data engineer sertifikaları var onları alabilirsiniz.
  • Google Cloud Professional Data Engineer
  • Azure Data Engineer Associate
  • AWS Certified Data Analytics – Specialty
  • AWS Certified Data Engineer – Associate
• Databricks sertifikaları. Özellikle Spark ve Delta Lake (Lakehouse) yeteneklerinizi ispat etmek için uygun olabilir.  Aşağıdaki üç sertifikayı öneririz.
  • Databricks Certified Data Engineer Associate
  • Databricks Certified Associate Developer for Apache Spark
  • Databricks Certified Data Engineer Professional.
• Snowflake: Snowflake bulut veri ambarında çok popüler bir platform. Snowflake’i de özellikle yurt dışında yaygın aranan yetenekler arasında görüyoruz. SNOWPRO CORE CERTIFICATION ilk etapta hedeflenebilecek bir sertifika olabilir.
•  Cloudera
  • CCP Data Engineer Exam (DE575)
  • CCA Spark and Hadoop Developer Exam (CCA175)

Dolaylı olarak katkısı olabilecek sertifikalar:

• Airflow: Önce Astronomer Apache Airflow Fundamentals sonra DAG Authoring for Apache Airflow.
• dbt Certified Developer Son yollarda ETL’deki T’ye karşılık gelen dönüşümleri standardize eden, otomatikleştiren ve modüler hale getiren dbt yaygın olarak kullanılmaya başlandı. Bu sertifika ile artık iş gereksinimlerinde karşımıza çıkan dbt için bu sertifika ile öne çıkabilirsiniz.
• Kafka: Confluent Certified Developer for Apache Kafka.
• Kubernetes: Certified Kubernetes Application Developer (CKAD). Bu sertifika, konteyner ortamları üzerinde geliştirme yapabileceğinizin kanıtı olur.
• Cassandra: Developer Certification almayı hedefleyebilirsiniz.
• Eğer yukarıdakiler tamamsa data engineering ile ilgili diğer araç ve teknolojilerin sertifikalarına devam edersiniz 🙂 Ama bence yukarıdakiler yeteneklerinizi ispat için fazlasıyla yeterli olacaktır.

Eğitim kaynakları

Günümüzde bir şeyi öğrenmek için pek çok imkan ve kaynak var. Artık bir bilgisayar, bir internet bağlantısı ve bir fincan kahve ile öğrenilmeyecek şey yok gibi. Hele İngilizceniz de iyi ise artık dünya parmaklarınızın ucunda. Ancak bu kadar geniş imkan ve kaynağın olumsuz bir yönü var: Kaynak çok fazla, zaman hala yüzyıllar öncesi ile aynı, bir gün 24 saat. Sınırlı bir zamanda bu kadar çok kaynağı hazmetmek mümkün değil. Üstelik eskiye nazaran dikkati bölecek o kadar çok şey var ki: Sosya medya, bildirimler, mesajlar, diziler, filmler, YouTube’da takılmacalar vs. vs. Dolayısıyla kaynak konusunda seçici olmak ve odağınızı korumak/iyi yönetmek zorundasınız. Bir çok aday bu konuda sorun yaşıyor. İşe nereden başlayacağını, nasıl ilerleyeceğini, neleri atlayıp nelere önem vereceğini karıştırıyor. Bu noktada bir kılavuz ve rehber eşliğinde ilerlemek en iyisi.  Sektör tecrübesi olan birisinden rehberlik almak çok değerli. Eğer giriş seviyesi pozisyonda başlamış iseniz ve ekipte kıdemli veri mühendisleri varsa çok şanslısınız. Ancak bu şansa çok az insan sahip olabiliyor.

Bu alanda vakit kaybetmeden hızlı ilerlemek istiyorsanız Udemy ve YouTube’daki bir konuyu anlatan eğitimlerden daha çok uçtan uca size bir kariyer yolculuğu sunan ve rehberlik eden eğitimleri tavsiye ederim. Topluluk içinde başka insanlarla tanışarak dayanışma ve yardımlaşma içinde öğrenmek çok keyifli ve etkili oluyor. Eğer bireysel olarak öz disipline sahipseniz bu örnekteki gibi kendi kariyer yolculuğunuzu çizip en az 1 yıl zaman ayırırsanız Udemy, YouTube başta olmak üzere bir çok kaynaktan tek tek öğrenebilirsiniz.

Bir eğitmen rehberliğinde öğrenme (Canlı-online veya sınıf eğitimi)

Bu yöntemdeki eğitimler; online veya yüzyüze olabiliyor,  kendi kendine keyfe keder öğrenme dışında belirli bir zamanda sizi belirli şeyleri yapmaya zorluyor. Çünkü eğitimler canlı.  İlk bakışta biraz itici gelsede aslında çoğumuz kendi kendimizi kolay kolay motive edemiyoruz. Bu yöntem sizi biraz disipline sokuyor. Önceliklerinizi eğitime göre ayarlamanızı sağlıyor. Ödev ve projelerle ve bunların teslim tarihleri ile sizin sınırlarınızı zorluyor. Topluluk içinde yardımlaşma ve dayanışma ile daha etkili öğrenmenizi sağlıyor. Topluluk önünde canlı olarak sunumlar yapıyorsunuz, bunun heyecan ve stresini deneyimleyip tecrübe kazanıyorsunuz. Hele bir de canlı ders videoları ve kaynaklar sizinle paylaşılıyorsa, tekrar yapma ve takıldığınız yerde videoya bakma şansınız oluyor.

• Veri Bilimi Okulu Data Engineering Bootcamp
  • Klasik Data Engineering
  • Ön hazırlık, canlı eğitim/ödevler ve final projesi olmak üzere üç aşamadan oluşuyor
  • Türkçe içerik
  • Kapsamlı bir eğitim
  • Uygulama ağırlıklı, vm üzerinde
  • Oturmuş içerik
• Veri Bilimi Okulu Cloud Data Engineering Bootcamp
  • Cloud Data Engineering
  • Ön hazırlık, canlı eğitim/ödevler ve final projesi olmak üzere üç aşamadan oluşuyor
  • Türkçe içerik
  • Kapsamlı bir eğitim
  • Uygulama ağırlıklı, tamamen bulut üzerinde
• İstanbul Datascience Academy
  • Türkçe içerik
  • Zengin içerik
  • Bulut olarak Google Cloud
  • Deneyimli eğitmen
• Bilginç IT Academy Data Engineering on Google Cloud Eğitimi
  • Türkçe içerik
  • Tecrübeli bir eğitim kurumu
  • Kısa süreli
  • Bulut olarak Google Cloud
• BilgeAdam Big Data Eğitimi
  • Türkçe içerik
  • Tecrübeli bir eğitim kurumu
  • Hadoop ekosistemi etrafında
  • DE tüm alanlarını kapsamıyor
  • Hem online-canlı hem sınıf eğitimi seçeneği var
• İTÜ – Büyük Veri ve İş Analitiği Uzmanlığı Sertifika Programı
  • Türkçe içerik
  • Akademik bir kurum ve akademisyenler tarafından eğitim veriliyor
  • Büyük veri ile birlikte SPSS, Matlab gibi konular var
  • Teorik ağırlıklı

Videolar üzerinden kendi hızında öğrenme

Bu yöntemin en büyük avantajı kendi müsaitlik durumunuza göre öğrenme zamanınızı ayarlayabilmeniz. Kendi hızınızda başkaları tarafından bölünmeden veya başkalarının sizi ilgilendirmeyen sorularını dinlemeden eğitimi takip edebiliyorsunuz. Yardıma ihtiyacınız olduğunda kısa zamanda yardım alamamanız, hatta bazen hiç alamamanız bu yöntemin en eksik yönlerinden biri. Ancak bazı platformlarda sürekli bir sıcak temas var ve çok kısa sürede sorulara dönüş yapılıyor. Ayrıca canlı eğitimlere göre biraz daha hesaplı olabiliyorlar. Dönem dönem büyük kampanyalar oluyor ve fiyatlar çok uygun bir seviyeye iniyor. Örneğin Coursera bunu zaman zaman yapıyor.

• Miuul Data Engineer Kariyer Yolculuğu
  • Türkçe içerik
  • Kapsamlı
  • Canlı temas ve destek imkanı var
• Coursera Data Engineer Eğitimleri
  • Çok kapsamlı değil
  • 4-5 modülden oluşuyor genelde
  • Tek bir Udemy eğitimden daha iyi denebilir
  • Sizi elinizden tutup sıfırdan sonuna kadar götürme konusunda yetersiz.
• Udacity Data Engineering Nanodegree
  • Çok kapsamlı değil
  • 5 modülden oluşuyor
  • Spark and Data Lakes diye bir modül var konudan ne kadar uzak olduğunu gösteriyor
• Databricks Eğitimleri
  • Kendi ekosistemine yönelik
  • Databricks kullanmayacaksanız çok anlamlı olmayabilir
  • https://databricks.com/learn/training/instructor-led-training ve https://customer-academy.databricks.com/learn

Üniversitelerin Yüksek Lisans Programları

Bir çok üniversite özellikle de özel üniversiteler bu alandaki açığı gördüklerinden hızlı bir şekilde müfredatlarını oluşturup yüksek lisans programı açtı. Bu programlar akademik nosyonu ve tecrübesi bulunan değerli hocalar tarafından veriliyor. Bu alana geçmek isteyen ve kendini teorik yönden güçlendirmek isteyenler için iyi bir seçenek. Eğer eğitim içeriğinde uygulama da varsa bu seçenek daha da cazip hale geliyor. Kendini çabucak iş gücü piyasasına hazırlayıp bir an önce atılım yapmak isteyenler için 2 yıllık süre biraz uzun olabilir.

Kitaplar

Kitap tavsiyelerimiz aşağıdakilerle sınırlı değil elbette. Bunlar doğrudan data engineering’i konu edinen kitaplar. Bunların dışında programlama dillleri, veri tabanları, Spark gibi framework’ler ile ilgili olan kitaplar da sizin için güzel kaynaklar olacaktır.

Fundamentals of Data Engineering

Designing Data-Intensive Applications

Modern Data Engineering with Apache Spark

Data Engineering with Python

Data Engineering with AWS

Data Engineering with Apache Spark, Delta Lake, and Lakehouse

Official Google Cloud Certified Professional Data Engineer Study Guide

 Azure Data Engineer Associate Certification Guide

Şimdi ne yapmalıyım? Nasıl portfolyo oluşturabilirim?

İşe alımda en değerli kriter tecrübe. Yeni başlayanlar için bu seçenek olmadığına göre kendisini nasıl ispat edecek? Bununla ilgili önerilerimiz var elbette. Buradaki öneriler hem portfolyo oluşturmanızı sağlayacak hem daha kalıcı öğrenmenizi sağlayacak hem de potansiyel pozisyonlar için arayışta olan yönetici/ekip lideri/işe alım personeli vb. tarafından görünür olmanızı sağlayacaktır.

• Kendinizi eğitmeye başlayın.
• Belli bir yeterliliğe geldiğinizi hissettiğinizde iş başvuruları yapmaya başlayın. Ancak iş başvurusu, eğitimi durdurmasın, devam edin.
• Kendi çapınızda küçük projeler yapın ve bunları GitHub hesabınızda tutun.
• Stajyer veya gönüllü olarak bazı projelerde yer almaya çalışın.
• Öğrendikleriniz ile ilgili blog yazıları yazın, video kayıtları oluşturun ve yayınlayın. Bu hem kendi öğrenmenizi pekiştirip derinleştirecek hem öğrendiklerinizi başkaları ile paylaşarak onlara yardım etmenizi sağlayacaktır hem de sizi görünür kılacaktır.
• Stackoverflow başta olmak üzere benzer platformlarda hesabınız olsun, soru sorun, soru cevaplayın, CV’nizde bu hesap linklerini paylaşın.
• Etkinliklere katılın. Bu tür faaliyetler hem ufkunuzu açar hem de aynı ilgi alanına sahip insanlarla tanışıp network oluşturmak için size fırsat sunar.
• Bu alanda öne çıkmış insanları LinkedIn, Twitter gibi sosyal platformlardan takip edin. Eğer mümkünse yüz yüze tanışıp tecrübelerini dinleyin.

Yurtiçi mi? Yurtdışı mı?

Döviz ile ücret alındığı ve bazı vergi avantajları olduğu için yurtdışı iş imkanları cazip. Ancak hemen hemen tüm ilanlar en az 2 yıldan başlamak üzere tecrübeli veri mühendisi arıyor. Böyle olunca yeni başlayanlar için yurtiçinde belli bir süre tecrübe kazanmak gerekiyor. İngilizceniz çok iyi olmalı. Vasat bir İngilizce ile mülakatları geçmeniz zor. Geçseniz bile çalışma hayatında zorlanırsınız. Bilişim çalışanlarının yurtdışında çalışmasıyla ilgili bu yazıdan[2] güzel bilgiler edinebilirsiniz.

Yurtdışı %100 remote işlerin bazılarında fatura kesmeniz isteniyor. Bu durumda sigortanız vesair ne olacak düşünmelisiniz. %100 remote işlerde zemin biraz kaygan olabilir. Kolay çıkarmalar, deneme süreci sonunda sözleşmeyi bitirmeler, işe başlamadan vazgeçtikler vb. kulağımıza gelenler. Dikkatli olmanızı tavsiye ederiz.

Ayrıca arada insan kaynakları ve danışmanlık firmaları olabiliryor. Tavşanın suyunun suyu gibi çalışma durumlarınız olabilir. Örneğin siz A İK firmasıyla anlaşıyorsunuz o sizi B firmasına outsource ediyor o firma da sizi C müşterisinde kullanıyor gibi. Doğrudan firmanın kendisiyle iş yapmak hem kazanç hem iş güvencesi açısından daha sağlıklı olabilir.

İlk data engineer işim nasıl bir firmada olmalı?

Burada ilk ve en önemli husus;

Ekipte tecrübeli veri mühendisi var mı? Bilgi ve tecrübe paylaşımı mümkün oluyor mu?

olmalıdır.

Daha sonra;

• Firma ne tür projeler yapıyor? Bu projelerin size katkısı ve öğreticiliği ne olur?
• Sizin gelecek hayalinize uygun teknolojileri kullanıyorlar mı? Yoksa basit bir ETL aracını kullanmaktan sıkılacağınız bir iş mi var?
• Firmanın kendi ürünü/platformu/veri merkezi mi var? Bu tür firmalar görece büyük ve kendi veri merkezi ve büyük operasyonu olan firmalar. Buralarda da iyi şeyler öğrenebilirsiniz.
• Genç ve küçük bir şirket ise ve tecrübeli eleman yoksa başlamadan önce bir daha düşünün derim. Siz acemi, onlar acemi…

Big Data Engineer ile Data Engineer arasında fark var mı?

İkisi arasında büyük bir fark yok. Fark sadece big data engineer işini yaparken ağırlıklı olarak big data teknolojilerini kullanıyor. Aslında temelde yapılan iş aynı iş.

Sonuç

Data engineer kariyer olarak hedeflenebilecek keyifli bir rol. Giriş bariyerinin yüksek olmaması, verinin sürekli çoğalmasının data engineer ihtiyacını gittikçe artırması bu rolü cazip hale getirmektedir. Bu kariyer hedefi ile ilgili bizlere her zaman ulaşabilirsiniz. Umarız kariyerinizde güzel bir seçim yaparsınız.

Başka bir yazıda görüşmek dileğiyle hoşça kalın.

Kaynaklar

Kapak görseli: Photo by Uriel Soberanes on Unsplash

1. https://www.glassdoor.com/Salaries/data-engineer-salary-SRCH_KO0,13.htm
2. https://talentgrid.io/tr/yurdisina-remote-calismak/