Python İle Tek Yönlü Varyans Çözümlemesi(One Way ANOVA)
Merhaba VBO severler, bugün Python ile Tek Yönlü Varyans Çözümlemesi yapacağız. Önceki yazılarımdan birinde R ile Tek Yönlü Varyans Çözümlemesine yer vermiştim o yazıya da buradan ulaşabilirsiniz. Varyans Çözümlemesi iki ya da daha fazla grubun ortalamaları arasında istatistiksel olarak bir fark olup olmadığını araştırmak için kullanılır en kısa tabiriyle diyip lafı daha fazla uzatmadan Tek […]
IntelliJ IDEA ile Apache Spark Projesini Uzak YARN Cluster Üzerinde Çalıştırmak-1/2
1. Giriş Merhabalar. Uygulama geliştirirken geliştirme(dev), test ve canlı (prod) gibi farklı farklı ortamlar kullanırız. Farklı ortamlarda çalışırken bazı ayarlamalar yapmamız gerekir. Şayet hızlı bir şekilde uygulamayı çıkarayım, geliştirme, canlı vb. uğraşmayayım diyorsanız bu yazı size göre. Bu yazıda Windows bilgisayarımızı driver olarak kullanarak IntelliJ IDEA ile canlı Hadoop Cluster üzerinde kodlarımızı geliştirme esnasında çalıştıracağız. […]
IntelliJ IDEA ile Apache Spark Projesini Uzak YARN Cluster Üzerinde Çalıştırmak-2/2
Merhaba. Yazı serimizin ikincisine devam ediyoruz. Bir önceki ilk yazımızda konuya giriş yapmıştık. Hatırlayalım, amacımız Spark uygulamasını Windows bilgisayarımızda kurulu IntelliJ ile uzak hadoop cluster üzerinde geliştirmekti. IntelliJ ile devam ediyoruz. 4. IntelliJ Spark Uygulaması: Maven Projesi Oluşturmak Şimdi uygulamamızı yazmaya başlayacağız. Bunun için IntelliJ’i başlatalım. Intellij üzerinden yeni proje (Create New Project) diyoruz. Bir […]
Shiny ile Makine Öğrenmesi Web Uygulamaları: Doğrusal Regresyon
“A Few Clicks Machine Learning with Shiny” Shiny ile Web Uygulamaları tasarlamak için bundan önceki yazılarımda Shiny’nin özelliklerinden ve fonksiyon yapısından bahsettim. İlgili video serisi : https://www.youtube.com/watch?v=1unc-AO5ahQ&list=PLkbyF4y0lKkBv0L0OQekBFyChOzBR71et Kullanılan Fonksiyonlar : https://github.com/MustafaNayansak/shiny Artık bu çalışmalarımızın meyvesini almak için yeterli bilgilere sahibiz. Bu yazımda, Doğrusal Regresyon Analizi yapan bir arayüz tasarlayacağız. Arayüzün İçeriği;1- .csv uzantılı bir veriyi […]
Plotly ve Dash İle Python’da Dashboard Geliştirmek
Herkese merhabalar! Bir veri bilimi projesini bitirdiğimizde sonuçları bir dashboard ile karşımızdakilere aktarmak en güçlü yollardan biridir. İyi bir dashboard ile: Veri analizinin ana sonuçlarını özetleyebiliriz. Müşterilerin yada şirket yöneticilerinin, parametreleri değiştirmenin sonuca nasıl etkileri olabileceğini görmesini sağlayabiliriz. Sürekli olarak yeni veriler ile grafikleri ve özet bilgileri güncelleyebiliriz. Makine öğrenmesi modellerinin yardımıyla tahminler yapabiliriz. Dashboard […]
Uçtan Uca Makine Öğrenmesi Örneği: Titanik Gemi Kazası Uygulaması
21. yüzyılın en popüler mesleklerinden biri olan veri bilimi; çok kısaca, geçmiş gözlem değerlerine bakarak geleceği tahminleyen, verilerden gerekli modeller kurarak sorunları önceden belirtmeye çalışan, gelecek durumlar hakkında bilgiler sunan, yapay zeka algoritmaları geliştiren ve veri yığınlarından anlamlı bilgiler üreterek eylem planları (şirket stratejileri) hazırlayan kişilerin içinde bulunduğu, büyük otoritelerce “son 10 yılın en seksi” […]
SQL Sorgularının Python Pandas Dataframe Karşılıkları-3 (UPDATE, DELETE)
Merhaba serimizin üçüncü yazısında SQL update ve delete operasyonlarını pandas ile nasıl yaparız onu göreceğiz. Veri kaynaklarına ilk yazımızdan ulaşabilirsiniz. 1. UPDATE Verimizde bazı satırlarda meslek bilgisi boştu gelin onu güncelleyerek dolduralım. SQL UPDATE operasyonu tehlikeli bir iştir. Şayet filtreyi iyi ayarlamaz iseniz istenmeyen yerleri istenmeyen bilgilerle değiştirirsiniz. O yüzden ben UPDATE sorgusunda kullanacağım filtreyi […]
SQL Sorgularının Python Pandas Dataframe Karşılıkları-2 (GROUP BY, ORDER BY)
Merhabalar. Yaygın kullanılan SQL sorgularının Python pandas dataframe karşılıklarını bir örnek üzerinden paylaşmaya devam ediyoruz. Serimizin ilki olan bir önceki yazımızda SELECT ve WHERE cümlecikleri ile ilgili örnek yapmıştık. Bu yazıda kullanılacak veri kaynaklarına (sql ve pandas) ulaşmak için lütfen ilk yazıya müracaat ediniz. 1. GROUP BY GROUP BY özellikle veri keşfinde çok sık kullanılan […]
SQL Sorgularının Python Pandas Dataframe Karşılıkları (PANDAS SQL)-1 (SELECT, WHERE)
Merhabalar. Bu yazımızda yaygın kullanılan SQL sorgularının Python pandas dataframe karşılıklarını (Pandas SQL) bir örnek üzerinden paylaşmaya çalışacağım. Veri biliminin en zor ve meşakkatli aşaması veri hazırlığıdır. Hem SQL hem de pandas kendi alanlarında veri hazırlığında çok önemli rol oynarlar. Eğer bu ikisinden birini çok iyi bilmiyorsanız (Pythonistler için söylüyorum, sql yanındaki python değil R, […]
Cv2 İle Yüz Tanıma ve Belirleme
Yüz belirleme ya da nesne tanıma, derin öğrenmenin gelişmesi ve ciddi çalışmaların literatüre katılmasıyla son zamanlarda önemli bir konu haline gelmiştir. Günlük hayatımızda çok fazla kullanılan yüz belirleme (face detection) algoritmaları aslında derin ağlarla eğitilen modellerin, yüz hatlarını bulmasıyla çalışır. Kişilerin yüz hatlarına göre biyometrik çıkarımlar yapma işlemidir. CNN (Convolutional Neural Network), ImageNet, Opencv vs […]
Pratik Bilgiler ve Komutlar-2
Scala’da boşluklardan kelimeleri ayırma Scala ile dosya nasıl okunur? Scala dosya okuma Scala ile dosyaya yazma işlemi Scala uygulamasına komut satırından argüman gönderme Bir dizinde kaç dosya var Python ile nasıl öğrenilir? Elasticsearch Curl Query Örneği Ubuntu üzerine sbt kurmak Ubuntu server üzerinde root kullanıcısına geçiş yapmak Jupyter notebook geri plan – jupyter arkaplan – jupyter […]