UBER’den garip isimlendirme: Marmaray!
Uber’in Hadoop platformu ekibi, problemleri çözmesi için açık kaynak kodlu Marmaray projesini başlattı. Proje, farklı kaynaklardan gelen farklı formatlardaki verileri kolayca aktardığı için Asya ile Avrupa’yı birbirine bağlayan Marmaray tünelinin ismi verilmiş.
Taşımacılık konusuna yeni bir bakış açısı getiren Uber, milyonlarca kullanıcısının verilerini doğru bir şekilde analiz etmeli. Bunu yapabilmek için birbirinden farklı kaynaklardan alınan farklı formatlardaki verileri alıp kendi formatına dönüştürmek için yüzlerce analist ve veri uzmanıyla çalışıyor.
Karar üç yıl önce alındı!
Üç yıl önce alınan bir karar sonrası Uber, açık kaynak kodlu bir framework olan Apache Hadoop framework'üne geçiş yaptı. Bu sayede petabaytlarca verinin yönetilmesi daha mümkün hale getirildi. Her ne kadar Apache Hadopp ile bir problem çözülmüş olsa da farklı ekipler ve farklı araçlar göz önünde bulundurulunca farklı kaynaklardan dataların alınması ve sisteme dağıtılması işlemi ciddi bir iş yükü olmaya devam etmiş.
Sistem veri aktarımında kolaylık sağlıyor
Uber’in Hadoop platformu ekibi bu probleme çözüm olabilmesi açısında açık kaynak kodlu Marmaray projesini hayata geçirdi. Tahmin edebileceğiniz gibi adını Asya’yı Avrupa’ya bağlayan Marmaray projesinden alan bu açık kaynak kodlu kütüphane, temel olarak farklı Hadoop platformuna farklı kaynaklardan gelen farklı formatlardaki veriyi aktarma sürecini kolaylaştırıyor. Apache Hadopp frameworkünü kullanan tüm firmaların kullanımına sunulan açık kayank kodlu Marmaray kütüphanesine dair detayları Uber’in Github sayfasından takip edebilirsiniz.