Bugün bu makalede, günümüzün şirket ve kuruluşları için çok değerli olan büyük verilerle (büyük, hızlı hareket edebilen veri kümeleriyle) etkili bir şekilde çalışmak için ne tür bir altyapıya ve teknolojiye ihtiyacımız olduğunu anlatmak istiyorum. Bunu yapabilmek için IBM Systems Başkan Yardımcısı Ivo Koerner ile konuşmaya devam ediyorum (önceki yaptığımız röportajda, Yapay Zeka için Teknoloji Altyapısını konuşmuştuk)
Günümüzde artık veri, “dördüncü sanayi devrimi” nin yakıtıdır ve onu büyük hacimlerde toplama, depolama ve analiz etme yeteneğimiz, dijital dönüşümü sağlayan yapay zeka (AI) ve Nesnelerin İnterneti (IoT) gibi teknolojik ilerlemelerin arkasındaki güçtür.
Bu, şirketler tarafından üretilen ve toplanan veri hacminin ne kadar hızlı büyüdüğüne, hangi verilerin anlamsız yani “gürültü” olduğuna karar verebilmemiz gerektiği üzerine düşünmek çok önemlidir.
Dünyanın dört bir yanındaki işletmelerle yaptığım çalışmalarda gördüğüm kadarıyla, bazılarının yeterince veri toplayamadığı ve değerli bilgilerin kaçırılmasına izin verildiği çok açık. Öte yandan, bazıları kesinlikle her şeyi saklama yaklaşımını benimsiyor ve bu da kendileri açısından bazı sorunlara neden olabiliyor; örneğin, artan maliyetler, uyumsuzluklar ve oldukça sık olarak karşılaşılan karışıklıklar gibi.
“Zor bir karar bu.” diyor Ivo ve ekliyor “Gelecekte hangi verilere ihtiyacınız olacağını tam olarak bilmiyorsanız ve eğer silerseniz veya atarsanız bu verileri… kurtaramazsınız.”
Ivo’nun bu noktada vurguladığı şey, çok az değil, daha fazla veri toplamanın ve depolamanın daha iyi olmasıdır. “Silmek, verileri yeniden oluşturmaktan çok daha kolaydır, bu yüzden daha fazla veri depolayıp arşivlemeyi tercih ediyorum. Modern teknoloji giderek o kadar düşük maliyetli hale geliyor ki, günün sonunda bir kaç terabayt eklemek ile iki petabayt eklemek arasında pek bir fark yok, zira maliyet açısından bu bir sorun değil artık.” diyor Ivo.
Bu, bir sonraki zorluğu ortaya çıkarıyor: Verileri toplu olarak toplama ve depolama yaklaşımını benimseyecekseniz eğer, verileri erişilebilir ve düzenli kaydetmek için belirli bir sistematiğe sahip olduğunuzdan emin olmanız gerekir; aksi takdirde, tam olarak hangi bilgilere sahip olduğunuzu hatırlamak daha güç olabilir.
Çok fazla miktarda veriyi toplarken ve kayıt ederken, verilerin nasıl kullanılacağını dikkate almak önemlidir. Özellikle, herhangi bir zamanda anında erişmenizin gerekeceği verileri kullanana kadar bir arşivde saklamanız muhtemelen daha güvenli olacaktır.
Birçok insan, en ileri teknoloji şirketlerinde bile, ki birçoğumuzun antika olduğunu düşündüğü bir ortamda büyük hacimlerde verilerin hala kasette saklandığını öğrendiğinde çok şaşırıyor. Bunun nedeni, arşivlenmesi gereken, ancak çok sık erişilemeyen çok büyük miktarda veriyle uğraşırken, eski sistemlerin kullanılması hala çok güvenilir ve uygun maliyetli olmasıdır.
Öte yandan, sık sık erişileceğini veya güncelleneceğini bildiğiniz muhtemelen çok daha az miktarda veriyi, flash depolama alanında saklamak daha uygun olacaktır, ve bu çok daha modern, esnek bir sistemdir, ancak pahalı bir çözümdür.
“Kasete koyduğunuz çok fazla kullanmadığınız veriler… çok daha ucuz maliyetlidir” diyor Ivo ve ekliyor, “Ve günlük kullandığınız verileri ise bir flaş sisteminde depolamak daha uygundur. Sonrasında topladığınız verileri gerçekten doğru anlamak için bir yol bulmanız gerekir, bu yüzden bu yolun üzerinde de bir yönetim katmanının olması gerekir.”
Bu yönetim katmanı; veri temizleme, çıkartma, gerçek iş değerinde topladığınız bilgilerden elde eden veri işlemlerini, büyümeyi ve dönüşümü sağlamak için kullanılabilecek bilgiler şeklinde işleyecek bir yazılım katmanıdır.
“Çeşitli eğilimler var, ancak günün sonunda, hala üretim ortamınızda topladığınız ve oluşturduğunuz verilerden besleniyorsunuzdur” diyor Ivo.
Bugünün eğilimleri genellikle “veri gölü” yönünde ilerlemektedir, bu, genellikle veri depolamak için kullanılan geleneksel “izole olma” yaklaşımının neden olduğu bazı sorunların üstesinden gelebilmek için kullanılan bir kavramdır. Buradaki ilgili sorun, verilerin genellikle onu toplayan kuruluşun farklı operasyonel şubeleri tarafından izole edilmesidir. Bu, diğer operasyonel şubelerin ona erişmesini zorlaştırabilir ve veri formatları, meta veriler ve bilgilerin nasıl saklandığı konusunda tutarsızlıklar yaratabilir.
Öte yandan, bir veri gölünde, tüm bilgiler birlikte saklanır ve genellikle ham, düzenlenmemiş bir formattadır bu veriler. Ve bu herkesin erişebileceği anlamına gelir ve herkes değer yaratmak için kendi araçlarını ve stratejilerini kullanabilir.
“Bu çok ilginç bir trend” diyor Ivo ve ekliyor, “Kişisel düşüncem [hangi yaklaşımı kullanırsanız kullanın], veriler yardımcı olmak istediğiniz projeyi ve işi desteklemelidir. Genel olarak süper büyük bir veri gölünün, uzun süre tutarlı kalabileceğini düşünmüyorum.”
Ve devamında, “Oluşturduğunuz veri gölü, büyüdükçe karmaşıklaşır. İlk olarak, iş süreciyle başlamayı ve sonrasında veri gölünü zenginleştirmeyi tercih ediyorum ben. Ancak hiçbir zaman şirket çapında bir veri gölü oluşturmanızı ve böyle bir mimariyi kullanmanızı tavsiye etmem.” diyor Ivo.
Daha ayrıntılı bilgi edinmek istiyorsanız, aşağıda Ivo Koerner ile gerçekleştirdiğimiz röportajın tamamını izleyebilir ve yapay zeka ve makine öğrenimi için hangi teknoloji altyapısına ihtiyacınız olduğuna dair önceki röportajımızı da buradan okuyabilirsiniz.
Yazımı okuduğunuz için teşekkür ederim. LinkedIn ve Forbes’ta düzenli olarak yönetim ve teknoloji trendleri hakkında yazılar yazıyorum. Yapay Zeka (AI) hakkında yeni bir kitap kaleme aldım, hakkında daha fazla bilgi edinmek için buraya tıklayabilirsiniz. Gelecekteki yayınlarımı da okumak için ağıma buradan abone olabilirsiniz veya ‘Takip Et’i tıklayabilirsiniz. Ve Ayrıca, Twitter, Facebook, Instagram, Slideshare veya YouTube kanalım aracılığıyla da benimle iletişime geçmekten çekinmeyiniz.
Bernard Marr