Google'ın çalışma şifresini çözdüm!!!

Bir ya da birkaç kelimeyi dünyanın tüm internet siteleri içinde (genelde) bir saniyeden kısa sürede aramayı becerebilen, bu yetmezmiş gibi tam da aradığımız şeyi karşımıza getiren Google'ın nasıl çalıştığı hakkında pek azımızın fikri vardır. Ama ben olayı çözdüm. Şimdi de sizle paylaşacağım....

Google'ın alan adı sunucusu (dns) yazılımı dünyadaki tüm şirkete ait ya da kiralanmış bilgisayarlarda çalışır. Bunların tek görevi, sorguyu en yakın ve en az meşgul olan Google sunucu kümesine (cluster) göndermektedir. Google Cluster kelimesi Türkçe'ye salkım ya da kümelerden oluşan bir bütün olarak çevrilebilir. Küçük parçalardan gelen büyük bir yapıyı temsil etmek için kullanılır diyebiliriz. Salkımlar üzüm tanelerinden oluşur ve başlı başına birşeydir. Google'ın dehası binlerce ucuz ve yavaş bilgisayarı tek bir süper bilgisayar kullanır gibi yapan network yazılımında yatar. Bu sistem salkımı oluşturan küçük bilgisayarların sisteme girip çıkmasına izin verir.  Bu sayede eğer küçük bilgisayarlardan biri bozulursa sistemin çalışması sekteye uğramadan tamir edilebilir veya değiştirilebilir. Googlebot, görevi girebildiği bütün siteleri gezmek ve istemediğini belirtmediği sürece yazıların kopyasını alan ve kolay ulaşılabilir olması için 'indeks verileri' oluşturan web örümceğidir. Bu örümcekler bir siteden diğerine  linkler aracılığyla geçerler, popüler siteleri ve oradaki linkleri yaklaşık her saatte bir indekslerler. Tüm Google cluster'ların içinde bütün web'in toplam üç kopyası vardır. Bu yaklaşık 7 petabyte tutar. Cluster'lardaki veriler sürekli güncellenir, asla sabit değildir. Aramalar üzerinde aynı anda çalışması için web server tarafından on binlerce makineye gönderilir. Bu markete gidip birşey istediğinizde yüzlerce görevlinin bir ürün bulup alışveriş sepetinize koymasına benzer. Google'ın bildiği herşey devasa veritabanlarında saklanır fakat bir bilgisayarın gigabyte'larca dosyayı işlemesini beklemek yerine Google bu verileri binlerce bilgisayar tarafından taranarak benzer aramalar için indeks verileri oluşturulur. Bunu bir kitapta neyin nerede olduğunu belirten içindekiler sayfasına benzetebiliriz. Bu sayede web'in kolayca ulaşılır olması sağlanır. İndeks server'dan gelen verileri linklere ve sıralama argonitmasına göre düzenler ve kullanıcının karşısına çıkarır. Bütün bu işlemler ortalama 0,5 saniye sürer. Peki, Google web'i nasıl bu kadar çabuk arar? Aslında bir sorgu gerçekleştirdiğinizde Google web'de aramaz. Google zaten veritabanlarına web'in üç kopyasını almış ve kendi özel algoritmaları sayesinde bunları kolayca aranabilir hale getirmiştir. Bu 'program' sayesinde Google hangi sitelerin önemli, hangi sitelerin önemsiz olduğunu belirler. Google'ın web araması özelliklerini bilgisayara taşıyan Google Desktop adlı bir uygulaması vardır. Tam anlamıyla olmasa da web aramalarını kullanır. Bilgisayarınızı kullanmadığınız zamanlarda dosyaları tarayarak indeks verisini oluşturur. Bu sayede siz daha aradığınız kelimeleri yazarken Google bu kelimeleri içeren sonuçları listeliyor. Yazmaya devam ettikçe sonuçları güncelleyebiliyor.