Bir süre önce Google'ın www.turkcekarakter.com adresindeki sitemin 404 hata sayfasını indekslediğini farkettim. Bunun nedenini ve çözümünü araştırdığımda şu sonuca ulaştım:

Sitenin .htaccess dosyasındaki ErrorDocument satırında, hata sayfasının adresi verilirken http://www.adres.com/404.php şeklinde değil, /404.php şeklinde vermek gerekiyormuş. Yani;

Yanlış: ErrorDocument 404 http://www.adres.com/404.php
Doğru: ErrorDocument 404 /404.php

Yanlış olan ilk durumda, olmayan bir sayfa çağrıldığında (Örneğin: http://www.adres.com/yokboylebirsayfa.php) sunucu kullandığınız tarayıcıya "302 FOUND" cevabı ile birlikte "http://www.adres.com/404.php" adresini gönderiyor. Yani diyor ki, "bu sayfa var, ama şu adreste". Daha sonra tarayıcınız yeni adrese (http://www.adres.com/404.php) bağlanmaya çalışıyor ve sunucu "200 OK" cevabı ile birlikte sayfa içeriğin gönderiyor. Tarayıcınız da bu sayfayı sitedeki herhangi bir sayfa gibi size gösteriyor.

Doğru olan ikinci durumda ise, olmayan bir sayfa çağrıldığında sunucu tarayıcıya "404 NOT FOUND" mesajı ile birlikte hata sayfasının içeriğini gönderiyor. Bu durumda tarayıcınız yine aynı şekilde hata sayfasının içeriği size gösteriyor, ama bir farkla: Bu sayfanın aslında aradığı sayfa olmadığını, o sayfa bulunamadığı için gösterilen hata sayfası olduğunu bilerek.

Her iki durumda da hata sayfasının içeriği görüntüleniyor, ama ilkinde tarayıcı aradığı sayfayı bulduğunu sanıyor, ikincisinde ise bulamadığını anlıyor. Google ve diğer arama motorlarının hata sayfalarınızı indekslemesini istemiyorsanız (ki indekslememesi gerekir), bu konuya dikkat etmeniz gerekiyor.

Son olarak, adres yazıldığında sunucunuzun hangi başlıkları gönderdiğini görmek istiyorsanız şu siteden kontrol edebilirsiniz: www.seoconsultants.com/tools/headers