Kategoriler
Genel

Robots.txt ile https url başlıklarını arama motorlarından engelleme

Eğer Google https veya aladiniz.com:8443 gibi sayfalarınızı indexlemiş ise bu “duplicate content” filtresine takılabilir.
robots.txt ile HTTPS sayfalarınızı Google’dan çıkarmak için  aşağıdaki kodu .htaccess dosyanızın en üstüne eklemelisiniz.

RewriteEngine On
RewriteCond %{SERVER_PORT} ^443$
RewriteRule ^robots\.txt$ robots_ssl.txt [L]

Hali hazırda bir robots.txt dosyanız var olduğunu varsayıyorum. Akabinde robots_ssl.txt adında bir dosya oluşturun
bu dosyanın içine aşağıdaki kodu yazınız.

User-agent: *
Disallow: /

.htaccess dosyanızı ve robots_ssl.txt dosyanızı FTP ile server’a gönderin. Bir süre bekledikten sonra sonuçları arama motorlarında izleyebilirsiniz.