SiteTransformerBot, Site Transformer'ın web tarayıcısıdır. Yalnızca sahibi taranmasını bizden istediği siteleri ziyaret eder; açık web'de dolaşmaz ve herkese açık bir dizin oluşturmaz.
Çünkü bu siteyi yönettiğini kanıtlamış biri, Site Transformer panelinden site için bir tarama başlattı.
Site Transformer, teknik SEO için bir ters proxy'dir. Bir sitenin taranabilmesi için müşterimizin önce siteyi hesabına eklemesi ve istediğimiz DNS kaydını yayımlayarak sahipliğini doğrulaması gerekir. Ancak bundan sonra panelindeki Taramayı başlat düğmesi bir işe yarar. Tarama, sitenin URL yapısını ve sayfa şablonlarını çıkarır; böylece müşteriye inceleyeceği bir yapılandırma önerebiliriz.
Erişim kayıtlarınızdaki istekler bu taramaya aittir. Açık web'i taramayız, getirdiğimiz içeriği satmaz ya da yeniden yayımlamayız ve bize kaydedilmemiş hiçbir siteyi ziyaret etmeyiz. Bu taramanın site sahibi tarafından yetkilendirilmediğini düşünüyorsanız [email protected] adresine yazın; taramayı durduralım.
Tarayıcının yaptığı her istek — bir çalışmayı açan /robots.txt isteği dahil — aynı üç tanımlayıcı alanı taşır:
User-Agent — her zaman tam olarak SiteTransformerBot/1.0 (+https://www.sitetransformer.com/bot). Sürüm numarası yalnızca tarama davranışı esaslı biçimde değiştiğinde ilerler, sıradan bir yayında değil.From — [email protected]; buradan bir insana ulaşırsınız.X-SiteTransformer-Crawl — tarama çalışmasının kimliği. Bir çalışmadaki tüm istekler aynı kimliği taşır; böylece kayıtlarınızda bize ait satırları gruplayabilir, bize yazarken bu kimliği belirtebilirsiniz.Dizginin tamamı yerine SiteTransformerBot ürün belirtecini eşleştirin: robots.txt içinde kullanılacak belirteç budur ve sürüm değişse de aynı kalır.
# every request, /robots.txt included User-Agent: SiteTransformerBot/1.0 (+https://www.sitetransformer.com/bot) From: [email protected] X-SiteTransformer-Crawl: rC7m2Kd9x1QpVb3TfLzYs # the method is always GET
Tarayıcımız küçük ve sabit bir adres kümesinden bağlanır. Kaynak IP adresini bu kümeyle karşılaştırmak, gerçek tarayıcıyı onu taklit eden bir şeyden ayırmanın tek güvenilir yoludur; taramanın başarılı olmasını istiyorsanız güvenlik duvarınızda veya WAF'ınızda izin vermeniz gereken adresler de bunlardır.
Bu küme altyapımız büyüdükçe değişir; bu yüzden güncel adresleri eskimeyecekleri yerde yayımlıyoruz: panodaki Taramayı başlat bölümünde, User-Agent bilgisinin yanında. Taramayı başlatan site sahibinden adresleri isteyin ya da [email protected] adresine yazın, size gönderelim.
Tarayıcı bilinçli olarak yavaştır. Sahibi için tek bir siteyi haritalar; web'i dizine eklemek için yarışmaz.
/robots.txt dosyasını alır ve Crawl-delay dahil olmak üzere ona uyar./sitemap.xml içindeki adresler de taranır.Crawl-delay değerini asla aşmaz.429 veya 503 yanıtı tarayıcıyı geri çekilmeye zorlar, Retry-After başlığına da uyulur. Çok uzun beklemeler bir üst sınıra kırpılır; bu yüzden tarayıcının yavaşlamasını değil tamamen gitmesini istiyorsanız aşağıdaki gibi engelleyin.Origin sunucunun robots.txt dosyası kontrol yüzeyidir ve ihtiyacınız olan tek şey odur: SiteTransformerBot belirteci için bir grup yazın, tarayıcı bunu bir sonraki çalışmasında dikkate alır. Bizden bir şey talep etmenize gerek yoktur.
User-agent: SiteTransformerBot Disallow: /admin/ Disallow: /cart/ Disallow: /search
Adlandırılmış bir grup, bizim için User-agent: * grubunun yerine geçer; ona eklenmez. Böyle bir grup yazarsanız, uymamızı istediğiniz her Disallow satırını tekrarlayın.
User-agent: SiteTransformerBot Crawl-delay: 5
Crawl-delay: 5 beş saniyede bir istek demektir. Tarama yalnızca daha uzun sürer; başarısız olan bir şey olmaz.
User-agent: SiteTransformerBot Disallow: /
Tarayıcı tek bir sayfayı bile almadan durur. Taramayı başlatan müşteri, çalışmanın robots.txt tarafından engellendi sonucuyla bittiğini ve robots.txt dosyanızın bize izin vermediğini görür; böylece yeniden denemek yerine sizinle konuşması gerektiğini bilir.
Bir değişiklik, hâlihazırda süren çalışmayı değil bir sonraki çalışmayı etkiler: tarama robots.txt dosyasını başlarken okur. Bir taramanın hemen durmasını istiyorsanız bize yazın; adres aşağıdadır.
İsteğin kaynak IP adresini yukarıdaki adreslerle karşılaştırın. Anlamlı olan tek kontrol budur: User-Agent yalnızca düz metindir, dolayısıyla herkes bizimkini kopyalayabilir ve pek çok kazıyıcı bunu yapar.
Kendini SiteTransformerBot olarak tanıtan ama başka bir adresten gelen trafik biz değiliz; dilediğiniz gibi engelleyin, sitenizin hiçbir taraması etkilenmez. User-Agent'a dayalı bir kural sahtekârlarla birlikte gerçek tarayıcıyı da yakalayacağı için, engellemek yerine hız sınırlaması uygularken IP tabanlı bir kuralı tercih edin.
Kötüye kullanım bildirimleri, sorular ya da hemen durdurulmasını istediğiniz bir tarama için: [email protected].
Alan adını ve varsa kayıtlarınızdaki X-SiteTransformer-Crawl kimliğini yazın; bu kimlikle ilgili çalışmayı bulup durdurabiliriz. Türkçe ve İngilizce yanıt veriyoruz.
User-Agent içindeki sürüm yalnızca tarama davranışı esaslı biçimde değiştiğinde ilerler — yeni bir getirme politikası, farklı bir hız profili — ürünün her yayınında değil.