Web sitesi olan bir çok kişi ahrefs botlarından müzdarip olunca ve internette çok arama yapıldığını görünce paylaşmak istedim.. Ahrefs botlarının sitenize girmesini engellemek istiyor iseniz;
Bunun için 2 yöntem bulunmaktadır.
1- robots.txt dosyasına kod ekleyebilirsiniz
ya da
2- .htaccess dosyasına kod ekleyebilirsiniz. Her ikiside aynı görevi görmektedir..
robots.txt dosyanızı açın ve ilk satıra aşağıdaki kod satırlarını yerleştirin:
User-agent: AhrefsBot Disallow: /
.htaccess dosyanızı açın ilk satıra aşağıdaki kod satırlarını yerleştirin:
# BEGIN Webtozu Ahrefs Engelleme
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (Ahrefs|HTTrack) [NC]
RewriteRule . - [F]
</IfModule>
# END Webtozu Ahrefs Engelleme