Прячем обратные ссылки сайта от конкурентов

Анализ обратных ссылок конкурентов является важной частью работы СЕО оптимизатора. Если вы делаете сетку PBN блогов, то возможно вам не особо хотелось чтобы другие знали, где вы размещаете свои ссылки.

Прячем обратные ссылки сайта от конкурентов

Как спрятать от конкурентов обратные ссылки?

Анализом ссылочной массы занимается большое количество сервисов, самые известные из них Majestic, Ahrefs, Semrush. У всех них есть свои боты, которых можно заблокировать.

Один из способов - прописать правила Disallow для этих ботов в файле robots.txt, но тогда этот файл будет виден всем, и это может оказаться одним из "футпринтов", по которому можно идентифицировать PBN сетку.

Гораздо лучше закрыть доступ ботам через  .htaccess файл, он не виден ни кому, кроме Вас. К тому же, заблокировав эти краулеры вы существенно снижаете нагрузку на сервер.

Ниже находится пример, как это можно сделать. Вам нужно просто добавить этот код в свой .htacess файл:

SetEnvIfNoCase User-Agent .*aboundexbot.* botstop
SetEnvIfNoCase User-Agent .*ahrefsbot.* botstop
SetEnvIfNoCase User-Agent .*backlinkcrawler.* botstop
SetEnvIfNoCase User-Agent .*blekkobo.* botstop
SetEnvIfNoCase User-Agent .*blexbot.* botstop
SetEnvIfNoCase User-Agent .*dotbot.* botstop
SetEnvIfNoCase User-Agent .*dsearch.* botstop
SetEnvIfNoCase User-Agent .*exabot.* botstop
SetEnvIfNoCase User-Agent .*ezooms.* botstop
SetEnvIfNoCase User-Agent .*gigabot.* botstop
SetEnvIfNoCase User-Agent .*ia_archiver.* botstop
SetEnvIfNoCase User-Agent .*linkdexbot.* botstop
SetEnvIfNoCase User-Agent .*lipperhey spider.* botstop
SetEnvIfNoCase User-Agent .*majestic-12.* botstop
SetEnvIfNoCase User-Agent .*majestic-seo.* botstop
SetEnvIfNoCase User-Agent .*meanpathbot.* botstop
SetEnvIfNoCase User-Agent .*megaindex.* botstop
SetEnvIfNoCase User-Agent .*mj12bot.* botstop
SetEnvIfNoCase User-Agent .*ncbot.* botstop
SetEnvIfNoCase User-Agent .*nutch.* botstop
SetEnvIfNoCase User-Agent .*pagesinventory.* botstop
SetEnvIfNoCase User-Agent .*rogerbot.* botstop
SetEnvIfNoCase User-Agent .*scoutjet.* botstop
SetEnvIfNoCase User-Agent .*searchmetricsbot.* botstop
SetEnvIfNoCase User-Agent .*semrushbot.* botstop
SetEnvIfNoCase User-Agent .*seokicks-robot.* botstop
SetEnvIfNoCase User-Agent .*sistrix.* botstop
SetEnvIfNoCase User-Agent .*sitebot.* botstop
SetEnvIfNoCase User-Agent .*spbot.* botstop

Order Allow,Deny
Allow from all
Deny from env=botstop

источник - archivarix.com