This post was published 33 days ago. The information described in this article may have changed.
Проблема:
На сайте огромный трафик ботов
Боты заходят на 1 секунду и уходят, поэтому искажают аналитику
Они нагружают CPU хостинга, из-за чего приходится повышать тариф
Нужно блокировать этих ботов и других нежелательных краулеров
Что нужно сделать:
Определить основные боты, которые нагружают сайт (могу предоставить логи)
Добавить блокировку в файл /robots.txt для PetalBot и других нежелательных ботов
Если robots.txt не работает, настроить блокировку на уровне .htaccess
Проверить результат через 1-2 недели по логам сервера и метрикам CPU и дочистить трафик до 99 % живого
🏷️ Work_feed
