[Общая тема]Боты для форума

Форум без пользователей, как машина без колес. Данный подфорум призван помочь ответить вам на вопросы - форум? Чем привлечь пользователей ? Как продвинуть свой ресурс в поисковиках ?
Обсуждаем все, что с этим связано, делимся секретами и решаем вместе проблемы раскрутки.

Модераторы: Vl@d1m1r, Lorem Ipsum, Atlas

Правила форума
----
Ответить
Аватара пользователя
DeaDRoMeO
Старожил Форума
Старожил Форума
Сообщения: 16763
Стаж: 13 лет
Откуда: Витебск
Контактная информация:

Что за бот?

Сообщение DeaDRoMeO »

Ну приглядитесь внимательно, это бот Фейсбука походу)) У вас есть на форуме кнопки типа - Поделиться в соцсетях??
На вопросы, связанные с phpBB, по ЛС не отвечаю !!!
#61
Аватара пользователя
index-07
Зашел немного посидеть
Зашел немного посидеть
Сообщения: 85
Стаж: 11 лет 7 месяцев

[Общая тема]Боты для форума

Сообщение index-07 »

Ага, есть кнопочка поделится в фейсбук, я забыл про нее. Значить если ктото заходить через фейсбук и отображает - Гость (Бот фейсбука)?
Sorry for my pure russian!
#62
Аватара пользователя
DeaDRoMeO
Старожил Форума
Старожил Форума
Сообщения: 16763
Стаж: 13 лет
Откуда: Витебск
Контактная информация:

[Общая тема]Боты для форума

Сообщение DeaDRoMeO »

Вообщем это бот, он появляется когда ктонибудь делится ссылкой в фейсбуке на ваш форум. Лучше его добавить самому в список ботов, Админка - Система - Поисковые боты, Добавить Бота
Название бота: FacebookExternalHit [Bot]
Соответствие агенту: facebookexternalhit
На вопросы, связанные с phpBB, по ЛС не отвечаю !!!
#63
Аватара пользователя
Лена
Завсегдатай Форума
Завсегдатай Форума
Сообщения: 966
Стаж: 11 лет 5 месяцев
Контактная информация:

[Общая тема]Боты для форума

Сообщение Лена »

Сергей, в 11 сообщении этой темы есть огромный список ботов. А вы тоже себе их все прописали?
#64
Аватара пользователя
index-07
Зашел немного посидеть
Зашел немного посидеть
Сообщения: 85
Стаж: 11 лет 7 месяцев

[Общая тема]Боты для форума

Сообщение index-07 »

Вообщем это бот, он появляется когда ктонибудь делится ссылкой в фейсбуке на ваш форум. Лучше его добавить самому в список ботов, Админка - Система - Поисковые боты, Добавить Бота
Название бота: FacebookExternalHit [Bot]
Соответствие агенту: facebookexternalhit
Спасибо, помогло! :co_ol:
Sorry for my pure russian!
#65
Аватара пользователя
DeaDRoMeO
Старожил Форума
Старожил Форума
Сообщения: 16763
Стаж: 13 лет
Откуда: Витебск
Контактная информация:

[Общая тема]Боты для форума

Сообщение DeaDRoMeO »

Да не за что, себе такое же поставил))
На вопросы, связанные с phpBB, по ЛС не отвечаю !!!
#66
Аватара пользователя
Alexander
Свой на все 100
Свой на все 100
Сообщения: 484
Стаж: 11 лет 5 месяцев
Откуда: Россия
Контактная информация:

[Общая тема]Боты для форума

Сообщение Alexander »

DeaDRoMeO писал(а):пробуйте блокировать айпи этих ботов, либо удалите их из группы Боты, пусть смотрят форум под правами Гостей
Этот бот как раз и не прописан и числится большим количеством гостей. Уже пользователи жалуются и сам замечаю, что форум тормозит, когда поступают сотни запросов от этого бота. Прописал запрет для AhrefsBot в robots.txt:

Код: Выделить всё

User-agent: AhrefsBot
Disallow: /
и закрыл доступ в .htaccess:

Код: Выделить всё

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ^AhrefsBot [NC]
RewriteRule ^ (.*)$ — [F,L]
Пока вроде не видно, чтоб заходил этот бот. Думаю, может, еще в index.php прописать типа такого кода:

Код: Выделить всё

SetEnvIf User-Agent AhrefsBot MustDie=1 
Order allow,deny 
Allow from all 
Deny from env=MustDie
#67
Аватара пользователя
DeaDRoMeO
Старожил Форума
Старожил Форума
Сообщения: 16763
Стаж: 13 лет
Откуда: Витебск
Контактная информация:

[Общая тема]Боты для форума

Сообщение DeaDRoMeO »

Alexander писал(а):Думаю, может, еще в index.php прописать типа такого кода:
Не надо наверное, то что вы сделали должно хватить))Раз не заходит, значит не может)
На вопросы, связанные с phpBB, по ЛС не отвечаю !!!
#68
Аватара пользователя
Alexander
Свой на все 100
Свой на все 100
Сообщения: 484
Стаж: 11 лет 5 месяцев
Откуда: Россия
Контактная информация:

[Общая тема]Боты для форума

Сообщение Alexander »

А это что за бот - Synthesio Crawler release MonaLisa? Тоже, смотрю, много потоков с разных ip идет.
#69
Аватара пользователя
DeaDRoMeO
Старожил Форума
Старожил Форума
Сообщения: 16763
Стаж: 13 лет
Откуда: Витебск
Контактная информация:

[Общая тема]Боты для форума

Сообщение DeaDRoMeO »

Где вы таких ботов берете ??))))Вообщем по инету пишут, что данный бот так же сканирует содержимое сайта, некоторые пишут, что он создает бешенную нагрузку на сервак, наверное и его надо забанить))
Зы, надо и мне пошерстить логи и на всякий забанить этих ботов)
На вопросы, связанные с phpBB, по ЛС не отвечаю !!!
#70
Аватара пользователя
Alexander
Свой на все 100
Свой на все 100
Сообщения: 484
Стаж: 11 лет 5 месяцев
Откуда: Россия
Контактная информация:

[Общая тема]Боты для форума

Сообщение Alexander »

Я просто стал регулярно просматривать гостей и увидел, что там на самом деле много непрописанных у меня в админке ботов, а не людей. Печально, конечно. Они еще и статистику искажают, наверное.
#71
Аватара пользователя
DeaDRoMeO
Старожил Форума
Старожил Форума
Сообщения: 16763
Стаж: 13 лет
Откуда: Витебск
Контактная информация:

[Общая тема]Боты для форума

Сообщение DeaDRoMeO »

Я тоже часто раньше шерстил и добавлял новых ботов, но новые боты сейчас реже попадаются))
На вопросы, связанные с phpBB, по ЛС не отвечаю !!!
#72
Аватара пользователя
psnw2007
Заглянул на огонек
Заглянул на огонек
Сообщения: 18
Стаж: 11 лет 6 месяцев

[Общая тема]Боты для форума

Сообщение psnw2007 »

Добавил часть ботов из списка. Будем теперь пасти, кто шарится по форуму... ))
#73
Аватара пользователя
DeaDRoMeO
Старожил Форума
Старожил Форума
Сообщения: 16763
Стаж: 13 лет
Откуда: Витебск
Контактная информация:

[Общая тема]Боты для форума

Сообщение DeaDRoMeO »

Походу всем надо начинать это делать)
На вопросы, связанные с phpBB, по ЛС не отвечаю !!!
#74
Аватара пользователя
Alexander
Свой на все 100
Свой на все 100
Сообщения: 484
Стаж: 11 лет 5 месяцев
Откуда: Россия
Контактная информация:

[Общая тема]Боты для форума

Сообщение Alexander »

DeaDRoMeO писал(а):Зы, надо и мне пошерстить логи и на всякий забанить этих ботов)
А в каком месте эти логи посмотреть?
#75
Аватара пользователя
DeaDRoMeO
Старожил Форума
Старожил Форума
Сообщения: 16763
Стаж: 13 лет
Откуда: Витебск
Контактная информация:

[Общая тема]Боты для форума

Сообщение DeaDRoMeO »

Логи сервера, все логи сервера глядеть на предмет странных запросов и ошибок)Боты они везде суются))
На вопросы, связанные с phpBB, по ЛС не отвечаю !!!
#76
Аватара пользователя
Alexander
Свой на все 100
Свой на все 100
Сообщения: 484
Стаж: 11 лет 5 месяцев
Откуда: Россия
Контактная информация:

[Общая тема]Боты для форума

Сообщение Alexander »

В общем непонятно почему, но бот AhrefsBot пробил мою защиту и снова тусуется на форуме. :cry_ing:
#77
Аватара пользователя
DeaDRoMeO
Старожил Форума
Старожил Форума
Сообщения: 16763
Стаж: 13 лет
Откуда: Витебск
Контактная информация:

[Общая тема]Боты для форума

Сообщение DeaDRoMeO »

Блин ведь в бан через админку его не кинуть наверное(
На вопросы, связанные с phpBB, по ЛС не отвечаю !!!
#78
Аватара пользователя
Alexander
Свой на все 100
Свой на все 100
Сообщения: 484
Стаж: 11 лет 5 месяцев
Откуда: Россия
Контактная информация:

[Общая тема]Боты для форума

Сообщение Alexander »

Поменял код в .htaccess на следующий:

Код: Выделить всё

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} AhrefsBot
RewriteRule ^.* - [F,L]
Уже несколько дней AhrefsBot не беспокоит. Надеюсь, сработало. :dan_ser:
#79
Аватара пользователя
DeaDRoMeO
Старожил Форума
Старожил Форума
Сообщения: 16763
Стаж: 13 лет
Откуда: Витебск
Контактная информация:

[Общая тема]Боты для форума

Сообщение DeaDRoMeO »

А я с синтаксисом .htaccess вообще не дружу))
На вопросы, связанные с phpBB, по ЛС не отвечаю !!!
#80
Ответить