Googlebot не получает доступ на сайт

Если у вас возникают проблемы и вопросы по настройке форума phpBB3 либо выскакивают непонятные ошибки, не устанавливаются либо криво работают модификации, то этот раздел для вас. Обсуждаем все вопросы, связанные со стилями, модификациями, доработками и проблемами их использования.
Перед тем, как обратиться за помощью, обязательно заполните свой профиль (укажите ссылку на свой форум). Если есть вопрос по конкретной модификации, то обязательно пользуемся поиском по форуму, потому как, возможно, уже есть анонс этого мода и соответственно вопрос задается в теме анонса.

Модераторы: Vl@d1m1r, Lorem Ipsum, Atlas

Правила форума
----
Ответить
Максим
Заглянул на огонек
Заглянул на огонек
Сообщения: 7
Стаж: 9 лет 1 месяц

Googlebot не получает доступ на сайт

Сообщение Максим »

Здравствуйте, может кто сможет подсказать. На мой форум все иностранные боты во главе с гуглботом не могут получить доступ. Им выдаётся 503 ответ сервера и такой код:

Код: Выделить всё

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Strict//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"><html xmlns="http://www.w3.org/1999/xhtml" dir="ltr"><head><meta http-equiv="content-type" content="text/html; charset=utf-8" /><title>Общая ошибка</title><style type="text/css">
/* <![CDATA[ */
* { margin: 0; padding: 0; } html { font-size: 100%; height: 100%; margin-bottom: 1px; background-color: #E4EDF0; } body { font-family: "Lucida Grande", Verdana, Helvetica, Arial, sans-serif; color: #536482; background: #E4EDF0; font-size: 62.5%; margin: 0; } a:link, a:active, a:visited { color: #006699; text-decoration: none; } a:hover { color: #DD6900; text-decoration: underline; } #wrap { padding: 0 20px 15px 20px; min-width: 615px; } #page-header { text-align: right; height: 40px; } #page-footer { clear: both; font-size: 1em; text-align: center; } .panel { margin: 4px 0; background-color: #FFFFFF; border: solid 1px  #A9B8C2; } #errorpage #page-header a { font-weight: bold; line-height: 6em; } #errorpage #content { padding: 10px; } #errorpage #content h1 { line-height: 1.2em; margin-bottom: 0; color: #DF075C; } #errorpage #content div { margin-top: 20px; margin-bottom: 5px; border-bottom: 1px solid #CCCCCC; padding-bottom: 5px; color: #333333; font: bold 1.2em "Lucida Grande", Arial, Helvetica, sans-serif; text-decoration: none; line-height: 120%; text-align: left; } 
/* ]]> */
</style></head><body id="errorpage"><div id="wrap">	<div id="page-header">		<a href="./">Вернуться на главную страницу</a>	</div>	<div id="acp">	<div class="panel">		<div id="content">			<h1>Общая ошибка</h1>			<div>SQL ERROR [ mysqli ]<br /><br />You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near 'AND t.template_id = s.template_id
				AND c.theme_id = s.theme_id
				AND i.imag' at line 4 [1064]<br /><br />Произошла ошибка SQL при выборке на этой странице. Пожалуйста, сообщите <a href="mailto:admin@nonarko.ru">администратору</a>, если ошибка будет повторяться.</div><p>Уведомите администратора конференции или вебмастера: <a href="mailto:admin@nonarko.ru">admin@nonarko.ru</a></p>		</div>	</div>	</div>	<div id="page-footer">		Powered by <a href="https://www.phpbb.com/">phpBB</a>&reg; Forum Software &copy; phpBB Group	</div></div></body></html>
Я уже полинета перерыл, нашёл только такой же вопрос как у меня но ответа нет.
При этом Яндексбот, рамблер, спутник заходят и индексируют всё без проблем. Подскажите хоть в какую сторону смотреть, что бы ошибку найти. Мне советовали обратить внимание на user-agent, но вот где его найти?
#1
Аватара пользователя
DeaDRoMeO
Старожил Форума
Старожил Форума
Сообщения: 16763
Стаж: 13 лет
Откуда: Витебск
Контактная информация:

Googlebot не получает доступ на сайт

Сообщение DeaDRoMeO »

Права к форумам для ботов настроены? Указанные боты вообще в админке добавлены? Что в корневом файле robots.txt ?
На вопросы, связанные с phpBB, по ЛС не отвечаю !!!
#2
Максим
Заглянул на огонек
Заглянул на огонек
Сообщения: 7
Стаж: 9 лет 1 месяц

Googlebot не получает доступ на сайт

Сообщение Максим »

Спасибо, что откликнулись на мой вопрос. Да, права для ботов настроены, это первое, о чём я подумал. Всё боты добавлены. Я пробовал Гуглеботу даже админские права присвоить, всё равно не может зайти. Причём Яндекс бот заходит, всё видит и индексирует, это я проверял вот здесь http://www.bertal.ru/index.php?a1775074/forum-nonarko.ru/#h Так же боты рамблера и спутника проводят на сайте долгое время и просматривают множество страниц. Мне кажется, что виной всему User-agent иностранных роботов. Если проверять из Гугл вебмастер, то при просмотре как Гуглбот робот для Для мобильных устройств: XHTML/WML спокойно заходит и видит страницу, обычный же робот получает статус страницы "Недоступен"
Есть подозрения, что это могло случится после установления мода Prime Quick Style, но в его коде не нашёл чего то такого, за что можно было бы зацепиться.
Уже не знаю, что предпринять.
#3
Аватара пользователя
maco8024
Начинаю осваивать Форум
Начинаю осваивать Форум
Сообщения: 101
Стаж: 11 лет 10 месяцев
Откуда: Алтай
Контактная информация:

Googlebot не получает доступ на сайт

Сообщение maco8024 »

Скорее всего этa проблемa хостингa, возможно внесли IP бота в чёрный список, пишите им, проверьте Чмод нa фaйл robots.txt = 777.
#4
Максим
Заглянул на огонек
Заглянул на огонек
Сообщения: 7
Стаж: 9 лет 1 месяц

Googlebot не получает доступ на сайт

Сообщение Максим »

Нет, хостинг не при чём, у меня другие сайты там прекрасно индексирует. Это явно проблема кода, который так реагирует на user-agent иностранных роботов. Гуглы тоже скрытные, от них не добьёшься какой SQL запрос посылает их бот, на который и генерируется ошибка. В общем приходится копать вслепую.
#5
Аватара пользователя
maco8024
Начинаю осваивать Форум
Начинаю осваивать Форум
Сообщения: 101
Стаж: 11 лет 10 месяцев
Откуда: Алтай
Контактная информация:

Googlebot не получает доступ на сайт

Сообщение maco8024 »

<script async="" src="//pagead2.googlesyndication.com/pagead/js/adsbygoogle.js"></script>
Этот скрипт под шaпкой - реклaмa Google, попробуйте убрaть его.

Код: Выделить всё

<noindex>
<script async="" src="//pagead2.googlesyndication.com/pagead/js/adsbygoogle.js"></script>
<!-- Forum no -->
<ins class="adsbygoogle" style="display:inline-block;width:728px;height:90px" data-ad-client="ca-pub-7336070910163926" data-ad-slot="1989004545"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script> 
</noindex>
A в robots.txt у вaс User-agent: Mediapartners-Google
Disallow:
#6
Максим
Заглянул на огонек
Заглянул на огонек
Сообщения: 7
Стаж: 9 лет 1 месяц

Googlebot не получает доступ на сайт

Сообщение Максим »

Мако, дело было не в рекламе Гугл Адсенс, кстати Disallow: то же, что и Allow: / , так что это разрешающая директива.
Расскажу поподробнее, может кому и пригодится.
Для начала я проставил User-agent для бота гугла не "google", как было изначально прописано в phpbb, а полный агент, то есть "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)", после чего робот преспокойно зашёл на сайт. Покопавшись далее, я обнаружил, что на форуме перепутаны id пользователей. id 1 должен принадлежать Anonymous'у, 2 - админу, 3 и последующие ботам и зарегистрированным пользователям. Так вот, у меня Анонимуса вообще не было, а id 1 принадлежал пользователю. Это случилось из-за того, что я с боями переносил форум с платформы Форуменко на свой хостинг, они отдавать не хотели, пришлось парсить форум скриптом, а они скрывали многие значения БД, поэтому получилась путаница.
Восстановил Анонимуса под id 1, и из БД совершенно свежего phpbb3 скопировал себе всех ботов, удалив старых. Думал, что всё решилось, но при беглом просмотре оказалось, что все роботы перестали получать доступ на сайт. Это возникло из за того, что им прописался по умолчанию другой стиль, который был неактивен. После того, как я активировал стиль, доступ всё равно не появился. Пришлось вручную присвоить нужный стиль по умолчанию всем нужным роботам. Теперь они не вылезают с форума (соскучились видать).
Для меня осталось загадкой то, почему русские боты преспокойно гуляли по сайту, несмотря на все неполадки, но видать у них менталитет такой, ходят там где хотят, невзирая на запрещающие знаки и сломанные дороги.
#7
Ответить