Полезная информация


----

Начать новую тему Ответить на тему
АвторСообщение

 Сообщение [Общая тема]Боты для форума 2012-02-25

Аватар пользователя

В последнее время много развелось разных ботов, посещающих наши форумы. В стандарте в phpbb3 присутствует уже неплохой список ботов, но с каждым обновлением список не пополняется, приходится самим дописывать. Зачем вообще их дописывать ? Все достаточно просто, на многих форумах информация скрыта от Гостей, допустим заходит новый поисковой бот на ваш форум и видит фигу, у него то права доступа Гостя, так вот чтобы ему помочь в индексировании нам надо дать ему права Бота(перенести его в группу Боты).

Боты добавляются через админку форума - Система - Поисковые боты. Тут нам предстает картина - полный список установленных на форуме Ботов. Можно и своих добавить, это не тяжело.
Далее представляю списочек ботов которых я добавлял и которые реально посещают форум (Имя бота/Соответствие агенту)
Bing [Bot]/bingbot
Butterfly [Bot]/butterfly
RuTwit [Bot]/bitlybot
Tweetmeme [Bot]/TweetmemeBot
Twitter [Bot]/Twitterbot
Discobot [Bot]/discobot
TurnitinBot [Bot]/TurnitinBot

Ну а эта подборка избавит вас от желания искать где либо еще ботов, добавляем любых на свое усмотрение
Name: Google AppEngine
Agent: AppEngine-Google

Name: Bit.ly
Agent: bitlybot

Name: Twitter
Agent: Twitterbot/

Name: LongURL
Agent: LongURL API

Name: PycURL
Agent: PycURL/

Name: PostRank2
Agent: PostRank/

Name: JS-Kit
Agent: JS-Kit URL Resolver

Name: MirarSearch
Agent: Mirar Search Indexing Agent

Name: Search.ch
Agent: search.ch

Name: Twitmatic
Agent: twitmatic

Name: OWS
Agent: owsBot

Name: Gais
Agent: Gaisbot/

Name: Twenga
Agent: TwengaBot

Bot Name : 1klik.dk [Bot]
Bot Agent : FastCrawler

Bot Name : 2Bone Link Checker [Bot]
Bot Agent : 2Bone

Bot Name : ABACHO [Bot]
Bot Agent : AbachoBOT

Bot Name : ABCdatos [Bot]
Bot Agent : ABCdatos

Bot Name : AEIWI [Bot]
Bot Agent : Aeiwi

Bot Name : AISearch [Bot]
Bot Agent : AISearchBot

Bot Name : Aberja [Bot]
Bot Agent : Aberja Checkomat

Bot Name : Abonti [Bot]
Bot Agent : Abonti

Bot Name : About [Bot]
Bot Agent : About/

Bot Name : Accoona [Bot]
Bot Agent : accoona

Bot Name : ActiveBookmark [Bot]
Bot Agent : ActiveBookmark

Bot Name : AdsBotGoogle [Bot]
Bot Agent : AdsBot-Google

Bot Name : Aesop [Bot]
Bot Agent : AESOP

Bot Name : Agada [Bot]
Bot Agent : agadine

Bot Name : AideRSS [RSS]
Bot Agent : AideRSS

Bot Name : Alexa [Bot]
Bot Agent : ia_archiver

Bot Name : Allesklar [Bot]
Bot Agent : Allesklar

Bot Name : Alta Vista [Bot]
Bot Agent : Scooter

Bot Name : Amfibi [Bot]
Bot Agent : Amfibibot

Bot Name : Amidalla [Bot]
Bot Agent : amibot

Bot Name : Aport [Bot]
Bot Agent : Aport

Bot Name : Apple-PubSub [Bot]
Bot Agent : Apple-PubSub

Bot Name : Arachnid Crawler [Bot]
Bot Agent : ArachBot

Bot Name : Arexera [Bot]
Bot Agent : X-Crawler

Bot Name : Arianna [Bot]
Bot Agent : arianna

Bot Name : Ask Jeeves [Bot]
Bot Agent : Ask Jeeves

Bot Name : AustLII [Bot]
Bot Agent : Gromit

Bot Name : Axada [Bot]
Bot Agent : axadine

Bot Name : BDProtect [Bot]
Bot Agent : BPImageWalker

Bot Name : Babaloo [Bot]
Bot Agent : BabalooSpider

Bot Name : Baidu [Bot]
Bot Agent : Baiduspider

Bot Name : Balihoo [Bot]
Bot Agent : Balihoo

Bot Name : Become [Bot]
Bot Agent : BecomeBot

Bot Name : Best of the Web [Bot]
Bot Agent : BOTW Spider

Bot Name : Big Brother [Bot]
Bot Agent : Big Brother

Bot Name : BigClique [Bot]
Bot Agent : BigCliqueBOT

Bot Name : Bim Zone [Bot]
Bot Agent : bim-zone

Bot Name : BitTorrent [Bot]
Bot Agent : BTbot

Bot Name : BlogDex [Bot]
Bot Agent : BlogBot

Bot Name : Bloglines [Bot]
Bot Agent : Bloglines

Bot Name : Blue.lu [Bot]
Bot Agent : Confuzzledbot

Bot Name : BoardReader [Bot]
Bot Agent : BoardReader

Bot Name : Boitho [Bot]
Bot Agent : boitho.com

Bot Name : Boston Project [Spam]
Bot Agent : Boston Project

Bot Name : Brandwatch [Bot]
Bot Agent : Jakarta Commons

Bot Name : Business.com [Bot]
Bot Agent : bdcindexer

Bot Name : BuzzRanking [Bot]
Bot Agent : BuzzRankingBot

Bot Name : CSS Validator [W3C]
Bot Agent : W3C_CSS_Validator

Bot Name : CanadianContent [Bot]
Bot Agent : RoboCrawl

Bot Name : Cazoodle [Bot]
Bot Agent : CazoodleBot

Bot Name : Check Favorites [Bot]
Bot Agent : Check Favorites

Bot Name : CheckWeb [Bot]
Bot Agent : CheckWeb

Bot Name : Checkbot [Bot]
Bot Agent : Checkbot

Bot Name : Checklinks [Bot]
Bot Agent : CheckLinks

Bot Name : Cipinet [Bot]
Bot Agent : CipinetBot

Bot Name : Claymont [Bot]
Bot Agent : Claymont.com

Bot Name : Clush [Bot]
Bot Agent : Clushbot

Bot Name : CommonCrawl [Bot]
Bot Agent : CCBot

Bot Name : Convera [Bot]
Bot Agent : Convera

Bot Name : Cosmoty [Bot]
Bot Agent : beautybot

Bot Name : CreativeCommons [Bot]
Bot Agent : CreativeCommons

Bot Name : Cruiser [Bot]
Bot Agent : Internet Cruiser Robot

Bot Name : Cuill [Bot]
Bot Agent : Twiceler

Bot Name : Custo [Bot]
Bot Agent : Custo

Bot Name : Cyber Spyder Link Test [Bot]
Bot Agent : CyberSpyder

Bot Name : CyberPatrol [Bot]
Bot Agent : CyberPatrol

Bot Name : Cydral [Bot]
Bot Agent : CydralSpider

Bot Name : Cynthia [Bot]
Bot Agent : Cynthia

Bot Name : DZNET [Bot]
Bot Agent : Kevin

Bot Name : DailyOrbit [Bot]
Bot Agent : Orbiter

Bot Name : Daum [Bot]
Bot Agent : Daumoa

Bot Name : Dead Link Check [Bot]
Bot Agent : DeadLinkCheck

Bot Name : DeepIndex [Bot]
Bot Agent : DeepIndex

Bot Name : DepSpid [Bot]
Bot Agent : DepSpid

Bot Name : Desert Realm [Bot]
Bot Agent : DesertRealm

Bot Name : Die Blinde Kuh [Bot]
Bot Agent : Die Blinde Kuh

Bot Name : Diffbot [Bot]
Bot Agent : Diffbot

Bot Name : DiscoveryEngine [Bot]
Bot Agent : discobot

Bot Name : Ditto [Bot]
Bot Agent : DittoSpyder

Bot Name : DomainTools [Bot]
Bot Agent : SurveyBot

Bot Name : DotNet [Bot]
Bot Agent : DotBot

Bot Name : Dumbfind [Bot]
Bot Agent : Dumbot

Bot Name : EXPelite [Spam]
Bot Agent : ExtractorPro

Bot Name : EmailSearch [Spam]
Bot Agent : EmailSearch

Bot Name : Enaball [Bot]
Bot Agent : EnaBot

Bot Name : Entireweb [Bot]
Bot Agent : Speedy Spider

Bot Name : Envolk [Bot]
Bot Agent : envolk

Bot Name : Exabot [Bot]
Bot Agent : Exabot

Bot Name : Exactseek [Bot]
Bot Agent : ExactSeek

Bot Name : Exalead [Bot]
Bot Agent : Exabot/

Bot Name : ExaleadThumbnails [Bot]
Bot Agent : Exabot-Thumbnails

Bot Name : Exooba [Bot]
Bot Agent : exooba

Bot Name : FAST Enterprise [Bot]
Bot Agent : FAST Enterprise

Bot Name : FAST WebCrawler [Bot]
Bot Agent : FAST-WebCrawler

Bot Name : FULLSearch [Bot]
Bot Agent : FULLSearch

Bot Name : Facebook Scraper [Bot]
Bot Agent : facebookscraper

Bot Name : Facebook [Bot]
Bot Agent : facebookexternalhit

Bot Name : FakeWordpress [Spam]
Bot Agent : WordPress/

Bot Name : Favorstar [Bot]
Bot Agent : favorstarbot

Bot Name : Feed Validator [W3C]
Bot Agent : FeedValidator

Bot Name : FeedValidator [Bot]
Bot Agent : FeedValidator

Bot Name : Filangy [Bot]
Bot Agent : Filangy

Bot Name : Fireball [Bot]
Bot Agent : Fireball

Bot Name : Focuseek [Bot]
Bot Agent : focuseekbot

Bot Name : Francis [Bot]
Bot Agent : http://www.neomo.de

Bot Name : Furl [Bot]
Bot Agent : FurlBot

Bot Name : FyberSearch [Bot]
Bot Agent : FyberSpider

Bot Name : Galaxy [Bot]
Bot Agent : GalaxyBot

Bot Name : Geona [Bot]
Bot Agent : GeonaBot

Bot Name : Gigabot [Bot]
Bot Agent : Gigabot

Bot Name : Girafa [Bot]
Bot Agent : Girafabot

Bot Name : GoForIt [Bot]
Bot Agent : GOFORITBOT

Bot Name : GoGuides [Bot]
Bot Agent : Goblin

Bot Name : Goo [Bot]
Bot Agent : ichiro

Bot Name : Google Adsense [Bot]
Bot Agent : Mediapartners-Google

Bot Name : Google Desktop [Bot]
Bot Agent : Google Desktop

Bot Name : Google Feedfetcher [Bot]
Bot Agent : Feedfetcher-Google

Bot Name : Google Search Appliance [Bot]
Bot Agent : gsa-crawler

Bot Name : Google Wireless Transcoder [Bot]
Bot Agent : Google Wireless Transcoder

Bot Name : Google [Bot]
Bot Agent : Googlebot

Bot Name : HMSEbot [Spam]
Bot Agent : HMSEbot

Bot Name : HTML2JPG [Bot]
Bot Agent : HTML2JPG

Bot Name : HTTrack [Bot]
Bot Agent : HTTrack

Bot Name : Hatena Antenna [Bot]
Bot Agent : Hatena Antenna

Bot Name : Heeii [Bot]
Bot Agent : Heeii

Bot Name : Heise IT-Markt [Bot]
Bot Agent : IT-Markt

Bot Name : Heritrix [Bot]
Bot Agent : heritrix

Bot Name : Homerweb [Bot]
Bot Agent : Homerbot

Bot Name : Hoppa! [Bot]
Bot Agent : Toutatis

Bot Name : Html Link Validator [Bot]
Bot Agent : Html Link Validator

Bot Name : IBM Research [Bot]
Bot Agent : ibm.com/cs/crawler

Bot Name : ICjobs [Bot]
Bot Agent : ICCrawler

Bot Name : INFOmine [Bot]
Bot Agent : iVia

Bot Name : ISC Open Index [Bot]
Bot Agent : ISC Open Index crawler

Bot Name : IceRocket [Bot]
Bot Agent : BlogzIce

Bot Name : IconSurf [Bot]
Bot Agent : IconSurf

Bot Name : Il Trovatore [Bot]
Bot Agent : IlTrovatore-Setaccio

Bot Name : Ilse [Bot]
Bot Agent : IlseBot

Bot Name : ImageShack [Bot]
Bot Agent : ImageShack Image Fetcher

Bot Name : Indy Library [Spam]
Bot Agent : Indy Library

Bot Name : Information Credibility Criteria Project [Bot]
Bot Agent : ICC-Crawler

Bot Name : InternetSeer [Bot]
Bot Agent : InternetSeer.com

Bot Name : InternetServicesResearch [Bot]
Bot Agent : MSR-ISRCCrawler

Bot Name : JCheckLinks [Bot]
Bot Agent : JCheckLinks

Bot Name : Jyxo [Bot]
Bot Agent : Jyxobot

Bot Name : Kalooga [Bot]
Bot Agent : Kalooga

Bot Name : Keywen Encyclopedia Links [Bot]
Bot Agent : KeywenBot

Bot Name : Keywen Encyclopedia [Bot]
Bot Agent : EasyDL

Bot Name : Kvasir [Bot]
Bot Agent : Solbot

Bot Name : Larbin [Bot]
Bot Agent : larbin

Bot Name : Link Checker [W3C]
Bot Agent : W3C-checklink/

Bot Name : LinkAlarm [Bot]
Bot Agent : LinkAlarm

Bot Name : LinkChecking [Bot]
Bot Agent : LinkWalker

Bot Name : LinkLint [Bot]
Bot Agent : LinkLint

Bot Name : LinkNZ [Bot]
Bot Agent : linknzbot

Bot Name : Lookseek [Bot]
Bot Agent : Seeker

Bot Name : Looksmart [Bot]
Bot Agent : MantraAgent

Bot Name : Lycos [Bot]
Bot Agent : Lycos

Bot Name : MLBot [Bot]
Bot Agent : MLBot

Bot Name : MOMspider [Bot]
Bot Agent : MOMspider

Bot Name : MSIEcrawler [Bot]
Bot Agent : msiecrawler

Bot Name : MSN Mobile [Bot]
Bot Agent : MSMOBOT

Bot Name : MSN [Bot]
Bot Agent : msnbot

Bot Name : Magpie [Bot]
Bot Agent : magpie-crawler

Bot Name : Majestic-12 [Bot]
Bot Agent : MJ12bot/

Bot Name : Majestic12 [Bot]
Bot Agent : MJ12bot

Bot Name : Markup Validator [W3C]
Bot Agent : W3C_Validator

Bot Name : Media [MSN]
Bot Agent : msnbot-media

Bot Name : Megaglobe [Bot]
Bot Agent : Megaglobe

Bot Name : Megaproxy [Bot]
Bot Agent : ProxyOS

Bot Name : Metager [Bot]
Bot Agent : MetagerBot

Bot Name : Metaspinner [Bot]
Bot Agent : Metaspinner

Bot Name : Microsoft Research [Bot]
Bot Agent : MSRBOT

Bot Name : Mirago [Bot]
Bot Agent : Mirago-Test-Robot

Bot Name : MixCat [Bot]
Bot Agent : Mixcat Crawler

Bot Name : MoPilot [Bot]
Bot Agent : w@pSpider

Bot Name : Mojeek [Bot]
Bot Agent : MojeekBot

Bot Name : Morfeo [Bot]
Bot Agent : holmes

Bot Name : Munax [Bot]
Bot Agent :

Bot Name : MyFamily [Bot]
Bot Agent : MyFamilyBot

Bot Name : Mylinea [Bot]
Bot Agent : Mylinea

Bot Name : NG-Search [Bot]
Bot Agent : NG-Search

Bot Name : NationalDirectory [Bot]
Bot Agent : NDSpider

Bot Name : Naver [Bot]
Bot Agent : Yeti

Bot Name : NetMechanic [Bot]
Bot Agent : NetMechanic

Bot Name : Netcraft WebServerSurvey [Bot]
Bot Agent : Netcraft Web Server Survey

Bot Name : NewsBlogs [MSN]
Bot Agent : msnbot-NewsBlogs

Bot Name : NextLinks [Bot]
Bot Agent : findlinks

Bot Name : Nextopia [Bot]
Bot Agent : Nextopia

Bot Name : Nextthing [Bot]
Bot Agent : nextthing.org

Bot Name : Nokodo [Bot]
Bot Agent : NokodoBot

Bot Name : Noxtrum [Bot]
Bot Agent : noxtrumbot

Bot Name : Nutch [Bot]
Bot Agent : nutch

Bot Name : NutchCVS [Bot]
Bot Agent : NutchCVS

Bot Name : ObjectsSearch [Bot]
Bot Agent : ObjectsSearch

Bot Name : Omgili [Bot]
Bot Agent : omgilibot

Bot Name : OmniExplorer [Bot]
Bot Agent : OmniExplorer

Bot Name : Onet.pl [Bot]
Bot Agent : Onet.pl

Bot Name : Online link [Bot]
Bot Agent : online link validator

Bot Name : OnlineLinkValidator [Bot]
Bot Agent : online link validator

Bot Name : Openfind [Bot]
Bot Agent : Openbot

Bot Name : Oxide [Bot]
Bot Agent : Anthill

Bot Name : P3P Validator [W3C]
Bot Agent : P3P Validator

Bot Name : PEERbot [Bot]
Bot Agent : PEERbot

Bot Name : PHP Version Tracker [Bot]
Bot Agent : PHP version tracker

Bot Name : Patsearch [Bot]
Bot Agent : Patwebbot

Bot Name : PicSearch [Bot]
Bot Agent : psbot

Bot Name : Picosearch [Bot]
Bot Agent : PicoSearch

Bot Name : Pingdom [Bot]
Bot Agent : Pingdom

Bot Name : Pipeline [Bot]
Bot Agent : pipeLiner

Bot Name : Polybot [Bot]
Bot Agent : polybot

Bot Name : Popdex [Bot]
Bot Agent : Popdexter

Bot Name : Powerset [Bot]
Bot Agent : zermelo

Bot Name : Proximic [Bot]
Bot Agent : proximic

Bot Name : Qango [Bot]
Bot Agent : Qango

Bot Name : Quepasa [Bot]
Bot Agent : QuepasaCreep

Bot Name : REAP Project [Bot]
Bot Agent : REAP-crawler

Bot Name : RIX [Bot]
Bot Agent : RixBot

Bot Name : RPonline [Bot]
Bot Agent : BlitzBOT

Bot Name : RSS-Reader [RSS]
Bot Agent : RSS-Reader

Bot Name : RSS-SPIDER [RSS]
Bot Agent : RSS-SPIDER

Bot Name : Rambler [Bot]
Bot Agent : StackRambler

Bot Name : ReciprocalLinksChecker [Bot]
Bot Agent : reciprocal links checker

Bot Name : Robots.txt Validator [Bot]
Bot Agent : Robots.txt Validator

Bot Name : SEO Crawler [Bot]
Bot Agent : SEO search

Bot Name : SEOSearch [Bot]
Bot Agent : SEOsearch

Bot Name : ScoutJet [Bot]
Bot Agent : ScoutJet

Bot Name : ScrubTheWeb [Bot]
Bot Agent : Scrubby

Bot Name : SearchByUSA [Bot]
Bot Agent : SearchByUsa

Bot Name : SearchHippo [Bot]
Bot Agent : Fluffy the spider

Bot Name : SearchScout [Bot]
Bot Agent : ClariaBot

Bot Name : SearchUK [Bot]
Bot Agent : MegaSheep

Bot Name : Searchalot [Bot]
Bot Agent : SEARCHALOT

Bot Name : Searchles [Bot]
Bot Agent : Dumbot

Bot Name : Searchme [Bot]
Bot Agent : Charlotte

Bot Name : SecureComputing [Bot]
Bot Agent : page_prefetcher

Bot Name : Seekport [Bot]
Bot Agent : Seekbot

Bot Name : Semantic Data Extractor [W3C]
Bot Agent : Python-urllib

Bot Name : Sensis [Bot]
Bot Agent : Sensis

Bot Name : Seoma [Bot]
Bot Agent : Seoma

Bot Name : Setooz [Bot]
Bot Agent : OOZBOT

Bot Name : Seznam [Bot]
Bot Agent : SeznamBot

Bot Name : Shelob [Spam]
Bot Agent : shelob

Bot Name : Shoula! [Bot]
Bot Agent : Shoula

Bot Name : Simply [Bot]
Bot Agent : Argus

Bot Name : SingingFish [Bot]
Bot Agent : asterias

Bot Name : Site Valet [Bot]
Bot Agent : Valet

Bot Name : SiteSearcher [Bot]
Bot Agent : SSearch

Bot Name : SiteSell [Bot]
Bot Agent : SBIder

Bot Name : SiteSpider [Bot]
Bot Agent : SiteSpider

Bot Name : Sitesearch.ca [Bot]
Bot Agent : Reaper

Bot Name : SitiDi [Bot]
Bot Agent : SitiDiBot

Bot Name : Skaffe [Bot]
Bot Agent : Skampy

Bot Name : Skizzle [Bot]
Bot Agent : SKIZZLE

Bot Name : Snap Shots Preview [Bot]
Bot Agent : SnapPreviewBot

Bot Name : Snap Shots [Bot]
Bot Agent : Snapbot

Bot Name : Snappy [Bot]
Bot Agent : Snappy

Bot Name : Snoopy [Bot]
Bot Agent : Snoopy

Bot Name : SoMusical! [Bot]
Bot Agent : MusicWalker

Bot Name : Sonic [Spam]
Bot Agent : EmailSiphon

Bot Name : Soso [Bot]
Bot Agent : Sosospider

Bot Name : Speedy Spider [Bot]
Bot Agent : speedy_spider

Bot Name : SpiderMonkey [Bot]
Bot Agent : SpiderMonkey

Bot Name : Spinn3r [Bot]
Bot Agent : Spinn3r

Bot Name : Startpagina [Bot]
Bot Agent : Startpagina

Bot Name : Steeler [Bot]
Bot Agent : www.tkl.iis.u-tokyo.ac.jp/~crawler

Bot Name : Suchbot [Bot]
Bot Agent : suchbot

Bot Name : Suchen.de [Bot]
Bot Agent : suchen.de

Bot Name : Suchknecht [Bot]
Bot Agent : Suchknecht

Bot Name : Suchmaschine21 [Bot]
Bot Agent : CoolBot

Bot Name : SurfSafely [Bot]
Bot Agent : Submission Spider

Bot Name : Sygol [Bot]
Bot Agent : sygol

Bot Name : Syno [Bot]
Bot Agent : Synoobot

Bot Name : Synoo [Bot]
Bot Agent : SynooBot

Bot Name : Szukacz [Bot]
Bot Agent : Szukacz

Bot Name : Telekom [Bot]
Bot Agent : crawleradmin.t-info@telekom.de

Bot Name : Teradex [Bot]
Bot Agent : Teradex

Bot Name : The Web Moose [Bot]
Bot Agent : WebMoose

Bot Name : Thunderstone [Bot]
Bot Agent : T-H-U-N-D-E-R-S-T-O-N-E

Bot Name : TinEye [Bot]
Bot Agent : TinEye

Bot Name : Tkensaku [Bot]
Bot Agent : Tkensaku

Bot Name : Trampelpfad [Bot]
Bot Agent : Trampelpfad

Bot Name : Tricus [Bot]
Bot Agent : Rotondo

Bot Name : TulipChain [dmoz]
Bot Agent : TulipChain

Bot Name : TurnPike [Bot]
Bot Agent : Turnpike

Bot Name : Turnitin [Bot]
Bot Agent : TurnitinBot

Bot Name : TutorGig [Bot]
Bot Agent : TutorGig

Bot Name : Twotrees [Bot]
Bot Agent : Willow Internet Crawler

Bot Name : Tygo [Bot]
Bot Agent : Tygo

Bot Name : UKWizz [Bot]
Bot Agent : Mackster

Bot Name : UnCHAOS [Bot]
Bot Agent : UnChaos

Bot Name : Updated! [Bot]
Bot Agent : updated

Bot Name : Verity [Bot]
Bot Agent : vspider

Bot Name : Virgilio [Bot]
Bot Agent : FAST

Bot Name : Visvo [Bot]
Bot Agent : VisBot

Bot Name : Voila [Bot]
Bot Agent : VoilaBot

Bot Name : Voyager [Bot]
Bot Agent : voyager

Bot Name : W3M2 [Bot]
Bot Agent : W3M2

Bot Name : W3SiteSearch [Bot]
Bot Agent : W3SiteSearch

Bot Name : WBpagechecker [Bot]
Bot Agent : WBpagechecker

Bot Name : WISEnutbot [Bot]
Bot Agent : WISEnutbot

Bot Name : Walhello [Bot]
Bot Agent : appie

Bot Name : WebAlta [Bot]
Bot Agent : WebAlta

Bot Name : WebCopy [Bot]
Bot Agent : WebCopy

Bot Name : WebCorp [Bot]
Bot Agent : WebCorp

Bot Name : WebCrawl [Bot]
Bot Agent : webcrawl

Bot Name : WebSquash [Bot]
Bot Agent : Websquash

Bot Name : Webglimpse [Bot]
Bot Agent : Webglimpse

Bot Name : Wget [Spam]
Bot Agent : Wget

Bot Name : WhatUSeek [Bot]
Bot Agent : whatUseek

Bot Name : Whitevector [Bot]
Bot Agent : Whitevector Crawler

Bot Name : Wikia Search [Bot]
Bot Agent : GrubNG

Bot Name : WiseGuys [Bot]
Bot Agent : Vagabondo

Bot Name : WiseNut [Bot]
Bot Agent : ZyBorg

Bot Name : Wotbox [Bot]
Bot Agent : WSB

Bot Name : YaCy [Bot]
Bot Agent : yacybot

Bot Name : Yahoo Feed Seeker [RSS]
Bot Agent : YahooFeedSeeker

Bot Name : Yahoo MMCrawler [Bot]
Bot Agent : MMCrawler

Bot Name : Yahoo Search Marketing [Bot]
Bot Agent : YahooYSMcm

Bot Name : Yahoo Slurp [Bot]
Bot Agent : Yahoo! DE Slurp

Bot Name : Yahoo [Bot]
Bot Agent : Slurp

Bot Name : YahooSeeker [Bot]
Bot Agent : YahooSeeker

Bot Name : Yandex [Bot]
Bot Agent : Yandex

Bot Name : Yanga [Bot]
Bot Agent : Yanga

Bot Name : Yebol [Bot]
Bot Agent : YebolBot

Bot Name : Yellowpet [Bot]
Bot Agent : yellopet

Bot Name : Yodao [Bot]
Bot Agent : YodaoBot

Bot Name : Youdao [Bot]
Bot Agent : YoudaoBot

Bot Name : Zao [Bot]
Bot Agent : Zao

Bot Name : Zerx [Bot]
Bot Agent : zerxbot

Bot Name : ZoomInfo [Bot]
Bot Agent : NextGenSearchBot

Bot Name : blogWatcher [Bot]
Bot Agent : blogWatcher

Bot Name : dir.com [Bot]
Bot Agent : Pompos

Bot Name : dmoz [Bot]
Bot Agent : Robozilla

Bot Name : iOpus [Bot]
Bot Agent : iopus

Bot Name : ichiro [Bot]
Bot Agent : ichiro

Bot Name : libwww script [Spam]
Bot Agent : libwww-perl

Bot Name : mirago.co.uk [Bot]
Bot Agent : HenrytheMirago

Bot Name : mirago.de [Bot]
Bot Agent : HeinrichderMirago

Bot Name : mnoGoSearch [Bot]
Bot Agent : Mnogosearch

Bot Name : mobileOK Checker [W3C]
Bot Agent : W3C-mobileOK

Bot Name : search.ch [Bot]
Bot Agent : search.ch

Bot Name : vBSEO [Bot]
Bot Agent : vBSEO

Bot Name : webcollage [Bot]
Bot Agent : webcollage
 

Список не особо велик ибо я не занимался серьезно отловом Ботов, посещающих мой форум. Этим вы можете сами заняться, достаточно частенько проглядывать списки тех, кто находится на форуме и смотреть их User-Agent. Если у вас есть какие либо новые Боты - просьба поделиться :co_ol:


_________________
Подпись:
-_- -_-
На вопросы, связанные с phpBB, по ЛС не отвечаю !!!

Теги темы
боты phpbb3, поисковые боты phpbb3, добавить новых ботов phpbb3, новые боты phpbb3, список ботов phpbb3
          Вернуться наверх  
 


Случайный аватар. Пользователю рекомендуется загрузить свой аватар в Настройках профиля

DeaDRoMeO писал(а):

Ага, не надо все это полностью писать

А как правильно будет прописать Mozilla/5.0 (compatible; YandexBot/3.0; MirrorDetector; +http://yandex.com/bots) ?
YandexBot/3.0 ?
или YandexBot/3.0; MirrorDetector ?


          Вернуться наверх  
 


Аватар пользователя

DeaDRoMeO писал(а):

Так-с, яндекс
Имя Yandex [Bot]
Соответствие агенту Yandex

Вот как, если яндекса нет у вас в списке ботов. Не вижу смысла разделять ботов яндекса по их назначению


_________________
Подпись:
-_- -_-
На вопросы, связанные с phpBB, по ЛС не отвечаю !!!
          Вернуться наверх  
 


Случайный аватар. Пользователю рекомендуется загрузить свой аватар в Настройках профиля

Так и прописал, Гугл тоже одним агентом прописал.
Нигде не найду юзер агент твиттера.


          Вернуться наверх  
 


Аватар пользователя

Да легко, в первый пост темы гляньте


_________________
Подпись:
-_- -_-
На вопросы, связанные с phpBB, по ЛС не отвечаю !!!
          Вернуться наверх  
 


Случайный аватар. Пользователю рекомендуется загрузить свой аватар в Настройках профиля

Я так и делал, только Tweetmeme у меня определяется, а Twitter ни в какую.
Когда много агентов заходит, после поста в Twitter - Twitter не определяется.
А что это за Tweetmeme агент? Не в курсе?

И ещё вопрос: правильно ли я агента Гугла прописал - Google /Google ?


          Вернуться наверх  
 


Аватар пользователя

Агент гугла у меня прописан как Googlebot
SergeyDY писал(а):

А что это за Tweetmeme агент? Не в курсе?

Он должен вместе с ботом твиттера приходить


_________________
Подпись:
-_- -_-
На вопросы, связанные с phpBB, по ЛС не отвечаю !!!
          Вернуться наверх  
 


Случайный аватар. Пользователю рекомендуется загрузить свой аватар в Настройках профиля

Всем здравствуйте!
Помогите, пожалуйста, дауну по php с двумя вопросами по ботам:
1. Имеет ли значение слэш в строке "Соответствие агенту"? У каких-то ботов стоит слэш, у каких-то - нет. В чём разница?
2. Боты видят Блоги/Дневники? Ни разу не засекла их на страницах Дневников. Правда, и мод Дневников поставлен недели три назад. Может поэтому? С другой стороны, Галерея ставилась одновременно с Дневниками и в неё несколько ботов уже заглянуло.
Заранее спасибо


          Вернуться наверх  
 


Аватар пользователя

Кстати, давно хотела спросить..... на каком то форуме видела такую штуку с ботами - взяли и просто переименовали их (гугл - это гуля, яндекс - это яна и т.д.) Интересно, а это невредно??? У пользователей создается иллюзия вечно сидящих "людей" на форуме... а как к этому сами поисковики отнесутся????


          Вернуться наверх  
 


Аватар пользователя

Переименовка вредности в себе не несет))

Насчет ботов и дневников - права доступа не настраивали??


_________________
Подпись:
-_- -_-
На вопросы, связанные с phpBB, по ЛС не отвечаю !!!
          Вернуться наверх  
 


Аватар пользователя

Здравствуйте! Подскажите, пожалуйста, на что влияет установка стиля форума для бота и какие стили наиболее заточены под seo оптимизацию. Я так понимаю, если боту поставить мобильный стиль типа Artodia Mobile & SEO, то индексируется меньше мусора?


          Вернуться наверх  
 


Аватар пользователя

По идее да, меньше лишнего ему попадается, но всеравно немного надо допиливать эти стили


_________________
Подпись:
-_- -_-
На вопросы, связанные с phpBB, по ЛС не отвечаю !!!
          Вернуться наверх  
 


Аватар пользователя

В каком направлении пилить, удалять все, кроме текста форумов и тем. Вы допиливали свой стиль. Есть какая- то инструкция. У вас для ботов какой стиль стоит?


          Вернуться наверх  
 


Аватар пользователя

Ды только сеооптимизировал и все, для ботов не ставил отдельного стиля, лишние слова можно и удалять, а можно и условием закрыть


_________________
Подпись:
-_- -_-
На вопросы, связанные с phpBB, по ЛС не отвечаю !!!
          Вернуться наверх  
 


Аватар пользователя

Условия стоят, а яндексом проиндексировано все, кроме того что нужно....


          Вернуться наверх  
 


Аватар пользователя

Такая же врипнципе беда, просто забил я на эти поисковики, ведут странно они себя


_________________
Подпись:
-_- -_-
На вопросы, связанные с phpBB, по ЛС не отвечаю !!!
          Вернуться наверх  
 


Аватар пользователя

В списке ботов есть несколько ботов с подписью спам типа:

Bot Name : Boston Project [Spam]
Bot Agent : Boston Project

Что это означает? Что хорошего дадут эти боты для форума?


          Вернуться наверх  
 


Аватар пользователя

Интересный том, не понял несколько моментов. У меня постоянно в качестве гостей, кто то находится. Как определить кто это гость или бот ? И как например проследить куда ходит эти гости. Как можно проследить куда ходит Гугл бот ? Карты сайта нет. У меня как то был брог на вордпрессе и там вез всяких карт в гугл очень быстро влетали новые темы. Спасибо за ответ !


          Вернуться наверх  
 


Аватар пользователя

Просто смотрите списки кто онлайн и там среди прочей инфы будет юзерагент, если он есть - 90% что бот


_________________
Подпись:
-_- -_-
На вопросы, связанные с phpBB, по ЛС не отвечаю !!!
          Вернуться наверх  
 


Аватар пользователя

Ну это да , это я понимаю. Просто некоторые пишут , что могут увидеть название бода и проследить куда он пошел )) Может имеется ввиду яндекс метрика ?


          Вернуться наверх  
 


Аватар пользователя

Ну не знаю, вроде метрика такого не может, я ее использую для тепловой карты кликов


_________________
Подпись:
-_- -_-
На вопросы, связанные с phpBB, по ЛС не отвечаю !!!
          Вернуться наверх  
 
 
Начать новую тему Ответить на тему


Дополнительные возможности

  Похожие темы  Автор  Ответов  Просмотров  Последнее сообщение 
Аватар пользователя [Общая тема]HTML - CSS - Графика форума: где что править ???
Тема полностью посвящена ошибкам и проблемам отображения стилей, а так же любым вольным ковыряниям в HTML - CSS файлах форума phpbb3
Тема закрыта
Аватар пользователя [Общая тема]HTML-CSS-Графика форума: где что править ???-Ч.2
Вторая часть темы, посвященной ошибкам и проблемам отображения стилей, а так же любым вольным ковыряниям в HTML - CSS файлах форума phpbb3

DeaDRoMeO

8

244

Аватар пользователя

03 окт 2017, 05:38

DeaDRoMeO

Аватар пользователя [Общая тема] Всети.BY
Тема посвящена всем новостям и обсуждениям белорусской социальной сети Всети.BY

DeaDRoMeO

0

1684

Аватар пользователя

22 окт 2012, 07:52

DeaDRoMeO

Аватар пользователя [Общая тема]Index.by
В скором времени в Беларуси появится новая поисковая система Index.by, интересно будет поглядеть на ее работу и качество индексирования. Данная тема посвящена всем новостям Index.by

DeaDRoMeO

5

1863

Аватар пользователя

04 сен 2012, 10:30

DeaDRoMeO

Аватар пользователя [Общая тема] Вконтакте
Тема посвящена обсуждению любых новостей и материалов, связанных с социальной сетью Вконтакте

DeaDRoMeO

50

2937

Аватар пользователя

15 июн 2013, 21:06

DeaDRoMeO

Оставить свой комментарий

Поделиться темой с помощью

Ссылки на тему

Прямая ссылка:
BB-код для форумов, сайтов, блогов:
HTML ссылка:
 


cron

Самая неформальная поддержка phpBB :P