Блокировка ботов через htaccess !

Тема в разделе "Хостинг", создана пользователем Дядя Жора, 04.08.16.

  1. Дядя Жора

    Дядя Жора Активный участник

    Сообщения:
    399
    Симпатии:
    168
    Баллы:
    81
    Знающие , помогите нюбу ! Боты за.бали ! Какие то они совсем агрессивные стали , ложат слабенький VPS при прогоне (Процессор 1 ядро Intel Xeon, ОЗУ 1024 Mb ) ! Агрессивней не прогоняю , все по накатанной , как говорится : Работает , не трогай !!)) Вот как прописать в htaccess что бы заблокировать бота Twitterbot/1.0 ?
    Вот мой обязательный htaccess
    Код:
    Options -Indexes
    php_value display_errors 0
    php_flag display_errors 0
    AddDefaultCharset utf-8
    ErrorDocument 404 /404.html
    
    
    RewriteRule ^sitemap/$ sitemap.php
    RewriteRule ^sitemap/([0-9]*)/$ sitemap.php?p=$1
    RewriteRule ^showforum/([0-9]*)/([0-9]*)/$ showforum.php?c=$1&p=$2
    RewriteRule ^art/([a-zA-Z0-9_-]+)/$ art.php?showtopic=$1
    Ставляю так , но в логах все равно боты , или в логах они и должны быть ?
    Код:
    Options -Indexes
    php_value display_errors 0
    php_flag display_errors 0
    AddDefaultCharset utf-8
    ErrorDocument 404 /404.html
    
    SetEnvIfNoCase User-Agent "^Black Hole" bad_bot
    SetEnvIfNoCase User-Agent "^Titan" bad_bot
    SetEnvIfNoCase User-Agent "^WebStripper" bad_bot
    SetEnvIfNoCase User-Agent "^ExtractorPro" bad_bot
    SetEnvIfNoCase User-Agent "^CopyRightCheck" bad_bot
    SetEnvIfNoCase User-Agent "^Crescent" bad_bot
    SetEnvIfNoCase User-Agent "^Wget" bad_bot
    SetEnvIfNoCase User-Agent "^SiteSnagger" bad_bot
    SetEnvIfNoCase User-Agent "^ProWebWalker" bad_bot
    SetEnvIfNoCase User-Agent "^CheeseBot" bad_bot
    SetEnvIfNoCase User-Agent "^Teleport" bad_bot
    SetEnvIfNoCase User-Agent "^TeleportPro" bad_bot
    SetEnvIfNoCase User-Agent "^NetMechanic" bad_bot
    SetEnvIfNoCase User-Agent "^CherryPicker" bad_bot
    SetEnvIfNoCase User-Agent "^EmailCollector" bad_bot
    SetEnvIfNoCase User-Agent "^EmailSiphon" bad_bot
    SetEnvIfNoCase User-Agent "^WebBandit" bad_bot
    SetEnvIfNoCase User-Agent "^EmailWolf" bad_bot
    SetEnvIfNoCase User-Agent "^MIIxpc" bad_bot
    SetEnvIfNoCase User-Agent "^Telesoft" bad_bot
    SetEnvIfNoCase User-Agent "^Website Quester" bad_bot
    SetEnvIfNoCase User-Agent "^WebZip" bad_bot
    SetEnvIfNoCase User-Agent "^moget/2.1" bad_bot
    SetEnvIfNoCase User-Agent "^WebZip/4.0" bad_bot
    SetEnvIfNoCase User-Agent "^WebSauger" bad_bot
    SetEnvIfNoCase User-Agent "^WebCopier" bad_bot
    SetEnvIfNoCase User-Agent "^NetAnts" bad_bot
    SetEnvIfNoCase User-Agent "^Mister PiX" bad_bot
    SetEnvIfNoCase User-Agent "^WebAuto" bad_bot
    SetEnvIfNoCase User-Agent "^TheNomad" bad_bot
    SetEnvIfNoCase User-Agent "^WWW-Collector-E" bad_bot
    SetEnvIfNoCase User-Agent "^spanner" bad_bot
    SetEnvIfNoCase User-Agent "^InfoNaviRobot" bad_bot
    SetEnvIfNoCase User-Agent "^Harvest/1.5" bad_bot
    SetEnvIfNoCase User-Agent "^Bullseye/1.0" bad_bot
    SetEnvIfNoCase User-Agent "^Mozilla/4.0 (compatible; BullsEye; Windows 95)" bad_bot
    SetEnvIfNoCase User-Agent "^Crescent Internet ToolPak HTTP OLE Control v.1.0" bad_bot
    SetEnvIfNoCase User-Agent "^CherryPickerSE/1.0" bad_bot
    SetEnvIfNoCase User-Agent "^RMA" bad_bot
    SetEnvIfNoCase User-Agent "^libWeb/clsHTTP" bad_bot
    SetEnvIfNoCase User-Agent "^asterias" bad_bot
    SetEnvIfNoCase User-Agent "^httplib" bad_bot
    SetEnvIfNoCase User-Agent "^turingos" bad_bot
    SetEnvIfNoCase User-Agent "^CherryPicker /1.0" bad_bot
    SetEnvIfNoCase User-Agent "^WebBandit/3.50" bad_bot
    SetEnvIfNoCase User-Agent "^NICErsPRO" bad_bot
    SetEnvIfNoCase User-Agent "^Microsoft URL Control - 5.01.4511" bad_bot
    SetEnvIfNoCase User-Agent "^DittoSpyder" bad_bot
    SetEnvIfNoCase User-Agent "^Foobot" bad_bot
    SetEnvIfNoCase User-Agent "^WebmasterWorldForumBot" bad_bot
    SetEnvIfNoCase User-Agent "^SpankBot" bad_bot
    SetEnvIfNoCase User-Agent "^BotALot" bad_bot
    SetEnvIfNoCase User-Agent "^lwp-trivial/1.34" bad_bot
    SetEnvIfNoCase User-Agent "^lwp-trivial" bad_bot
    SetEnvIfNoCase User-Agent "^Wget/1.6" bad_bot
    SetEnvIfNoCase User-Agent "^BunnySlippers" bad_bot
    SetEnvIfNoCase User-Agent "^humanlinks" bad_bot
    SetEnvIfNoCase User-Agent "^LinkextractorPro" bad_bot
    SetEnvIfNoCase User-Agent "^Offline Explorer" bad_bot
    SetEnvIfNoCase User-Agent "^Mata Hari" bad_bot
    SetEnvIfNoCase User-Agent "^LexiBot" bad_bot
    SetEnvIfNoCase User-Agent "^Web Image Collector" bad_bot
    SetEnvIfNoCase User-Agent "^The Intraformant" bad_bot
    SetEnvIfNoCase User-Agent "^True_Robot/1.0" bad_bot
    SetEnvIfNoCase User-Agent "^True_Robot" bad_bot
    SetEnvIfNoCase User-Agent "^Microsoft URL Control - 6.00.8169" bad_bot
    SetEnvIfNoCase User-Agent "^URLy Warning" bad_bot
    SetEnvIfNoCase User-Agent "^Wget/1.5.3" bad_bot
    SetEnvIfNoCase User-Agent "^LinkWalker" bad_bot
    SetEnvIfNoCase User-Agent "^cosmos" bad_bot
    SetEnvIfNoCase User-Agent "^moget" bad_bot
    SetEnvIfNoCase User-Agent "^hloader" bad_bot
    SetEnvIfNoCase User-Agent "^BlowFish/1.0" bad_bot
    SetEnvIfNoCase User-Agent "^JennyBot" bad_bot
    SetEnvIfNoCase User-Agent "^MIIxpc/4.2" bad_bot
    SetEnvIfNoCase User-Agent "^BuiltBotTough" bad_bot
    SetEnvIfNoCase User-Agent "^ProPowerBot/2.14" bad_bot
    SetEnvIfNoCase User-Agent "^BackDoorBot/1.0" bad_bot
    SetEnvIfNoCase User-Agent "^toCrawl/UrlDispatcher" bad_bot
    SetEnvIfNoCase User-Agent "^WebEnhancer" bad_bot
    SetEnvIfNoCase User-Agent "^TightTwatBot" bad_bot
    SetEnvIfNoCase User-Agent "^suzuran" bad_bot
    SetEnvIfNoCase User-Agent "^VCI WebViewer VCI WebViewer Win32" bad_bot
    SetEnvIfNoCase User-Agent "^VCI" bad_bot
    SetEnvIfNoCase User-Agent "^Xenu's Link Sleuth 1.1c" bad_bot
    SetEnvIfNoCase User-Agent "^Xenu's" bad_bot
    SetEnvIfNoCase User-Agent "^Zeus" bad_bot
    SetEnvIfNoCase User-Agent "^RepoMonkey Bait & Tackle/v1.01" bad_bot
    SetEnvIfNoCase User-Agent "^RepoMonkey" bad_bot
    SetEnvIfNoCase User-Agent "^Zeus 32297 Webster Pro V2.9 Win32" bad_bot
    SetEnvIfNoCase User-Agent "^Webster Pro" bad_bot
    SetEnvIfNoCase User-Agent "^EroCrawler" bad_bot
    SetEnvIfNoCase User-Agent "^LinkScan/8.1a Unix" bad_bot
    SetEnvIfNoCase User-Agent "^Keyword Density/0.9" bad_bot
    SetEnvIfNoCase User-Agent "^Szukacz/1.4" bad_bot
    SetEnvIfNoCase User-Agent "^QueryN Metasearch" bad_bot
    SetEnvIfNoCase User-Agent "^Openfind data gathere" bad_bot
    SetEnvIfNoCase User-Agent "^Openfind" bad_bot
    SetEnvIfNoCase User-Agent "^Kenjin Spider" bad_bot
    SetEnvIfNoCase User-Agent "^Cegbfeieh" bad_bot
    SetEnvIfNoCase User-Agent "^Applebot/0.1" bad_bot
    SetEnvIfNoCase User-Agent "Twitterbot/1.0" bad_bot
    SetEnvIfNoCase User-Agent "TweetmemeBot/4.0" bad_bot
    SetEnvIfNoCase User-Agent "PaperLiBot/2.1" bad_bot
    SetEnvIfNoCase User-Agent "LivelapBot/0.2" bad_bot
    SetEnvIfNoCase User-Agent "Mediatoolkitbot ([email protected])" bad_bot
    
    Order Allow,Deny
    Allow from all
    Deny from env=bad_bot
    RewriteEngine on
    
    RewriteRule ^sitemap/$ sitemap.php
    RewriteRule ^sitemap/([0-9]*)/$ sitemap.php?p=$1
    RewriteRule ^showforum/([0-9]*)/([0-9]*)/$ showforum.php?c=$1&p=$2
    RewriteRule ^art/([a-zA-Z0-9_-]+)/$ art.php?showtopic=$1
    

    Если это , то вообще дор не работает !
    Код:
    RewriteCond %{HTTP_USER_AGENT} MJ12bot [OR]
    RewriteCond %{HTTP_USER_AGENT} Java [OR]
    RewriteCond %{HTTP_USER_AGENT} NjuiceBot [OR]
    RewriteCond %{HTTP_USER_AGENT} Gigabot [OR]
    RewriteCond %{HTTP_USER_AGENT} Baiduspider [OR]
    RewriteCond %{HTTP_USER_AGENT} JS-Kit [OR]
    RewriteCond %{HTTP_USER_AGENT} Voyager [OR]
    RewriteCond %{HTTP_USER_AGENT} PostRank [OR]
    RewriteCond %{HTTP_USER_AGENT} PycURL [OR]
    RewriteCond %{HTTP_USER_AGENT} Aport [OR]
    RewriteCond %{HTTP_USER_AGENT} ia_archiver [OR]
    RewriteCond %{HTTP_USER_AGENT} DotBot [OR]
    RewriteCond %{HTTP_USER_AGENT} SurveyBot [OR]
    RewriteCond %{HTTP_USER_AGENT} larbin [OR]
    RewriteCond %{HTTP_USER_AGENT} Butterfly [OR]
    RewriteCond %{HTTP_USER_AGENT} libwww [OR]
    RewriteCond %{HTTP_USER_AGENT} Wget [OR]
    RewriteCond %{HTTP_USER_AGENT} SWeb [OR]
    RewriteCond %{HTTP_USER_AGENT} LinkExchanger [OR]
    RewriteCond %{HTTP_USER_AGENT} Soup [OR]
    RewriteCond %{HTTP_USER_AGENT} WordPress [OR]
    RewriteCond %{HTTP_USER_AGENT} PHP/ [OR]
    RewriteCond %{HTTP_USER_AGENT} spbot [OR]
    RewriteCond %{HTTP_USER_AGENT} MLBot [OR]
    RewriteCond %{HTTP_USER_AGENT} InternetSeer [OR]
    RewriteCond %{HTTP_USER_AGENT} FairShare [OR]
    RewriteCond %{HTTP_USER_AGENT} Yeti [OR]
    RewriteCond %{HTTP_USER_AGENT} Birubot [OR]
    RewriteCond %{HTTP_USER_AGENT} YottosBot [OR]
    RewriteCond %{HTTP_USER_AGENT} gold\ crawler [OR]
    RewriteCond %{HTTP_USER_AGENT} Linguee [OR]
    RewriteCond %{HTTP_USER_AGENT} Ezooms [OR]
    RewriteCond %{HTTP_USER_AGENT} lwp-trivial [OR]
    RewriteCond %{HTTP_USER_AGENT} Purebot [OR]
    RewriteCond %{HTTP_USER_AGENT} User-Agent [OR]
    RewriteCond %{HTTP_USER_AGENT} kmSearchBot [OR]
    RewriteCond %{HTTP_USER_AGENT} SiteBot [OR]
    RewriteCond %{HTTP_USER_AGENT} CamontSpider [OR]
    RewriteCond %{HTTP_USER_AGENT} ptd-crawler [OR]
    RewriteCond %{HTTP_USER_AGENT} HTTrack [OR]
    RewriteCond %{HTTP_USER_AGENT} suggybot [OR]
    RewriteCond %{HTTP_USER_AGENT} ttCrawler [OR]
    RewriteCond %{HTTP_USER_AGENT} Nutch [OR]
    RewriteCond %{HTTP_USER_AGENT} Twitterbot/1.0 [OR]
    RewriteCond %{HTTP_USER_AGENT} MetaURI API/2.0 [OR]
    RewriteCond %{HTTP_USER_AGENT} Applebot/0.1 [OR]
    RewriteCond %{HTTP_USER_AGENT} TweetmemeBot/4.0 [OR]
    RewriteCond %{HTTP_USER_AGENT} PaperLiBot/2.1 [OR]
    RewriteCond %{HTTP_USER_AGENT} LivelapBot/0.2 [OR]
    RewriteCond %{HTTP_USER_AGENT} Mediatoolkitbot [OR]
    RewriteCond %{HTTP_USER_AGENT} Zeus
    RewriteRule ^(.*)$ – [F,L]
     
  2. amnesia

    amnesia Новичок

    Сообщения:
    75
    Симпатии:
    40
    Баллы:
    19
    Во втором варианте забыл добавить в начало:
    Код:
    RewriteEngine On
    
    А в access.log они так и так будут, прсто им отдается 403
     
    Дядя Жора нравится это.
  3. loiol

    loiol Новичок

    Сообщения:
    7
    Симпатии:
    3
    Баллы:
    3
    Привет всем на этом форуме!

    На моих от WP неплохо справляется:

    Код:
    # BEGIN Блокировщик вредных ботов
    SetEnvIfNoCase User-Agent "Abonti|aggregator|AhrefsBot|asterias|BDCbot|BLEXBot|BuiltBotTough|Bullseye|BunnySlippers|ca\-crawler|CCBot|Cegbfeieh|CheeseBot|CherryPicker|CopyRightCheck|cosmos|Crescent|discobot|DittoSpyder|DotBot|Download Ninja|EasouSpider|EmailCollector|EmailSiphon|EmailWolf|EroCrawler|Exabot|ExtractorPro|Fasterfox|FeedBooster|Foobot|Genieo|grub\-client|Harvest|hloader|httplib|HTTrack|humanlinks|ieautodiscovery|InfoNaviRobot|IstellaBot|Java/1\.|JennyBot|k2spider|Kenjin Spider|Keyword Density/0\.9|larbin|LexiBot|libWeb|libwww|LinkextractorPro|linko|LinkScan/8\.1a Unix|LinkWalker|LNSpiderguy|lwp\-trivial|magpie|Mata Hari|MaxPointCrawler|MegaIndex|Microsoft URL Control|MIIxpc|Mippin|Missigua Locator|Mister PiX|MJ12bot|moget|MSIECrawler|NetAnts|NICErsPRO|Niki\-Bot|NPBot|Nutch|Offline Explorer|Openfind|panscient\.com|PHP/5\.\{|ProPowerBot/2\.14|ProWebWalker|Python\-urllib|QueryN Metasearch|RepoMonkey|RMA|SemrushBot|SeznamBot|SISTRIX|sitecheck\.Internetseer\.com|SiteSnagger|SnapPreviewBot|Sogou|SpankBot|spanner|spbot|Spinn3r|suzuran|Szukacz/1\.4|Teleport|Telesoft|The Intraformant|TheNomad|TightTwatBot|Titan|toCrawl/UrlDispatcher|True_Robot|turingos|TurnitinBot|UbiCrawler|UnisterBot|URLy Warning|VCI|WBSearchBot|Web Downloader/6\.9|Web Image Collector|WebAuto|WebBandit|WebCopier|WebEnhancer|WebmasterWorldForumBot|WebReaper|WebSauger|Website Quester|Webster Pro|WebStripper|WebZip|Wotbox|wsr\-agent|WWW\-Collector\-E|Xenu|Zao|Zeus|ZyBORG|coccoc|Incutio|lmspider|memoryBot|SemrushBot|serf|Unknown|uptime files" bad_bot
    
    SetEnvIfNoCase Referer "semalt\.com|kambasoft\.com|savetubevideo\.com|buttons\-for\-website\.com|sharebutton\.net|soundfrost\.org|srecorder\.com|softomix\.com|softomix\.net|myprintscreen\.com|joinandplay\.me|fbfreegifts\.com|openmediasoft\.com|zazagames\.org|extener\.org|openfrost\.com|openfrost\.net|googlsucks\.com|best\-seo\-offer\.com|buttons\-for\-your\-website\.com|www\.Get\-Free\-Traffic\-Now\.com|best\-seo\-solution\.com|buy\-cheap\-online\.info|site3\.free\-share\-buttons\.com|webmaster\-traffic\.com" bad_bot
    
    Deny from env=bad_bot
    # END Блокировщик вредных ботов
    Смотри код, что надо пропиши, что не надо сам реши.
     
    Дядя Жора нравится это.
  4. coolfox

    coolfox Участник

    Сообщения:
    183
    Симпатии:
    44
    Баллы:
    30
    iptables -A INPUT -p tcp --dport 80 -m string --algo bm --string "Googlebot" -j DROP
    iptables -A INPUT -p tcp --dport 80 -m string --algo bm --string "MJ12bot" -j DROP
    iptables -A INPUT -p tcp --dport 80 -m string --algo bm --string "bingbot" -j DROP
    iptables -A INPUT -p tcp --dport 80 -m string --algo bm --string "MMB29P" -j DROP
    iptables -A INPUT -p tcp --dport 80 -m string --algo bm --string "Netcraft" -j DROP


    Можешь не благодарить ;)

    Юзай в консоле, они не дойдут до апача даже в таком случае
     
    Дядя Жора нравится это.
  5. amnesia

    amnesia Новичок

    Сообщения:
    75
    Симпатии:
    40
    Баллы:
    19
    Добавь как сбросить правила, а то ща кто-нибудь первую строку сходу вобьёт...:D
     
    mordvin и Дядя Жора нравится это.
  6. coolfox

    coolfox Участник

    Сообщения:
    183
    Симпатии:
    44
    Баллы:
    30
    Да я надеюсь, здешние ребятки в подобных ссылках не нуждаются http://bit.ly/2aAfqI5
     
    Дядя Жора нравится это.
  7. Дядя Жора

    Дядя Жора Активный участник

    Сообщения:
    399
    Симпатии:
    168
    Баллы:
    81
    Ну я понимаю , Вы парни продвинутые , а я пьяный нюб! Так что мне прописать ?? ОЗУ 2048 держит всю шнягу !
    В логах все равно боты должны быть ? Файл логов за сутки может достигать 1га
     
    Последнее редактирование: 04.08.16
  8. coolfox

    coolfox Участник

    Сообщения:
    183
    Симпатии:
    44
    Баллы:
    30
    Зайдо по ssh в консоль и вставь:

    iptables -A INPUT -p tcp --dport 80 -m string --algo bm --string "Twitterbot" -j DROP
     
    Дядя Жора нравится это.
  9. Дядя Жора

    Дядя Жора Активный участник

    Сообщения:
    399
    Симпатии:
    168
    Баллы:
    81
    Лиса, у меня десятки атакууещих ботов ! Мне нужно в дорген прописать ! Это был как пример !
     
  10. coolfox

    coolfox Участник

    Сообщения:
    183
    Симпатии:
    44
    Баллы:
    30
    Если ты хочешь чтобы прям вообще хорошо было то не в дорген пиши, а на сервер.
    Пиши с каждой новой строки новый useragent
    Ну а если нет возможности, то тогда, да только
    PHP:
    SetEnvIfNoCase User-Agent "Java/1.6.0_04" bad_bot
    SetEnvIfNoCase User
    -Agent "Java/1.6.0_24" bad_bot
    SetEnvIfNoCase User
    -Agent "Downloader" bad_bot

    <Limit GET POST HEAD>
     
    Order Allow,Deny
     Allow from all
     Deny from env
    =bad_bot
    </Limit>
     
  11. Дядя Жора

    Дядя Жора Активный участник

    Сообщения:
    399
    Симпатии:
    168
    Баллы:
    81
    @coolfox А Это не то что я в первой месаге накалякал ?
     
  12. coolfox

    coolfox Участник

    Сообщения:
    183
    Симпатии:
    44
    Баллы:
    30
    То

    но если с сервером работать не хочешь\можешь других вариантов не существует
     
  13. Дядя Жора

    Дядя Жора Активный участник

    Сообщения:
    399
    Симпатии:
    168
    Баллы:
    81
    Немножко не понял , пьян просто скорее всего , Вот ты шаришь , можешь написать что прописать в
    htaccess , не знаю почему начало писать такими огромными БУУУУУквами ))) Без балды !!!
     
  14. VitaliiS

    VitaliiS Новичок

    Сообщения:
    2
    Симпатии:
    2
    Баллы:
    19
    У меня такой htacces, все работает, боты получают 403.
    Код:
    SetEnvIfNoCase User-Agent "^.*AhrefsBot" bad_user
    SetEnvIfNoCase User-Agent "^.*LinkpadBot" bad_user
    SetEnvIfNoCase User-Agent "^.*MJ12bot" bad_user
    SetEnvIfNoCase User-Agent "^.*Baiduspider" bad_user
    SetEnvIfNoCase User-Agent "^.*Riddler" bad_user
    SetEnvIfNoCase User-Agent "^.*MegaIndex.ru" bad_user
    SetEnvIfNoCase User-Agent "^.*SputnikBot" bad_user
    SetEnvIfNoCase User-Agent "^.*msnbot" bad_user
    SetEnvIfNoCase User-Agent "^.*Exabot" bad_user
    SetEnvIfNoCase User-Agent "^.*DotBot" bad_user
    SetEnvIfNoCase User-Agent "^.*wmaid" bad_user
    SetEnvIfNoCase User-Agent "^.*statdom" bad_user
    SetEnvIfNoCase User-Agent "^.*TurnitinBot" bad_user
    SetEnvIfNoCase User-Agent "^.*Web-Monitoring" bad_user
    SetEnvIfNoCase User-Agent "^.*200PleaseBot" bad_user
    SetEnvIfNoCase User-Agent "^.*SLCC2" bad_user
    SetEnvIfNoCase User-Agent "^.*SV1" bad_user
    SetEnvIfNoCase User-Agent "^.*MSIE\s6\.1" bad_user
    SetEnvIfNoCase User-Agent "^.*Ask\sJeeves" bad_user
    SetEnvIfNoCase User-Agent "^.*HP\sWeb\sPrintSmart" bad_user
    SetEnvIfNoCase User-Agent "^.*HTTrack" bad_user
    SetEnvIfNoCase User-Agent "^.*IDBot" bad_user
    SetEnvIfNoCase User-Agent "^.*Indy\sLibrary" bad_user
    SetEnvIfNoCase User-Agent "^.*ListChecker" bad_user
    SetEnvIfNoCase User-Agent "^.*MSIECrawler" bad_user
    SetEnvIfNoCase User-Agent "^.*NetCache" bad_user
    SetEnvIfNoCase User-Agent "^.*Nutch" bad_user
    SetEnvIfNoCase User-Agent "^.*RPT-HTTPClient" bad_user
    SetEnvIfNoCase User-Agent "^.*rulinki\.ru" bad_user
    SetEnvIfNoCase User-Agent "^.*Twiceler" bad_user
    SetEnvIfNoCase User-Agent "^.*Webster\sPro" bad_user
    SetEnvIfNoCase User-Agent "^.*www\.cys\.ru" bad_user
    SetEnvIfNoCase User-Agent "^.*Wysigot" bad_user
    SetEnvIfNoCase User-Agent "^.*Yeti" bad_user
    SetEnvIfNoCase User-Agent "^.*Accoona" bad_user
    SetEnvIfNoCase User-Agent "^.*CazoodleBot" bad_user
    SetEnvIfNoCase User-Agent "^.*CFNetwork" bad_user
    SetEnvIfNoCase User-Agent "^.*ConveraCrawler" bad_user
    SetEnvIfNoCase User-Agent "^.*DISCo" bad_user
    SetEnvIfNoCase User-Agent "^.*Download\sMaster" bad_user
    SetEnvIfNoCase User-Agent "^.*FAST\sMetaWeb\sCrawler" bad_user
    SetEnvIfNoCase User-Agent "^.*Flexum\sspider" bad_user
    SetEnvIfNoCase User-Agent "^.*Gigabot" bad_user
    SetEnvIfNoCase User-Agent "^.*HTMLParser" bad_user
    SetEnvIfNoCase User-Agent "^.*ia_archiver" bad_user
    SetEnvIfNoCase User-Agent "^.*ichiro" bad_user
    SetEnvIfNoCase User-Agent "^.*IRLbot" bad_user
    SetEnvIfNoCase User-Agent "^.*Java" bad_user
    SetEnvIfNoCase User-Agent "^.*km\.ru\sbot" bad_user
    SetEnvIfNoCase User-Agent "^.*kmSearchBot" bad_user
    SetEnvIfNoCase User-Agent "^.*libwww-perl" bad_user
    SetEnvIfNoCase User-Agent "^.*Lupa\.ru" bad_user
    SetEnvIfNoCase User-Agent "^.*LWP::Simple" bad_user
    SetEnvIfNoCase User-Agent "^.*lwp-trivial" bad_user
    SetEnvIfNoCase User-Agent "^.*Missigua" bad_user
    SetEnvIfNoCase User-Agent "^.*Offline\sExplorer" bad_user
    SetEnvIfNoCase User-Agent "^.*OmniExplorer_Bot" bad_user
    SetEnvIfNoCase User-Agent "^.*PEAR" bad_user
    SetEnvIfNoCase User-Agent "^.*psbot" bad_user
    SetEnvIfNoCase User-Agent "^.*Python" bad_user
    SetEnvIfNoCase User-Agent "^.*rulinki\.ru" bad_user
    SetEnvIfNoCase User-Agent "^.*SMILE" bad_user
    SetEnvIfNoCase User-Agent "^.*Speedy" bad_user
    SetEnvIfNoCase User-Agent "^.*Teleport\sPro" bad_user
    SetEnvIfNoCase User-Agent "^.*TurtleScanner" bad_user
    SetEnvIfNoCase User-Agent "^.*voyager" bad_user
    SetEnvIfNoCase User-Agent "^.*WebCopier" bad_user
    SetEnvIfNoCase User-Agent "^.*WebData" bad_user
    SetEnvIfNoCase User-Agent "^.*WebZIP" bad_user
    SetEnvIfNoCase User-Agent "^.*Yanga" bad_user
    SetEnvIfNoCase User-Agent "^.*Ezooms" bad_user
    SetEnvIfNoCase User-Agent "^.*BLEXBot" bad_user
    SetEnvIfNoCase User-Agent "^.*Spider/Bot" bad_user
    Deny from env=bad_user
     
    ontop и coolfox нравится это.
  15. Дядя Жора

    Дядя Жора Активный участник

    Сообщения:
    399
    Симпатии:
    168
    Баллы:
    81
    @VitaliiS Так и влупить в htacces ?
    ------------------- Добавлено 05.08.16 -------------------
    А в логах боты будут ??
     
  16. VitaliiS

    VitaliiS Новичок

    Сообщения:
    2
    Симпатии:
    2
    Баллы:
    19
    Да, так и прописать, в логах будут но страницы загружать не будут
     
  17. ontop

    ontop Активный участник

    Сообщения:
    330
    Симпатии:
    148
    Баллы:
    71
    Гугла бот задрал! Может его по времени или по количеству запросов, как нибудь можно ограничить? Из панели вебмастера понятно, что есть настройка(но это не наш случай)
    запись в robots.txt Crawl-delay: 10 игнорирует скотина

    Помогает бан по User-Agent , но это не дело
    SetEnvIfNoCase User-Agent "^.*GoogleBot" bad_user
    [​IMG]

    Без бана бота... так
    [​IMG]
     
  18. Marbas

    Marbas Активный участник

    Сообщения:
    120
    Симпатии:
    61
    Баллы:
    50
    Попробуй настроить парамерт ограничения доступа с одного ip (если у тебя nginx) в стиле limit_req_zone $LIMIT_REQ_ZONE zone=limit_req:64m rate=2r/s;
    При
    LIMIT_REQ_ZONE='$binary_remote_addr'
     
    HelgerLEE и ontop нравится это.
  19. ontop

    ontop Активный участник

    Сообщения:
    330
    Симпатии:
    148
    Баллы:
    71
    Спасиб за совет, только связка у меня apache2.2+nginx1.10

    Попробую этим модулем mod_limitipconn усмирить, этого гуглоеда:)
     
  20. ontop

    ontop Активный участник

    Сообщения:
    330
    Симпатии:
    148
    Баллы:
    71
    Не помог ни один модуль apache, от этого гуглоеда, пришлось забанить самую агрессивную подсеть.

    [​IMG]
     

Поделиться этой страницей