香蕉成人伊视频在线观看|学生小视频国产区|yy女主播啪啪啪视频|麻豆传播媒体APP大全免费版官网|瑜伽牲交AV|国产欧美日韩在线天堂区|白浆精品国产91

Discuz! 官方交流社區(qū)

標(biāo)題: 如何屏蔽谷歌爬蟲搜索，及其它搜索爬蟲？ [打印本頁]

作者: klg548 時間: 2023-5-31 14:36
標(biāo)題: 如何屏蔽谷歌爬蟲搜索，及其它搜索爬蟲？
如何屏蔽谷歌爬蟲搜索，及其它搜索爬蟲？有沒有什么插件可以控制的，爬蟲太平凡爬去給服務(wù)器好大壓力？

作者: 人工智能實驗室 時間: 2023-5-31 14:59
可以利用.htaccess設(shè)置搜索引擎屏蔽，例如：

SetEnvIfNoCase User-Agent "pyspider|Applebot|Apache-HttpClient|CCBot|Abonti|aggregator|AhrefsBot|YisouSpider|BLEXBot|DotBot|YandexBot|trendictionbot|MagiBot|Exabot|ScooperBot|YandexImages|SemrushBot|MJ12bot|startmebot|ltx71|DuckDuckGo|IndeedBot|SEOkicks|GrapeshotCrawler|crawler4j|Pinterestbot|StormCrawler|StormCrawler|paracrawl|StormCrawler|GrapeshotCrawler" bad_bot
Deny from env=bad_bot

復(fù)制代碼

不同的搜索引擎蜘蛛用豎線|分隔

作者: 人工智能實驗室 時間: 2023-5-31 15:01
上面的是常見的一些垃圾蜘蛛，可以拿來即用，谷歌對應(yīng)的代碼為 Googlebot 可以自己添加進去！

作者: 手機之狼 時間: 2023-5-31 17:16

人工智能實驗室發(fā)表于 2023-5-31 15:01
上面的是常見的一些垃圾蜘蛛，可以拿來即用，谷歌對應(yīng)的代碼為 Googlebot 可以自己添加進去！ ...

請問AspiegelBot代碼是什么？讓AspiegelBot騷擾的受不了。

作者: 文強 時間: 2023-5-31 18:14

手機之狼發(fā)表于 2023-5-31 17:16
請問AspiegelBot代碼是什么？讓AspiegelBot騷擾的受不了。

(, 下載次數(shù): 51)

作者: qwexiamen 時間: 2023-6-2 10:50
robots.txt放根目錄你可以去搜下寫法比較簡單 User-agent: Googlebot Disallow: /

歡迎光臨 Discuz! 官方交流社區(qū) (http://m.yu-jie.cn/)