香蕉成人伊视频在线观看|学生小视频国产区|yy女主播啪啪啪视频|麻豆传播媒体APP大全免费版官网|瑜伽牲交AV|国产欧美日韩在线天堂区|白浆精品国产91

Discuz! 官方交流社區(qū)

標題: discuz關于禁止SemrushBot等爬蟲的問題 [打印本頁]
作者: chunge327    時間: 2022-11-27 17:29
標題: discuz關于禁止SemrushBot等爬蟲的問題
這兩天發(fā)現(xiàn)SemrushBot這個爬蟲爬的很頻繁  一分鐘能爬十來次
robot.txt中是這樣填寫的嗎
  1. User-agent: MJ12bot
  2. Disallow: /
  3. User-agent: SemrushBot
  4. Disallow: /
復制代碼
直接在robot尾部加的嗎？還是有什么其它的方法可以屏蔽掉這些垃圾爬蟲
作者: babyfacer    時間: 2022-11-27 20:27
你可以網(wǎng)上找一下這些蜘蛛的IP，連IP也屏蔽了【慎重，別搞錯了】



歡迎光臨 Discuz! 官方交流社區(qū) (http://m.yu-jie.cn/) Powered by Discuz! X5.0