香蕉成人伊视频在线观看|学生小视频国产区|yy女主播啪啪啪视频|麻豆传播媒体APP大全免费版官网|瑜伽牲交AV|国产欧美日韩在线天堂区|白浆精品国产91

返回列表 發帖
查看: 1233|回復: 1

[求助] discuz關于禁止SemrushBot等爬蟲的問題

4

主題

4

回帖

3

粉絲

初學乍練

貢獻
0 點
金幣
2 個
樓主
發表于 2022-11-27 17:29:30 |河南| 只看樓主 |倒序瀏覽 |閱讀模式
這兩天發現SemrushBot這個爬蟲爬的很頻繁  一分鐘能爬十來次
robot.txt中是這樣填寫的嗎
  1. User-agent: MJ12bot
  2. Disallow: /
  3. User-agent: SemrushBot
  4. Disallow: /
復制代碼
直接在robot尾部加的嗎？還是有什么其它的方法可以屏蔽掉這些垃圾爬蟲
我知道答案 回答被采納將會獲得1 貢獻 + 1 金幣 已有1人回答
回復

使用道具 舉報

22

主題

745

回帖

4

粉絲

已臻大成

貢獻
37 點
金幣
34 個
沙發
發表于 2022-11-27 20:27:46 |四川| 只看Ta
你可以網上找一下這些蜘蛛的IP，連IP也屏蔽了【慎重，別搞錯了】
回復 贊

使用道具 舉報

您需要登錄后才可以回帖 登錄 | 立即注冊

本版積分規則

  • 關注公眾號
  • 有償服務微信
  • 有償服務QQ

手機版|小黑屋|Discuz! 官方交流社區 ( 皖ICP備16010102號 |皖公網安備34010302002376號 )|網站地圖|star

GMT+8, 2026-5-31 09:28 , Processed in 0.039301 second(s), 12 queries , Redis On.

Powered by Discuz! X5.0 Licensed

© 2001-2026 Discuz! Team.

關燈 在本版發帖
有償服務QQ
有償服務微信
 返回頂部
快速回復 返回頂部 返回列表