robots.txt 的問題

wish

湖中沉 發表于 2026-1-20 15:14
這都是標準規范，并不是DZ獨有的，搜索一下基本就知道了

謝謝回覆，我有嘗試先搜尋答案，不過我搜尋到的都只寫同意收錄xx，不同意收錄xx，我是想知道是否包含該目錄下的子目錄。

wish

duckweed 發表于 2026-1-20 15:32
Allow: /data/attachment/ 這條規則：
允許抓取 /data/attachment/ 目錄本身
同時允許抓取該目錄下所有的 ...

感謝你的解答，我了解了。

wish

湖中沉 發表于 2026-1-20 15:34
除非有進一步的禁止命令，否則就是覆蓋子級的

受教了:handshake

wish

再請教，static 這個目錄，robots.txt 裡面既沒有Allow，也沒有Disallow，那網路蜘蛛會如何處置？謝謝

湖中沉

wish 發表于 2026-1-20 17:04
再請教，static 這個目錄，robots.txt 裡面既沒有Allow，也沒有Disallow，那網路蜘蛛會如何處置？謝謝 ...

沒禁止一般默認為可訪問。但這個里面都是靜態資源，訪問與否只在于頁面效果，不影響收錄

wish

湖中沉 發表于 2026-1-20 17:16
沒禁止一般默認為可訪問。但這個里面都是靜態資源，訪問與否只在于頁面效果，不影響收錄 ...

感謝你解惑，我了解了。

lanxiaoxiao

比如a/b/
那么就是b目錄下的所有，都可以抓取。。

lanxiaoxiao

而不僅僅是只能抓取b。
比如a/b/c和a/b/d，這2個都是可以抓取到的。