貼上官網網址,確認自動整理的內容,再依需求修改草稿
只取得你輸入網址的公開內容,不會登入或修改網站
先取得目前規則,再選擇設定方向,原始內容會保留供你比對
請先輸入上方的網址
未勾選的爬蟲會加上 Disallow 規則,其他爬蟲沿用原有通用規則
robots.txt 是給遵守規範的爬蟲看的存取要求,無法阻擋惡意存取或驗證身分,草稿不會修改你的正式網站
整理好的草稿會出現在這裡
交由網站團隊確認後,再放上官網