免費工具

AI 爬蟲存取設定

貼上官網網址,確認自動整理的內容,再依需求修改草稿

只取得你輸入網址的公開內容,不會登入或修改網站

確認與修改

先取得目前規則,再選擇設定方向,原始內容會保留供你比對

目前的 robots.txt
請先輸入上方的網址

robots.txt 是給遵守規範的爬蟲看的存取要求,無法阻擋惡意存取或驗證身分,草稿不會修改你的正式網站

你的草稿

robots.txt

整理好的草稿會出現在這裡

交由網站團隊確認後,再放上官網

預約 Demo