禁止搜尋引擎機器人

禁止搜尋引擎機器人

1. 請編寫一個文件，檔名一定要為 robots.txt 放在網站的根目錄下(進階主機為www資料夾下)

2. 在 robots.txt 檔案內容加上

   #deny all spider

   user-agent: *

   disallow: /

3. 這樣就是代表所有的搜尋引擎，根目錄以下都禁止進入。