關于網站robots.txt怎么寫,需要注意那些?
來源: | 作者:szhuhang | 發布時間: 885天前 | 276 次瀏覽 | 分享到:
關于網站robots.txt怎么寫,需要注意那些事項呢?在搞清楚怎么寫之前,我們需要了解網站建設中robots到底是個什么東西?下面就給大家詳細的說說。
    簡單的說,ROBOTS就是禁止搜索引擎搜錄的協議,由于深圳網站建設有些內容屬于私密性質,不方面對外,所以在08年Google,雅虎,微軟就合作,共同遵守統一的Sitemaps標準。robots.txt是一個純文本文件,在這個文件中網站管理者可以聲明該網站中不想被robots訪問的部分,或者指定搜索引擎只收錄指定的內容。當一個搜索機器人(有的叫搜索蜘蛛)訪問一個站點時,它會首先檢查該站點根目錄下是否存在robots.txt,如果存在,搜索機器人就會按照該文件中的內容來確定訪問的范圍;如果該文件不存在,那么搜索機器人就沿著鏈接抓取。
    那么網站設計好之后怎么寫ROBOTS呢?用robots屏蔽網站重復頁很多網站一個內容提供多種瀏覽版本,雖然很方便用戶卻對蜘蛛造成了困難,因為它分不清那個是主,那個是次,一旦讓它認為你在惡意重復,兄弟你就慘了
User-agent: *
Disallow: /sitemap/ 《禁止蜘蛛抓取 文本網頁》
    禁止spider訪問特定目錄

  User-agent: *

  Disallow: /cgi-bin/

  Disallow: /tmp/

  Disallow: /data/

  注意事項:1)三個目錄要分別寫。2)請注意最后要帶斜杠。3)帶斜杠與不帶斜杠的區別。
    做完網站建設后如何提交網站設計地圖現在做優化的都知道做網站地圖了,可是卻沒幾個會提交的,絕大多數人是干脆在網頁上加個鏈接,其實robots是支持這個功能的Sitemap: 
   

禁止所有搜索引擎訪問網站的所有部分

User-agent: *
Disallow: /

禁止百度索引你的網站

User-agent: Baiduspider
Disallow: /

禁止Google索引你的網站

User-agent: Googlebot
Disallow: /

禁止除Google外的一切搜索引擎索引你的網站

User-agent: Googlebot
Disallow:
User-agent: *
Disallow: /
    網站建設好之在空間里面填寫下ROBOTS是非常必要的,寫好一個ROBOTE有利于網站排名效果的提升,增加搜索引擎對網頁的友好度。

乐赢彩票首页 陕西快乐10分中奖规则金额 河北排列五彩票开奖 青海11选五技巧 pk10人工免费计划 四川快乐12 北京快3官网 湖北省30选5开奖 吉利德科学公司股票 广东好彩1开奖助手 吉林十一选五前三直最大遗漏