排列3平均值走势图
8年網站建設、推廣經驗!服務客戶2000+
微信關注
掃一掃,享優惠!
咨詢電話:400-888-2014;座機:029-81627176;手機/微信:153 5370 4270
建站百科

您現在的位置:主頁 > 心海資訊 > 建站百科 >

  • 推薦文章
  • 塑料瓶的神奇!
    大膽的奇想,趕快來試試吧! 這些環保的小工藝品希望你能喜歡!趕快支持一下我們吧!西安網站設計公司感謝您的支持!......
    201409/13
  • 三千左右組裝電腦配置參
    一般小型辦公三千左右的主機組裝基本可以滿足了。 如果做圖或者視頻可以要顯卡好一點,cpu現在基本都是i系列的雙核處理器或者以上配置。 下面曬一下我2009年到2015年間用過......
    201509/20
  • 今年的夏天不再用空調
    今年的西安真是超級涼快,夏天就過去了,可能是下雨多的原因,連續下了半個月真是快發霉的節奏......
    201409/22
  • 西安網站建設公司如何定
    西安網站建設公司 如何定位自己發展路線,聯系人:薛經理,電話:153 5370 4270 地址:陜西省西安市未央區龍首村十字公園壹號一號樓1815室。 網絡這行,說實話現在很多公司......
    201305/18
  • 微耕機參數
    ......
    201607/01
  • 【視頻】四川康定地震現
    ......
    201411/22
  • 相關文章
  • 西安網站建設業務流程
    網站建設業務流程: 客戶提出需求: 客戶通過電話、電子郵件或在線訂單方式提出自己網站建設方面的基本需求。 涉及內容包括: 1、公司介紹 2、欄目描述 3、網站......
    201705/03
  • 做網站一年做總結網站建設行業的一些教訓
    2012年8月,開始正式操作西安網站建設,和小麗一起把心海網絡一點點做起來,到幾年十月,積累客戶140多個,算是不小的收獲了,這一年多,總結了很多教訓: 1、客......
    201310/10
  • 2013年2月份IDC排行榜
    作為網站建設行業的,我覺得有必要了解新的idc行業動態,以便更好的為企業服務! 中國IDC評述網03月04日報道:據IDC評述網新數據顯示,2013年2月份,全國IDC品牌......
    201305/24
  • 西安網站建設對于企業選購網站空間的幾點見解
    西安網站建設對于企業選購網站空間的幾點見解......
    201208/13

網站建設robots的書寫規范

心海網絡:2015-01-19 15:26     閱讀數:
1、Sitemap: http://www.***.com/sitemap.xml
(此處請填寫XML地圖的絕對路徑,即完整URL,如果按習慣填寫Sitemap: /sitemap.xml,提交后會提示:檢測到無效的 Sitemap 網址;語法錯誤。

2. 如果你的網站是動態網頁,并且你為這些動態網頁創建了靜態副本,以供搜索蜘蛛更容易抓取。那么你需要在robots.txt文件里設置避免動態網頁被蜘蛛索引,以保證這些網頁不會被視為含重復內容。

3,"User-agent:*"這樣的記錄只能有一條
Disallow:   該項的值用于描述不希望被訪問的一組URL,這個值可以是一條完整的路徑,也可以是路徑的非空前綴,以Disallow項的值開頭的URL不會被robot訪問。例如"Disallow:/help"禁止robot訪問/help.html、/helpabc.html、/help/index.html,而"Disallow:/help/"則允許robot訪問/help.html、/helpabc.html,不能訪問/help/index.html。"Disallow:"說明允許robot訪問該網站的所有url,在"/robots.txt"文件中,至少要有一條Disallow記錄。如果"/robots.txt"不存在或者為空文件,則對于所有的搜索引擎robot,該網站都是開放的。


4、一個網站的所有URL默認是Allow的,所以Allow通常與Disallow搭配使用,實現允許訪問一部分網頁同時禁止訪問其它所有URL的功能。
需要特別注意的是Disallow與Allow行的順序是有意義的,robot會根據第一個匹配成功的Allow或Disallow行確定是否訪問某個URL。

 "$" 匹配行結束符。   "*" 匹配0或多個任意字符。
在線客服
熱線電話
400-888-2014
029-81627176
153 5370 4270

掃一掃微信咨詢
排列3平均值走势图