<rp id="owv8m"><ruby id="owv8m"><input id="owv8m"></input></ruby></rp>
  • <nobr id="owv8m"><strike id="owv8m"></strike></nobr>
  • <nav id="owv8m"><big id="owv8m"></big></nav>

    <th id="owv8m"><track id="owv8m"></track></th>
  • <progress id="owv8m"><track id="owv8m"></track></progress>
    <span id="owv8m"></span>
    <tbody id="owv8m"><p id="owv8m"></p></tbody>
    鄭州SEO公司提供一站式鄭州SEO服務,幫助企業網站建設關鍵詞排名快速上首頁!鄭州SEO學習交流群1:664611314<<每天前兩名進群,免費幫助分析診斷網站>>

    什么是robots協議?robots.txt文件怎么寫?

    SEO基礎知識 3118℃ 0評論

    作為一個SEO人員,你知道什么是robots協議?robots.txt文件怎么寫嗎?下面鄭州SEO就來告訴大家什么是robots協議以及robots.txt文件的寫法!

    什么是robots協議?robots.txt文件怎么寫?

    一、什么是Robots協議?

    Robots協議(也稱為爬蟲協議、機器人協議等)的全稱是“網絡爬蟲排除標準”,robots.txt是搜索引擎訪問網站時第一個查看的文件,當我們網站有部分內容不希望收搜索引擎抓取時,就可以通過Robots協議來告訴搜索引擎哪些頁面是不能抓取的,大多用來保護網站的隱私,以及一些死鏈、重復頁面等等。

    二、、Robots.txt文件怎么寫?

    基本語法

    User-agent:指定對哪些爬蟲生效!*號代表全部搜索引擎,百度(Baiduspide)、谷歌(Googlebot)、360(360Spider)

    Disallow:不允許抓取

    Allow:允許抓取

    #:注釋

     全站屏蔽所有蜘蛛

    新站上線前或網站改版之前,為了避免蜘蛛抓取錯誤或臨時的鏈接,可以采用全站屏蔽蜘蛛的操作,在根目錄建立robots.txt,添加如下內容:

    User-agent:*

    Disallow:/

    屏蔽某個目錄、文件

    屏蔽所有蜘蛛抓取根目錄下的seo文件夾及里面的所有內容,根目錄下的seo1目錄下的1.html文件,robots.txt文件添加如下內容:

    User-agent:*

    Disallow:/seo/

    Disallow:/seo1/1.html

     屏蔽某個目錄,但抓取目錄下的文件或文件夾

    屏蔽所有蜘蛛抓取網站根目錄下的seo文件夾,但抓取里面后綴名為html的文件

    User-agent:*

    Disallow:/seo/

    Allow:/seo/*.html

    注意:上面的寫法,seo帶“/”代表根目錄下的seo目錄下的內容。并不會禁止比如根目錄下seotest的文件夾及文件夾所有內容。

    禁止抓取根目錄下所有前面帶“seo”字符的文件夾及文件

    User-agent:*

    Disallow:/seo

    禁止了如:/seo/,/seo/12.html,/seotest/,/seoabc.html

     屏蔽動態URL

    網站有些動態頁面可能會和靜態頁面相同,造成重復收錄,用robots屏蔽動態URL

    User-agent:*

    Disallow:/*?*

    僅允許訪問“.html”為后綴的URL

    User-agent:*

    Allow:.html$

    Disallow:/

     屏蔽死鏈接

    網站改版、刪除文章后,原來的URL如果已經被搜索引擎索引,出現404錯誤。一般的做法如下:

    ①查看網站日志,找出這些死鏈,用百度提交死鏈工具提交,慢慢的會刪除這些死鏈;

    ②如果這個鏈接已經更換,也可以用301跳轉到新的鏈接,301跳轉后原頁面和新頁面處理辦法;

    ③robots禁止蜘蛛抓取死鏈,寫法同上,最好帶完整路徑

    User-agent:*

    Disallow:http://www.kolakisart.com/1.html

    屏蔽不參與排名的頁面鏈接

    比如會員中心、登陸界面、聯系我們等。這些雖然有實際用途,蜘蛛一樣會爬取這些頁面鏈接,這些頁面也會分權,因此為了集中權重,一些完全不參與排名的頁面應該用robots屏蔽。也可以在該頁面的</head>之前添加<meta>聲明,指向該頁面的鏈接加上nofollow標簽。

    <meta name=”robots” content=”noindex,nofollow”/>

    <a rel=”nofollow” href=”/member/login”>登陸</a>

    sitemap索引在robots.txt的位置

    sitamap索引的位置最好放在robots.txt的最下面,蜘蛛先遵循前面的原則,再按照網站地圖爬取。

    Sitemap: http://www.kolakisart.com/sitemap.xml

    Sitemap: http://www.kolakisart.com/sitemap

     

    原創文章轉載請注明出處:http://www.kolakisart.com/579.html

    喜歡 (3)or分享 (0)
    發表我的評論
    取消評論
    表情

    Hi,您需要填寫昵稱和郵箱!

    • 昵稱 (必填)
    • 郵箱 (必填)
    • 網址
    (1)個小伙伴在吐槽
    1. robots.txt是一個協議文件。搜索引擎訪問網站的時候,會首先訪問robots.txt,了解哪些能抓取,哪些不能抓取。robots.txt可以告訴搜索引擎,哪些內容可以抓取,哪些不能抓取。當我們有信息不想讓搜索引擎抓取到的時候,我們就可以用robots.txt禁止。
      鄭州seo2018-05-20 17:51 回復
    深夜福利AV无码一区二区
    <rp id="owv8m"><ruby id="owv8m"><input id="owv8m"></input></ruby></rp>
  • <nobr id="owv8m"><strike id="owv8m"></strike></nobr>
  • <nav id="owv8m"><big id="owv8m"></big></nav>

    <th id="owv8m"><track id="owv8m"></track></th>
  • <progress id="owv8m"><track id="owv8m"></track></progress>
    <span id="owv8m"></span>
    <tbody id="owv8m"><p id="owv8m"></p></tbody>