什么是 Robots.txt 文件？
robots.txt 文件是一組指令，告訴搜索引擎要抓取哪些頁(yè)面以及要避免哪些頁(yè)面，指導(dǎo)抓取工具訪問(wèn)但不一定會(huì)將頁(yè)面排除在百度索引之外。此文件位于網(wǎng)站的根目錄中，為搜索引擎爬蟲(chóng)提供網(wǎng)站范圍內(nèi)的指令，說(shuō)明它們應(yīng)該和不應(yīng)該爬取網(wǎng)站的哪些區(qū)域
robots.txt 文件如下所示：
為什么Robots.txt對(duì)SEO很重要？
robots.txt 文件對(duì)于 SEO 很重要，因?yàn)樗兄诠芾砭W(wǎng)絡(luò)爬蟲(chóng)活動(dòng)，以防止它們使您的網(wǎng)站超載并抓取不供公眾訪問(wèn)的頁(yè)面。
以下是使用 robots.txt 文件的一些原因：
1.優(yōu)化抓取預(yù)算
使用 robots.txt 阻止不必要的頁(yè)面可讓百度的網(wǎng)絡(luò)爬蟲(chóng)將更多的抓取預(yù)算（百度在一定時(shí)間范圍內(nèi)將抓取您網(wǎng)站上的多少頁(yè)面）花在重要的頁(yè)面上。
抓取預(yù)算會(huì)根據(jù)您網(wǎng)站的大小、健康狀況和反向鏈接的數(shù)量而有所不同。
如果您的網(wǎng)站的頁(yè)面數(shù)量超出其抓取預(yù)算，重要頁(yè)面可能無(wú)法被編入索引。
未編入索引的頁(yè)面不會(huì)排名，這意味著您浪費(fèi)了時(shí)間創(chuàng)建用戶(hù)在搜索結(jié)果中永遠(yuǎn)看不到的頁(yè)面。
2. 屏蔽重復(fù)和非公開(kāi)頁(yè)面
并非所有頁(yè)面都適合包含在搜索引擎結(jié)果頁(yè)面 (SERP) 中，而 robots.txt 文件可讓您阻止爬蟲(chóng)程序訪問(wèn)那些非公開(kāi)頁(yè)面。
考慮暫存網(wǎng)站、內(nèi)部搜索結(jié)果頁(yè)面、重復(fù)頁(yè)面或登錄頁(yè)面。一些內(nèi)容管理系統(tǒng)會(huì)自動(dòng)處理這些內(nèi)部頁(yè)面。
例如，WordPress 禁止所有爬蟲(chóng)訪問(wèn)登錄頁(yè)面“/wp-admin/”。
3.隱藏資源
如果您希望將 PDF、視頻和圖像等資源保密，或者讓百度專(zhuān)注于更重要的內(nèi)容，Robots.txt 可讓您將其排除在抓取范圍之外。
Robots.txt 文件如何工作？
robots.txt 文件告訴搜索引擎機(jī)器人要抓取哪些 URL 以及（更重要的是）要避免抓取哪些 URL。
當(dāng)搜索引擎機(jī)器人抓取網(wǎng)頁(yè)時(shí)，它們會(huì)發(fā)現(xiàn)并跟蹤鏈接。這個(gè)過(guò)程會(huì)引導(dǎo)它們從一個(gè)網(wǎng)站到另一個(gè)網(wǎng)站的不同頁(yè)面。
如果機(jī)器人找到 robots.txt 文件，它會(huì)在抓取任何頁(yè)面之前讀取該文件。
如何查找 robots.txt 文件
您的 robots.txt 文件托管在您的服務(wù)器上，就像您網(wǎng)站上的其他文件一樣。
您可以在瀏覽器中輸入網(wǎng)站主頁(yè) URL 并在末尾添加“/robots.txt”來(lái)查看任何網(wǎng)站的 robots.txt 文件。
例如：“http://www.tbwwir.cn/robots.txt”。
