15212260052 周一~周六, 8:30 - 18:00
                      527352997@qq.com 隨時歡迎您前來咨詢!
                      留學生園D座1樓 蕪湖市經濟技術開發區科創中心

                      新聞資訊

                      15212260052
                      您的當前位置:首頁 > 常見問題 > 詳細內容

                      如何告訴搜索引擎該抓取什么內容?robots文件介紹

                      來源:www.pczonenow.com 發表時間:2019-03-28

                        如何告訴搜索引擎該抓取什么內容?robots文件介紹

                        如何告訴搜索引擎該抓取什么內容?這一點對網站優化很有影響,下面來介紹一下robots文件介紹。

                        首先要了解什么是robots文件,比如,在蕪湖優斗士的首頁網址后面加入“/robots.txt”,即可打開該網站的robots文件。

                        文件里顯示的內容是要告訴搜索引擎哪些網頁希望被抓取,哪些不希望被抓取。因為網站中有一些無關緊要的網頁,如“給我留言”或“聯系方式”等網頁,它們并不參與SEO排名,只是為了給用戶看,此時可以利用robots文件把它們屏蔽,即告訴搜索引擎不要抓取該頁面。

                      如何告訴搜索引擎該抓取什么內容?robots文件介紹

                        蜘蛛抓取網頁的精力是有限的,即它每次來抓取網站,不會把網站所有文章、所有頁面一次性全部抓取,尤其是當網站的內容越來越多時,它每次只能抓取一部分。那么怎樣讓它在有限的時間和精力下每次抓取更多希望被抓取的內容,從而提高效率呢?

                        此時可以利用robots文件。小型網站沒有該文件無所謂,但對于中大型網站來說,robots文件尤為重要。因為這些網站數據庫非常龐大,蜘蛛來時,要像對待好朋友一樣要給它看重要的東西,因為這個朋友時間精力有限,每次來都不能把所有的東西看一遍,所以就需要robots文件屏蔽一些無關些頁面。

                        結合蕪湖優斗士whudows.com的文章來說,比如,我不想讓搜索引擎抓取文章,可以在圖6-35中接著寫“Disallow:/news/120.htm1”,表示禁止搜索引擎抓取該網頁。所以一定要對網站進行robots設置哦。

                        

                      相關新聞
                      相關產品

                      微分銷

                      小程序如何快速注冊?

                      小程序審核通過后,在微信小程序中無法搜索到?

                      小程序和公眾號、app的區別?

                      小程序的入口在哪里需要下載嗎?
                      娇妻被生人粗大猛烈进出高潮,三级无码在钱av无码在钱 ,97视频精品全国免费观看