更換主機後,常常由於新舊主機的環境不一定相同,造成 Google 爬取網頁的各種狀況,使得 Google 搜尋的網頁索引異常,進而影響網頁在 Google 搜尋排名的表現。
所以網站搬遷主機之後,最好能關注一下 Google Search Console 中的網頁索引狀態,以便能在第一時間發現問題,並修正問題,讓網站的搬遷不影響 SEO 的表現。
Table of Contents
最常發生的情形是搜尋引擎遭到 robots.txt 封鎖
進入 Google Search Console 之後,點擊左側選單的產生索引 > 網頁,右側就會出現網頁索引狀態的報告,所先觀察未建立索引與已建立索引的圖表,看看已建立索引的網頁數,是否有明顯的變化,以下圖為例,就可以看到在2月底3月初的時候,已建立索引的網頁數,逐漸變少,最後甚至所剩無幾,就可以清楚的判定 Google 的網頁索引作業受到了影響。
往下捲到可以看到 Search Console 幫忙整理的各種網頁未編入索引的原因,列在最前面的,就是影響網頁數最多的,從下圖的案例來看,可以看到遭到 robots.txt 封鎖是最嚴重的原因,不只影響的網頁數量最多,也可以看到資料趨勢與上圖的變化趨勢大致相同,顯見這個遭到 robots.txt 封鎖的問題,就是這個網站案例的大元兇。
如何排除遭到 robots.txt 封鎖的問題
這通常是網站的根目錄中,有一個叫做 robots.txt 的檔案,裡面放了不允許 Google 建立索引的設定,才會使得 Google 提示遭到封鎖的報告,那為何會有 robots.txt 的檔案,這有時候是網站軟體安裝時帶進來的,有時候是主機商建立空間帳號後的預設值,所以不論是新安裝網站,或是遷移網站到新主機,都應該檢查是否有 robots.txt 的檔案,如果有設定不允許 Google 或 Bing 爬取,就應該移除相關設定,以避免封鎖了 Google 或 Bing 的網頁索引作業,至於 robots.txt 檔案的進階控制要如何設定,建議參考網路上的教學文件,此篇就不再重複編寫教學內容。
如何讓 Google 盡快恢復索引
Google 原則上會持續嘗試檢查這些被封鎖的網頁,若發現已無 robots.txt 的封鎖設定,就會重新爬取網頁建立索引,但這通常需要好幾天甚至好幾十天的時間,如果在移除 robots.txt 的封鎖設定之後,想要盡快恢復爬取狀態,可以透過 Google Search Console 中,產生索引 > 網頁 中的網頁未編入索引的原因清單中的 “遭到 robots.txt 封鎖” 這一項,點進來之後會看到下面的畫面,若確定已排除 robots.txt 封鎖問題,就可以點擊圖中的 [驗證修正後的項目]。
點擊 [驗證修正後的項目] 之後,不久 Google 就會開始執行驗證程序,畫面會變成下圖,可以點擊 [查看詳細資料] 看到最新的處理狀態。
送出驗證申請之後,Google Search Console Team 會發 Email 通知您,根據信件內容說明,驗證程序需要幾天的時間,完成之後會再通知,當然也可以直接到 Search Console 中查詢最新進度。
在 2024/4/12 提交的驗證,大約經過 2 天左右就看到網頁陸續恢復了曝光,點擊數也跟著回來了,可以確定問題已經排除,大家可以看到這整個過程並不是很困難,學起來,遇到時就有能力自行排除。
開源電商創辦人,投入購物網站建置工程技術,至今已累計有 20 年的經驗,建置服務超過 1000 個網站,為台灣最專業的 OpenCart 技術專家。
經營行銷科技洞察FB社團,長期分享行銷、SEO、GA4、社群、廣告等文章,是電商及網路行銷雙棲顧問。