Google Mueller 確認 AI 爬蟲使用 Sitemap 和 RSS:HK 中小企 GEO 必知
Google Mueller 確認 AI 爬蟲使用 Sitemap 和 RSS:HK 中小企 GEO 必知
Google 的搜尋關係團隊主管 John Mueller 在最新一集 Search Off the Record 播客(標題 “Do Sitemaps Still Matter?”)中,分享了一個對 GEO(Generative Engine Optimization) 非常重要的觀察——AI 訓練爬蟲正透過網站地圖和 RSS feed 來發現內容。
關鍵發現:AI 爬蟲如何找到你的網站?
Mueller 與 Martin Splitt 在 2026 年 10 月 1 日的節目中討論了網站地圖的未來。Mueller 透露,他在自己的伺服器日誌中親眼看到 AI 爬蟲存取他的 sitemap.xml 和 RSS 檔案。
這背後的含義很清楚:AI 模型的公司(如 OpenAI、Anthropic、Google 等)依賴標準的網站地圖協定來發現和收集訓練及引用資料。但 Mueller 指出,這些 AI 爬蟲「通常沒有任何主控台或設定讓你可以提交網站地圖檔案」。
對 HK 中小企的 GEO 啟示
如果你的香港業務希望品牌被 ChatGPT、Gemini、Perplexity 等 AI 平台引用,以下是 Mueller 建議的具體做法:
1. 使用標準 Sitemap 名稱
Mueller 明確說:如果想把內容送給 AI 系統,「要麼使用通用命名,叫它 sitemap.xml,要麼專注於 RSS feed。」
很多網站為了隱私會使用不尋常的網站地圖名稱(例如 sitemap-secret.xml),這反而讓 AI 爬蟲找不到。對於希望被 AI 引用的 HK 中小企,保持 sitemap.xml 標準名稱 是最簡單的做法。
2. RSS Feed 比你想像中更重要
Mueller 提到,RSS feed 比網站地圖更容易被 AI 爬蟲發現,因為它們通常已在頁面的 HTML head 中連結。
對於定期發布最新資訊的 HK 網站(例如:
- 本地 SEO 策略更新
- 香港市場趨勢分析
- 行業新聞與案例分享
啟動或保持你的 RSS feed,讓 AI 爬蟲可以持續訂閱你的最新內容。
3. robots.txt 中的 Sitemap 指示
sitemaps 協定規定,robots.txt 中的 Sitemap: 指令是獨立於 user-agent 的。這表示:
- 你可以在 robots.txt 中加入
Sitemap: https://yourdomain.com/sitemap.xml - 這不影響你的 robots.txt 封鎖規則
- 支援該指令的所有 crawler(包括 AI 爬蟲)都能找到你的網站地圖
4. llms.txt 並非替代方案
Mueller 對 llms.txt 的態度相當保留。他形容 llms.txt「希望大於現實」,Google 的系統目前無法將它作為網站地圖使用。他說:「目前這些都沒有發生。」如果有網站想嘗試當然可以,但不應依賴它作為被 AI 發現的主要機制。
行動清單
- 確保網站地圖命名為標準的 sitemap.xml(非秘密名稱)
- 在 robots.txt 中加入
Sitemap: https://你的網域/sitemap.xml - 啟用並驗證 RSS feed 正常輸出,並在 HTML head 中正確連結
- 檢視伺服器日誌,查看是否有知名的 AI 爬蟲(如 GPTBot、Claude-Web、Google-Extended)正在存取你的網站
- 不要依賴 llms.txt 作為主要 GEO 策略,專注於標準的網站地圖和 RSS
- 定期發布高品質內容,保持 RSS feed 活躍,增加被 AI 引用的頻率
這次 Mueller 的分享可貴在直接來自伺服器日誌的證據。對於 HK 中小企而言,這是一個低成本、高回報的 GEO 起步動作——無需複雜設定,做好標準網站地圖和 RSS,AI 爬蟲自然會找到你。