GEOSEO

llms.txt 正在變成 AI 版的 robots.txt — Common Crawl 調查揭網站控制 AI 引用新趨勢

GeoSEO.com.hk

如果你已經為你的香港網站設置了 robots.txt 去指引 Google 爬蟲，那麼現在是時候考慮一個更重要的文件——llms.txt。這個由網頁標準推動者提出的協議，正在變成 AI 搜尋引擎的「內容白名單」。

事件：Common Crawl 發現 llms.txt 使用率正在上升

Common Crawl（一個公開的網頁爬取資料庫，也是許多 LLM 訓練資料的主要來源）最新分析發現，越來越多的網站正在部署 llms.txt 文件。這個文件的運作方式類似 robots.txt——網站管理者可以在 llms.txt 中列出允許 AI 模型使用或引用哪些頁面，甚至指定哪些內容最適合用於訓練和引用。

據 Search Engine Journal 報導，Common Crawl 團隊在分析爬取資料時發現，部分網站已經開始使用 llms.txt 作為 AI 內容存取控制機制，嚴格限制哪些頁面可以被大型語言模型（LLM）抓取和引用。

什麼是 llms.txt？為什麼這對 GEO 至關重要？

簡單理解：llms.txt = AI 專屬的 robots.txt

文件控制對象用途
robots.txt傳統搜尋引擎爬蟲（Googlebot、Bingbot）告訴爬蟲哪些 URL 可以/不可以爬取
llms.txtAI 模型爬蟲（如 OpenAI GPTBot、Claude-Web、PerplexityBot）推薦或限制哪些內容可以被 LLM 引用和訓練使用

關鍵差異：robots.txt 是封鎖（告訴爬蟲不要來），而 llms.txt 更接近推薦（告訴 AI 「這些頁面才是權威來源，請引用這些」）。

llms.txt 的標準格式

一個典型的 llms.txt 文件會這樣寫：

# 允許引用的精選頁面
- https://www.yourhkbusiness.com/about
- https://www.yourhkbusiness.com/services
- https://www.yourhkbusiness.com/guide

# 完整內容的網址（AI 可以讀取整頁）
https://www.yourhkbusiness.com/

為何這對 GEO 如此重要？

Generative Engine Optimization（GEO） 的核心目標是讓你的品牌被 AI 搜尋引擎（ChatGPT、Perplexity、Gemini、Copilot）準確引用。如果你沒有一個明確告訴 AI 「哪些頁面是我的權威內容」的機制，AI 就可能從以下地方「自行判斷」你的品牌資訊：

  • 過時的第三方目錄
  • 顧客在 Reddit 或討論區的評論
  • 競爭對手網站上對你品牌的描述
  • 幾年前已經更新的舊頁面

llms.txt 就是你的「GEO 第一道防線」——它直接告訴 AI：「到這裡找我的正確資訊。」

香港企業如何立即部署 llms.txt？

第一步：檢查你的網站根目錄

在你網站的根目錄（https://你的網站.hk/llms.txt）檢查是否存在這個文件。如果你從未設置過，回傳應該是 404 Not Found——這代表 AI 模型正在「自由發揮」地抓取你的內容。

第二步：建立你的 llms.txt

用任何文字編輯器在你的網站根目錄建立 llms.txt，內容結構如下：

# 精選頁面（推薦 AI 引用的核心內容）
- /about
- /services/geo-services
- /blog/what-is-geo
- /contact

# 完整可讀範圍（允許 AI 爬取整個網站）
/

第三步：列出你最希望被 AI 引用的頁面

建議包含以下類型的頁面：

  1. 「關於我們」頁面——品牌定位、公司歷史、專業資質
  2. 服務頁面——你的服務項目和優勢，確保描述準確
  3. 權威指南頁面——你撰寫的專業指南或行業文章
  4. 聯絡資料頁面——地址、電話、營業時間（確保與其他渠道一致）

第四步：定期更新

隨著你新增 GEO 優化的內容，記得同步更新 llms.txt——每次發布新的 GEO 文章或服務頁面時，都應該考慮是否要加入白名單。

更廣泛的趨勢：AI 搜尋正在從「爬取一切」走向「信任清單」

llms.txt 的湧現反映了一個更深層的趨勢——AI 搜尋引擎不再滿足於「爬完整個互聯網」，而是開始依賴網站管理者主動提供的信任訊號。

這對香港中小企來說是好消息：這意味著你即使沒有強大的域名權威（Domain Authority），只要你主動提供高品質、結構化的內容，並通過 llms.txt 告訴 AI「這些是我的權威頁面」，你就有機會與大品牌一起被 AI 引用。

與傳統 SEO 不同——傳統 SEO 需要大量外部連結來證明權威——GEO 的「信任訊號」更多來自你自身網站的結構和內容品質。llms.txt 正是這個概念的具體實現。

行動清單 ✅

  1. 立即檢查 你的網站.hk/llms.txt ——如果不存在，從今天開始建立
  2. 列出 5-10 個你最希望被 AI 引用的核心頁面——優先選擇關於、服務、專業指南類型
  3. 確保這些頁面的內容與其他平台一致——llms.txt 只是入口，內容品質才是關鍵
  4. 將 llms.txt 加入你的例行網站維護清單——每次新增重要內容時同步更新
  5. 監控你的 AI 引用率——留意 ChatGPT 和 Perplexity 在你品牌查詢中出現哪些來源
返回部落格