設定 AI 代理分析
了解如何啟用 AI 代理分析功能,支援的爬蟲清單及數據延遲說明
什麼是 AI 代理分析?
AI 代理分析是 hogiah 的一項進階功能,用於監控各大 AI 平台的爬蟲(Bot)對您網站的抓取行為。透過分析這些數據,您可以了解哪些 AI 引擎正在讀取您的內容、抓取的頻率如何、以及哪些頁面最受 AI 關注。
這些資訊對 GEO(Generative Engine Optimization)策略至關重要——如果 AI 爬蟲無法有效抓取您的網站內容,您的品牌就難以出現在 AI 生成的回答中。
啟用 AI 代理分析
步驟一:進入設定頁面
- 前往 側邊欄 > 設定 > AI 代理分析
- 確認您的網站已完成驗證(若尚未驗證,請先完成網站驗證流程)
步驟二:連結分析數據來源
hogiah 支援兩種數據來源方式:
方式一:伺服器日誌整合
- 在設定頁面選擇 「伺服器日誌」 分頁
- 依照指示將日誌來源連結至 hogiah
- 系統會自動從日誌中篩選 AI 爬蟲的訪問紀錄
方式二:GA4 整合
- 選擇 「GA4 整合」 分頁
- 點擊 「連結 Google Analytics」 按鈕
- 授權 hogiah 讀取您的 GA4 資料
- 選擇要分析的 GA4 資源
- 點擊 「完成設定」
步驟三:確認啟用狀態
設定完成後,頁面上方會顯示 「分析已啟用」 的狀態標示,以及最後一次數據同步的時間。
支援的 AI 爬蟲清單
hogiah 目前可識別並追蹤以下 AI 平台的爬蟲:
| AI 平台 | 爬蟲名稱 | 用途 |
|---|---|---|
| OpenAI / ChatGPT | GPTBot | 訓練數據與即時搜尋抓取 |
| OpenAI | OAI-SearchBot | ChatGPT 搜尋功能專用 |
| Anthropic / Claude | ClaudeBot | Claude AI 的內容抓取 |
| Perplexity | PerplexityBot | Perplexity 搜尋引擎抓取 |
| Google Gemini | Google-Extended | Gemini AI 訓練與推論用 |
| Meta AI | Meta-ExternalAgent | Meta AI 產品的內容抓取 |
| Apple | Applebot-Extended | Apple Intelligence 功能用 |
| Cohere | cohere-ai | Cohere AI 的內容抓取 |
| Bytedance | Bytespider | 抖音/TikTok AI 功能用 |
| Common Crawl | CCBot | 開源數據集,被多個 AI 使用 |
系統會持續更新爬蟲識別清單。當有新的 AI 爬蟲被識別時,您會在 hogiah 儀表板收到通知。
預期的數據延遲
啟用 AI 代理分析後,請注意以下時間預期:
- 首次數據出現:啟用後約 24-72 小時 開始顯示數據,取決於 AI 爬蟲的訪問頻率
- 日誌來源:通常每 6-12 小時 同步一次
- GA4 來源:依 GA4 的數據處理週期,通常有 24-48 小時 的延遲
- 歷史回填:首次連結時,系統會嘗試回填最近 30 天 的歷史數據(視數據來源支援程度而定)
常見問題
啟用後完全沒有數據?
如果超過 72 小時仍無數據,可能的原因包括:
- robots.txt 封鎖:確認您的網站 robots.txt 沒有封鎖上述 AI 爬蟲
- 網站流量過低:較小型的網站可能被 AI 爬蟲訪問的頻率較低
- 數據來源設定問題:請重新檢查日誌或 GA4 的連結狀態
如何提高 AI 爬蟲的抓取率?
確保您的 robots.txt 允許 AI 爬蟲訪問、網站有完整的 sitemap、頁面載入速度良好,這些都有助於提高抓取頻率。