AI 爬虫的抓取预算从哪来：Crawl Budget 机制与 sitemap index 分片实践从一条 access log 数字切入，解读抓取预算（Crawl Budget）的调度模型与 lastmod 失信降权机制，给出 sitemap index 按内容类型分片、lastmod 真实化的完整实践，附分片前后各内容类型抓取深度对比数据。2026-09-18 00:34:2815 阅读
付费墙别把试读章节一起藏起来：isAccessibleForFree 与 hasPart 的课程页改造职业技能课程站试听章节被整页付费墙挡住，AI 爬虫正文抽取为空、AI 渠道引用为零。通过模板分区输出免费正文、付费区加 paywall 标记，并用 JSON-LD 的 Course/hasPart/isAccessibleForFree 逐章声明可见性，8 周后 AI 引用从 0 到周均 37 次，试听转化率提升 1.3 个百分点。2026-09-18 00:34:2715 阅读
一个商品八种颜色，AI 只记住了黑色那一页：SKU 变体页的 ProductGroup 聚合架构小家电电商 8 个 SKU 变体页各自独立 Product Schema，AI 引擎只引用销量最高的黑色款。通过 schema.org ProductGroup + hasVariant 聚合变体、canonical 收敛到主变体、.NET 8 服务端按 URL 动态组装聚合 Schema，第 6 周 AI 引用变体数从 1 升到 7，属性提问命中率显著提升。2026-09-18 00:34:2614 阅读
停产的设备还在被 AI 推荐：软 404、410 状态码与结构化数据清理的排查记录注塑机厂 2020 年停产的老机型仍被 DeepSeek/豆包推荐，排查发现停产页返回 200（软 404）且 Product Schema 的 availability 仍为 InStock。修复方案：下架型号返回 410 Gone、清理替换结构化数据、重定向表批量管理，四周后停产型号推荐归零。2026-09-18 00:34:2314 阅读
