外链发布：历史链接清单缺少创建时间时怎样建立维护基线
📱 CCBot/2.0 (https://commoncrawl.org/faq/)
🔗 /26c95587a2ee.html
📄
外链发布：历史链接清单缺少创建时间时怎样建立维护基线
缺少创建时间并不意味着无法建立维护基线。可行做法是放弃“还原真实时间”，改为记录“首次在清单中出现的时间”和“最近一次可验证的存活状态”，用这两条时间轴替代创建时间，作为后续复查与取舍的基准。前提是你能接受基线日期比真实发布时间晚，且这个偏差在清单内部保持一致。
先给每条链接补一个“首次入账时间”
拿到一份只有来源页、目标页和锚文本的历史清单时，第一步不是去猜年份，而是给每条记录加一列“首次入账时间”。这个时间取你当前整理清单的日期，或者取你能找到的最早一次存档、截图、报表中的日期，两者取更早的那个。
实际操作上，可以这样处理：
- 能在一份旧导出文件里找到该条记录，就填那份文件的导出日期；
- 只在当前清单里存在，就填今天，并标注“基线日”；
- 同一目标页有多条记录，分别填各自的首次入账时间，不要合并。
这样做的结果是，清单里所有条目都有了一个可比较的时间起点。后续判断“这条链接是不是很久没动过”，比较的是首次入账时间，而不是真实创建时间。这个替代在清单内部自洽，不会因为个别条目缺失而让整份清单失去排序能力。
用存活状态而不是年龄决定复查优先级
没有创建时间时，按“链接年龄”排优先级是走不通的。更稳的做法是把复查资源投向状态不明确的条目：目标页返回错误、跳转到无关页面、被 robots 或登录墙挡住、来源页已改版导致链接消失。
假设一份清单有三百条记录，其中四十条的目标页无法直接访问。此时不必先追这四十条的历史，而是先逐条确认它们当前是否还指向原目标。确认结果会直接影响下一步：仍然可达的，只更新状态字段；已经失效的，进入替换或移除队列；无法判断的，标记为待人工复核，不占用批量处理资源。
这个顺序的关键在于，存活状态可以当场验证，而创建时间往往无法验证。把不可验证的信息降为次要字段，维护工作才能推进。
把“个别样本成立”和“规模化后例外”分开处理
手工整理十几条链接时，凭记忆或零散截图补时间通常够用。但清单扩大到几百条、来源跨越多个站点和多个时期后，同样的方法会迅速失效：截图命名不统一、导出文件字段不一致、同一目标页在不同时期被不同来源引用。
区分这两种情况的依据是：当你能对每一条记录都指出一个具体来源文件时，补时间的方法成立；当超过一定比例的记录只能靠推测时，就应停止补时间，转为只维护首次入账时间和存活状态。
这个边界不能直接照搬。样本量小、来源集中、格式统一时，补时间成本低；样本量大、来源分散时，补时间会变成一项无法收敛的工作。判断标准不是清单有多长，而是你能为多少条记录指出可核对的来源。
给基线加一个复查周期和更新规则
基线建好后，需要一条明确的更新规则，否则它会很快过期。规则可以写成：每条记录在首次入账后，按固定周期复查一次存活状态；复查时只更新状态字段和最近复查日期，不改首次入账时间。
具体动作示例：把清单按首次入账时间分成三组，分别安排不同的复查间隔。较新的记录间隔短一些，较旧的记录间隔长一些。复查后，把失效条目移入单独的工作表，保留原记录，不直接删除。
这样处理的结果是，清单始终有一个稳定的时间参照和一组可追溯的状态变更。即使创建时间永远缺失，后续接手的人也能看懂每条记录是什么时候进入视野、最近一次确认是什么状态，从而决定下一步是替换、保留还是移除。
