AI语料采集的合规边界：哪些数据能用、哪些不能

训练数据从哪来，是 AI 项目绕不开的问题。自己做语料采集，比买现成数据集便宜，但风险也落在自己身上：抓了什么、能不能抓、抓来能不能用来训练，这三个问题任何一个答错，代价都可能是项目级的。这篇按四条界线划清可做与不可做的范围。

一、语料合规为什么容易被低估

三个常见误判：

误判一：公开可见就等于可以采集。网页公开，不代表站点同意你成规模取用。公开是"谁都能看"，采集是"系统性复制"，两者在站点视角里完全不同。

误判二：采集合法就等于训练合法。取数行为合规，不代表产出的模型可以商用。数据权利和模型权利是两条独立的线。

误判三：技术中立论。工具本身中立，但使用目的和用途决定了它的合规性。同一个采集脚本，用于学术研究和用于商业模型，责任不同。

正确的认知：语料合规是四道关，不是一道关。每一道都要单独确认。

二、界线一：数据的可访问性

可以采集：

• 无需登录即可访问的公开页面
• 站点主动提供的数据接口或开放数据集
• 明确声明允许抓取或提供下载的资源

不可以采集：

• 需要登录才能看到的内容（用账号登录后成批抓取，多数站点条款明确禁止）
• 通过技术手段绕过访问控制（付费墙、权限校验）才能拿到的内容
• 站点明确声明禁止自动化访问的部分

判断方法：不登录、不做任何特殊处理，一个普通浏览器能不能看到？能——属可访问；需要额外手段才能看到——边界就在这里。

三、界线二：内容的权利归属

这是最容易被忽略的一层。数据可访问，不等于内容可以随意使用。

实务建议：做训练语料时，优先选择事实性数据和结构化的公开数据。原创长文本、用户评论这类内容，权利链条复杂，即便技术上能采，法律上也未必能用。

四、界线三：个人信息的红线

这条线没有弹性空间。语料里一旦包含可识别到个人的信息，就不再是"数据采集"问题，而是个人信息保护问题。

必须排除的类型：

• 姓名、手机号、身份证号、住址
• 邮箱、社交账号、设备标识
• 人脸、声纹等生物特征
• 能通过组合推断出个人身份的信息（如"某小区某单元的收货评价"）

处理方法：如果业务确实需要含用户内容的语料，必须做匿名化处理（去标识、泛化、聚合），且处理后要确认无法再识别到个人。做不到，就不要采。

五、界线四：站点意愿的表达

站点的意愿主要通过两个渠道表达：robots 协议与服务条款。

robots 协议：声明了哪些路径允许自动化访问。遵守它是最基本的行业共识，也是判断"是否越界"的公开依据。

服务条款：往往比 robots 更细，会明确写出"禁止用于训练机器学习模型""禁止商业性再利用"这类条款。这类约定必须逐条读。

实务做法：接入新的数据源前，花十分钟读这两份文件，把结论记入数据源清单（可采/受限/禁用）。这份清单是后续所有采集行为的依据。

六、合规语料采集的四个动作

动作一：来源清单化。每个数据源记录四项：来源地址、访问条件、robots 结论、条款结论。清单外的源不采。

动作二：内容分类处理。事实性数据与作品性内容分开处理，后者要么授权、要么剔除。

动作三：个人信息过滤。入库前过一道过滤，识别并剔除个人信息字段。这道过滤要能留下审计记录。

动作四：使用范围约束。语料的用途写进项目文档（内部研究/商业训练/对外服务），用途变了要重新评估合规性。

七、禁区清单

以下六类内容，不建议作为语料采集对象：

1. 需要登录才能访问的私域内容

2. 用户原创内容（评价、帖子、问答），除非获得明确授权

3. 含个人信息的一切数据

4. 站点条款明确禁止用于模型训练的内容

5. 付费内容或需要订阅才能看的内容

6. 涉及未成年人相关的内容

FAQ

Q1：采集公开网页做模型训练，一定需要授权吗？

不一定。取决于内容性质：事实性数据通常无需单独授权；原创作品需要。多数合规团队的做法是"事实数据可用、作品内容需授权或剔除"，这条界线操作性强。

Q2：robots 协议允许，是不是就可以训练了？

不是。robots 只管"能不能抓"，不管"抓来能做什么"。训练用途由条款和著作权规则约束，两道关都要过。

Q3：语料里含用户昵称算个人信息吗？

昵称如果能关联到具体个人（尤其是与其他信息组合能识别），就属于个人信息。稳妥做法是统一做去标识处理。

Q4：买现成数据集是不是更省事？

省采集的事，但要多做一步：验证数据集的来源合法性。供应商说"合规"不等于真合规，需要看它的授权链条。这一条在采购合同里要写清责任。

Q5：AI语料采集的合规要求是什么？

只采集公开可访问的数据，遵守目标站点的 robots 协议与服务条款，不采集个人信息，不采集需要授权的内容。涉及境外数据源时，需在境外网络环境接入并完成实名认证。

语料合规是四道关：可访问性、权利归属、个人信息、站点意愿。四道都过，才谈得上"能用"。把来源清单、内容分类、信息过滤、用途约束四件事做成流程，语料这条线才能长期跑下去——而不是等着某个项目被叫停才回头补。

延伸阅读

• 搜索结果接口怎么接入：从申请到跑通的完整链路
• 数据采集报价怎么做：四类成本构成的拆解方式
• 海外动态IP应用场景：跨境电商与数据采集