承认使用爬虫，OpenAI的数据黑箱成谜？

文/陈根

据国外科技媒体Insider最新报道，OpenAI近日承认，其推出了名为GPTBot的网络爬虫机器人，用于抓取和收集数据用于大模型训练。

网络爬虫，是一种模拟人（网络用户）的行为，自动浏览、收集网络信息的计算机程序。目前还不清楚OpenAI的爬虫机器人在网上潜伏了多久，有些人怀疑OpenAI已经秘密收集每个人的在线数据长达数月或数年。

数据来源一直以来就是OpenAI的黑箱之一，公司公开承认爬虫只是OpenAI公司被用户发现之后所承认的危机公关行为之一。可以说，OpenAI的数据不仅会使用爬虫，并且使用用户数据也是在必然之中。

而更值得关注的是OpenAI所训练出来具有一定知识正确性的ChatGPT，这背后的高质量数据来源。在数据来源层面，OpenAI从采取了黑箱操作策略开始，就没打算向外界公布真正的数据来源方式，包括对用户与各种版权方的数据使用。

而我之所以一直说我们当前的类ChatGPT企业无法训练出ChatGPT这类，在知识生成层面具有竞争力的人工智能模型，核心原因就在于我们无法知晓OpenAI的这个数据黑箱。

可以预见的是，只要用户没有发现OpenAI的数据黑箱证据，OpenAI就不会诚实，或者说不会主动采取措施。而当数据黑箱中的一些手法被用户发现之后，OpenAI就会以同样的方式对于发现的部分采取管控。

在AI时代，在大模型时代，数据决定着模型的核心竞争力，廉价、滥用用户数据已经成为了当前监管的最大挑战。