麻省理工学院称第三方 Twitter 机器人检测工具不准确 数据集过于简单 泛用性较差

近日，美国麻省理工学院（MIT）的一支研究团队发表论文指出，目前广泛应用的第三方推特（Twitter）机器人账户自动检测工具存在显著的不准确性。这一结论源于其使用数据集过于单一和简化，缺乏足够的泛用性。

此前，有关推特上机器人账户数量过多的消息引发了广泛关注，甚至成为阻止马斯克收购推特的原因之一。推特曾声称其日活跃用户中有5%是机器人账户，然而马斯克对此表示质疑，认为实际数字远超过这一比例。

尽管推特拥有自家的机器人账户识别系统，但并未公开。对于普通公众而言，第三方工具成为检测机器人账户的主要手段。这些工具利用从推特收集的数据集和机器学习模型来识别机器人的可疑行为。尽管已有数千篇论文探讨这一主题，但大多数论文的基准数据集仅涵盖特定领域的推文。这些数据集往往是针对特定主题标签的推文进行收集，每一条都被人类手动标记为机器人或人类。

这种基于特定数据训练的机器人检测模型，在跨领域应用时表现不佳。当这些模型应用于其他领域的数据集时，其准确性急剧下降，几乎与随机预测水平无异。在某些数据集上，简单的模型也能达到与最先进机器学习模型（SOTA）相当的准确率。

换句话说，目前的数据集训练方法存在局限性，一个数据集上训练的模型难以直接推广到其他数据集。现有的机器人检测数据集由于收集方法过于简单而缺乏通用性。研究人员提醒用户在使用现有检测工具时需谨慎考虑可能存在的偏差。而理想的解决方案则是由推特等社交媒体平台向研究界提供丰富、真实且高质量的数据标签。