AI黑箱指的是AI系统的内部工作方式对用户是不可见的。你可以输入数据并得到输出结果，但你无法检查系统的代码或产生输出结果的逻辑。
机器学习是人工智能的主要子集。它支持ChatGPT和DALL-E2等生成型AI系统。机器学习有三个组成部分：算法或一组算法、训练数据和模型。算法是一组程序。在机器学习中，算法经过大量的示例训练后学习识别模式——训练数据。一旦机器学习算法被训练，结果就是一个机器学习模型。这就是人们使用的东西。
例如，可以设计一个机器学习算法来识别图像中的模式，训练数据可以是狗的图像。得到的机器学习模型将是一个狗识别器。你可以输入一张图片并得到输出结果，即图像中是否有狗以及狗在图像中的位置。
机器学习系统的任何一个组成部分都可以被隐藏，或者被放在黑箱中。通常情况下，算法是公开的，这使得将其放入黑箱的效果较小。因此，为了保护其知识产权，AI开发人员经常将模型放在黑箱中。另一种软件开发人员采取的方法是遮蔽用于训练模型的数据，即将训练数据放在黑箱中。
黑箱的相反面有时被称为玻璃匣子。AI玻璃匣子是一个系统，其算法、训练数据和模型都可以供任何人查看。但研究人员有时将这些方面的某些方面描述为黑箱，这是因为研究人员并不完全了解机器学习算法，特别是深度学习算法是如何操作的。可解释性AI领域正在努力开发算法，虽然不一定是玻璃匣子，但可以更好地被人类理解。
为什么AI黑箱很重要
在许多情况下，对于黑箱机器学习算法和模型，人们有充足的理由持谨慎态度。假设一个机器学习模型对你的健康做出了诊断。你希望这个模型是黑箱还是玻璃匣子？那么，如果医生开具了你的治疗方案，她想知道这个模型是如何得出决策的。
如果一个机器学习模型决定你是否有资格从银行获得商业贷款，并拒绝了你的申请呢？你不想知道原因吗？如果你知道了，你就可以更有效地上诉，或者改变你的情况以增加下一次获得贷款的机会。
黑箱对软件系统安全也有重要影响。多年来，计算机领域的许多人认为将软件放在黑箱中可以防止黑客检查，因此会更安全。但这一假设往往被证明是错误的，因为黑客可以反向工程软件，即通过密切观察软件的工作方式来构建一个仿制品，并发现可以利用的漏洞。
如果软件是玻璃匣子，那么软件测试人员和有良好意图的黑客可以检查它，并告知创建者存在的弱点，从而最大程度地减少网络攻击。
