我们并不确切知道人工智能 (AI) 的“大脑”内部正在发生什么，因此我们无法准确预测其行为。我们可以进行测试和实验，但我们不能总是预测和理解人工智能为什么会这样做。

就像人类一样，人工智能的发展也是基于经验(当涉及到人工智能时以数据的形式)。这就是为什么人工智能的行为方式有时会让我们措手不及，并且有无数人工智能行为存在性别歧视、种族主义或不当行为的例子。

“仅仅因为我们可以开发一种算法，让人工智能在数据中找到模式以最好地解决任务，这并不意味着我们了解它发现了什么模式。所以即使我们已经创建了它，也不意味着我们知道它，”DTU Compute 的 Søren Hauberg 教授说。

一个悖论称为黑盒问题。一方面植根于人工智能的自学习性质，另一方面，因为到目前为止还不可能研究人工智能的“大脑”并了解它对人工智能的作用。数据形成其学习的基础。

如果我们能找出 AI 使用什么数据以及如何工作，它就会对应于考试和精神分析之间的某些东西——换句话说，是一种更好地了解人工智能的系统方法。到目前为止，这是不可能的，但现在 Søren Hauberg 和他的同事们已经开发出一种基于经典几何的方法，这使得了解人工智能如何形成它的“个性”成为可能。

凌乱的大脑

教机器人抓取、扔、推、拉、走、跳、开门等需要非常大的数据集，而人工智能只使用能够解决特定任务的数据。人工智能从无用的数据中挑选出有用的数据并最终看到它随后采取行动的模式的方式是将其数据压缩到神经网络中。

然而，就像我们人类把东西打包在一起一样，很容易在别人看来很凌乱，也很难弄清楚我们使用的是哪个系统。

例如，如果我们以尽可能紧凑的目的将我们的家打包在一起，那么枕头很容易最终落入汤锅中以节省空间。这没有错，但外人很容易得出错误的结论;枕头和汤锅是我们打算一起使用的东西。到目前为止，当我们人类试图了解系统学人工智能的工作原理时，情况就是如此。然而，根据 Søren Hauberg 的说法，这已经成为过去：

“在我们的基础研究中，我们找到了一个理论上倒退的系统解决方案，这样我们就可以跟踪哪些模式是基于现实的，哪些是通过压缩发明的。当我们将两者分开时，我们人类就可以获得更好地了解人工智能的工作原理，但也要确保人工智能不会听取错误的模式。”

Søren 和他的 DTU 同事借鉴了 18 世纪开发的用于绘制地图的数学方法。这些经典的几何模型在机器学习中找到了新的应用，它们可用于绘制压缩如何移动数据的地图，从而通过 AI 的神经网络向后倒退并了解学习过程。

交还控制权

在许多情况下，用人工的行业制止情报，特别是在生产的那些部分，其中安全性是一个重要的参数。害怕失去对系统的控制，因此如果算法遇到它无法识别的情况并且必须自己采取行动，就会发生事故或错误。

新的研究恢复了一些失去的控制和理解。使我们更有可能将人工智能和机器学习应用到我们今天不做的领域。

“不可否认，仍有一些无法解释的部分，因为系统的一部分是由模型本身在数据中找到模式而产生的。我们无法验证这些模式是否是最好的，但我们可以看看它们是否合理。这是朝着增强对 AI 信心迈出的一大步，”Søren Hauberg 说。

该数学方法是与卡尔斯鲁厄理工学院和德国工业集团博世人工智能中心共同开发的。后者在其机器人算法中实现了 DTU 的软件。结果刚刚发表在机器人：科学与系统会议上发表的一篇文章中。