用于汽车紧急刹车等用途的标准数码相机的感知延迟超过20毫秒。这只是相机使用互补式金属氧化物半导体或CCD传感器将击中光圈的光子转化为电荷所需的时间。它不计算将信息发送到车载计算机或在那里处理所需的进一步毫秒。

麻省理工学院的一组研究人员认为，如果你有一个可以直接处理光子的芯片，你可以跳过整个数字化步骤，用光子本身进行计算，这有可能快得令人难以置信。

麻省理工学院研究员Saumil Bandyopadhyay表示：“我们专注于一个非常具体的指标，即延迟。我们的目标是最重要的是你能以多快的速度产生解决方案的应用。这就是为什么我们对能够通过光学进行所有计算的系统感兴趣。”该团队在光子芯片上实现了一个完整的深度神经网络，实现了410皮秒的延迟。从长远来看，Bandyopadhyay的芯片可以在标准CPU上的4 GHz时钟的一个滴答声内处理它板载的整个神经网络大约58次。

矩阵与非线性

神经网络与作为神经元的多层计算单元一起工作。“每个神经元都可以接受一个输入，这些输入可以是，比方说，数字，”班迪帕德亚伊说。然后，当这些数字被传递到下一层神经元时，这些数字乘以一个叫做权重的常数或一个参数。每一层都接受前一层的加权和，并将其向前发送。

这相当于线性代数执行矩阵乘法。然而，人工智能模型通常用于在输出并不总是与输入成正比的数据中找到复杂的模式。为此，您还需要调整神经元层之间权重的非线性阈值函数。“深度神经网络如此强大的原因是，我们能够通过重复级联这些线性操作和层之间的非线性阈值函数来映射数据中非常复杂的关系，”班迪帕德亚说。

问题是这种级联需要大量并行计算，当在标准计算机上完成时，需要大量的能量和时间。Bandyopadhyay的团队认为这个问题可以通过使用光子而不是电子进行等效运算来解决。在光子芯片中，信息可以用偏振、相位、幅度、频率和波矢量等光学特性进行编码。虽然这将非常快速和节能，但建造这样的芯片并不容易。

虹吸灯

Bandyopadhyay声称：“方便的是，光子学被证明特别擅长线性矩阵运算。”由Bandyopadhyay研究的合著者、教授德克·英格伦领导的麻省理工学院的一个小组在2017年展示了一种完全用光进行矩阵乘法的光子芯片。然而，该领域面临的难题是在光子学中实现非线性函数。

到目前为止，通常的解决方案依赖于绕过这个问题，在光子芯片上做线性代数，并将非线性操作卸载到外部电子设备上。然而，这增加了延迟，因为信息必须从光转换为电信号，在外部处理器上处理，然后转换回光。“降低延迟是我们想在光子学中建立神经网络的主要原因，”班迪帕德海说。

为了解决这个问题，Bandyopadhyay和他的同事设计并制造了可能是世界上第一个可以使用光子计算整个深度神经网络（包括线性和非线性操作）的芯片。“这个过程从带有调制器的外部激光器开始，调制器通过光纤将光输入芯片。这样我们就可以将电输入转换为光，”Bandyopadhyay解释道。

然后，光被扇成六个通道，并输入到由六个神经元组成的层中，这些神经元使用一系列称为马赫-曾德尔干涉仪的设备进行线性矩阵乘法。“它们本质上是可编程分束器，获取两个光场并将它们相干地混合以产生两个输出光场。通过施加电压，你可以控制两个输入混合的程度，”班迪·帕迪亚说。

在这种情况下，单个马赫-曾德尔干涉仪所做的是对一对光信号进行二乘二矩阵运算。使用这些干涉仪的矩形阵列，该团队可以在所有六个光通道上实现更大的矩阵运算。

一旦矩阵乘法在第一层完成，信息通过负责非线性阈值的单元进入另一层。“我们通过协同集成电子和光学来做到这一点，”Bandyopadhyay说。这个过程的工作原理是将一小部分光信号发送到光电二极管，该二极管测量光功率。这种测量的结果被用来操纵通过设备的其余光子。“我们使用虹吸到二极管的一小部分光信号来调制其余的光信号，”Bandyopadhyay解释道。

整个芯片有三层神经元进行矩阵乘法，中间有两个非线性函数单元。总体而言，芯片上实现的网络可以使用132个参数。

这在某种程度上突显了当今光学芯片的一些局限性。据报道，Chat GPT-4大语言模型中使用的参数数量1万亿。与这万亿相比，Bandyopadhyay芯片支持的132个参数看起来……更少。

适度的开始

Bandyopadhyay说：“大型语言模型基本上是你能拥有的最大模型，对吧？它们是最难处理的。我们更专注于那些你受益于较低延迟的应用程序，而这样的模型结果更小。”他的团队将其芯片转向为处理多达10万个参数的人工智能提供动力。Bandyopadhyay补充道：“我们并不需要直接使用Chat GPT来做一些商业上有用的事情。我们可以先瞄准这些较小的模型。”

Bandyopadhyay在他的研究中在芯片上实现的较小模型识别口语元音，这是一项在以人工智能为重点的硬件研究中常用作基准的任务。它的准确率为92%，与标准计算机上运行的神经网络相当。

但小型模型还可以做其他更酷的事情。其中之一是防止自动驾驶汽车撞车。“这个想法是，你有一个自主导航系统，你想在这个系统中以非常快的延迟、比人类反应快得多的速度反复对激光雷达信号进行分类，”班迪约帕迪亚说。据他的团队称，像他们正在开发的芯片这样的芯片应该可以直接对激光雷达数据进行分类，将光子直接推向光子芯片，而不会将它们转化为电信号。

Bandyopadhyay认为可以由光子芯片驱动的其他东西是汽车视觉系统，它们与我们今天使用的基于摄像头的系统完全不同。“你基本上可以取代我们所知道的摄像头。相反，你可以有大量输入来获取光信号，对其进行采样，并将其直接发送到光学处理器进行机器学习计算，”Bandyopadhyay说。“这只是一个设计系统的问题。”

该团队使用标准互补式金属氧化物半导体工艺制造芯片，Bandyopadhyay表示，这将使扩展更容易。“你不会被单个芯片上可以容纳的东西所限制。你可以制造多芯片系统来实现更大的网络。这是光子芯片技术的一个有希望的方向——这是你已经可以在电子领域看到的事情，”Bandyopadhyay声称。