面向多相机产品的彩色全局快门图像传感器

01

把一台机器上的相机同步起来

人形机器人不止一台相机。头看人，胸口看地面，手腕看抓取。如果这些曝光相差一毫秒，腕部相机记下的手就不是头部相机记下的那只手。

今天这种一致靠一个同步盒和一束线。GS2.3 自己带时钟。传感器选出主设备，测量线缆，并为每一帧打上时间戳。目标是板上 100 纳秒，五米线缆上 250 纳秒。

一台机器上常见四到八台相机。手上那台离物体大约 30 厘米。头上那台常常在一米半之外，人背后的窗户可以比室内亮大约一千倍。在 1 米、1 米/秒、90° 视场下，一个像素的拖影要求曝光大约一毫秒。再近一些，还要更短。

02

单次曝光里的高动态范围

机器人里用的全局快门传感器，HDR 常常是第二次曝光，或者只保留大约一半帧率。亮的窗户因此比暗的房间更晚被记下。中间动过的手会在文件里存成两只。

GS2.3 用一次全局快门同时读出暗部和亮部。弱光走高增益路径。超过光电二极管的光在同一次曝光里溢进电容，并保持线性。两条路径每一帧都数字化，所以目标是开着动态范围仍然每秒 90 帧。

90 fps 时实际曝光大约是 7.5 到 9 毫秒，不是完整的 11 毫秒。正在读出的那一帧的溢出电荷，必须在下一次曝光再次使用该节点之前清掉。代价不到 2 dB。手因此还是一只手。

03

白色高光饱和时的颜色

在白色表面上，绿色通道通常比红和蓝更早到达满幅。如果绿色已经饱和而另外两路还在上升，记录下来的颜色就是品红。房间里的白灯在文件里变成粉灯，用这个文件训练的模型会把粉色当成真的。

GS2.3 对每个像素、每一帧都同时读出高增益路径和溢出路径。一个彩色四元组一起切换。各通道一起到达上限，饱和的像素被打上标志，而不是被补成一种颜色。路径增益按像素标定，从 −20 °C 到 85 °C。门槛是 1% 误差，绿色 0.5%。

我们设计所针对的范围，是亮度信噪比至少为 10、且没有任何通道饱和的那段。第一档是单次曝光 80 dB。更大的溢出存储可以印出更多分贝，却仍然通不过这项测试。

05

戴在人身上：头显、帽子、安全帽。

大约一双眼睛间距的立体相机，用来让人示范任务、用自己的视角遥控机器人，或在走路时做视觉惯性里程计。头从来不会停住。卷帘快门会把门框拉斜。两台相机如果曝光中心不一致，看到的就不是同一对立体图像。

头显太重时，同一对相机放在帽檐前；在工地或仓库里，操作者本来就戴安全帽，相机就放在帽檐下面。每种情况下传感器的工作相同：全局快门、一致的颜色，以及不是腰带上一个盒子的触发。

06

头上的相机，以及围着工位的一圈。

头部装置有一对前视相机和向两侧看的相机，计算机和电池在背后的包里。头上只需要镜头和快门。顺着后背下去的线很长，同步盒在这里变成累赘，线缆延迟必须测出来，不能靠猜。

九台相机是围着工位的一圈：一个人、一台机器人、一张工作台、一些工具。产品是这一圈共用的时间基准和一套标定。九个各自独立的快门是九个不同的时刻。GS2.3 在这里要做的是 SyncLink——主时钟、延迟、时间戳——以及不会把工作台上方的灯编成另一种颜色。

07

用来示教的夹爪，和用来复现的腕部。

把一次抓取示范给机器人的一种办法，是自己做这次抓取，相机顺着手指看向物体。相机在手枪式握把的脊背上，钳口在前景，物体再远几厘米。金属、塑料和一盏灯在同一帧里。手在动。

然后机器人把相机戴在手腕上，大约伸出 30 厘米，试着重复人做过的动作。如果示教相机和腕部相机没有同一种快门、同一种彩色响应和同一种时间，示范就传不过去。深度在别处计算时，一台相机就够。抓取本身需要立体视觉时，才用一对。

08

云和田野之间的无人机。

前视相机的画面上方是天，下方是地。动的是飞机本身，所以卷帘快门会把地图拉斜，为了云再做一次曝光会再拉斜一次。导航要帧率。巡检要的是作物或屋顶在可见光里测到的颜色。

近红外给不出那种颜色。滤光片染料在那里是透明的，所以那个波段里的颜色都是编出来的。同步白闪光用于近距离：模型里，一米处、一毫秒、干净的彩色图像，平均大约 4.5 瓦。它照不亮高空下的田野。

09

围着桌子记录一次示范

支架上的相机围成一圈，记录一个人叠布。只有每台相机都在同一时刻看到布离开手，这段记录才能用。晚了的相机拍到的不是同一件事的另一个角度，而是另一件事。

今天的代价是地上的时钟，以及专门看时钟的人。桌子上方的灯是另一项代价：一路饱和之后，文件把其余通道补上，记录里就会出现房间里从未有过的颜色。GS2.3 像素上的标志，是让这个采样被丢掉，而不是被学进去。