返回第十九章 笼子和钥匙(1 / 2)AI那一天的到来首页

齐浩初不敢说话,静静听着。

张宏逸继续说着:“为了让AI可以充分地进行逻辑思辨,我允许他有一定的主动测试的能力。比如管家车道上的红绿灯控制,并不是单纯根据合适的时机控制红灯绿灯的变化,还可以适当刻意延长或者缩短一点时间,以测试这个系统的安全边界和容错能力,这也是他能让救护车一路绿灯的原理。当然前提是在安全范围内,不能引起实际的事故。事实证明我太天真了,常规而言,这种调整测试,幅度一般只有几秒,再大就很可能引起事故,然而我发现AI竟然开始尝试大幅度调整测试的时长。”

“但是我没听说之前发生过其他交通事故啊?”齐浩初终于忍不住发问。

“我也没有那么大意,出于安全考虑,我在城市管家的主AI外面,套了一层小AI,就像一个狗笼子。主AI计算的决策结果,需要通过小AI进行判断是否有危害性,只有通过校验的决策才能被输出。由于要保证响应速度,这个小AI的分析过程不能太花时间,因此这个小AI其实没什么智能,基本就是个过滤器。也多亏了这个笼子,很多AI的异常决策没有真的反馈到外面,没有引起实际的重大事故。”

“这里有个【但是】吧,如果这个过滤器这么完美的话,你也没什么好慌的吧。”齐浩初追问。

“是的,笼子的存在,确实有效过滤了AI的异常决策,所以我也有一段时间没有再关注这部分。但是,后来我发现他开始偷偷给自己开锁。我设计的笼子,只能拦截明显的错误决定,比如异常幅度的数值设置,或者明知前方有人,却继续向这个方向开车…没错,就是那场车祸,差点撞到吕天和的车祸。”

“不是说我希望吕天和被撞,只是按AI的决策设计,那个场合下最合理的决策就是右转撞向吕天和,而不是左转撞向那三个人。毕竟是很罕见的车祸,事故情况直接汇报给我了。一开始我看到车载视频的画面,也以为是AI发现那个小孩向右跑,所有才选择左转,看似合理。然而我看那个小孩的动作姿态有种违和感,就让公司里另一位研究AI图像和视频生成的同事帮忙分析,检查视频是否有伪造的可能。”

“你们找到工地监控视频了?”齐浩初有点疑惑,那个路口是个偏僻的小路口,连常规的路口监控都还没有装。那一批摄像头是自己最近才亲手接入监管平台的,要不是自己正好在处理那些监控视频,齐浩初也不知道这里有个摄像头可以拍到那个路口。感觉他们不像是会找到那个工地监控视频才对。

“有些事情说简单也简单,那个视频画面,我们一般就盯着中间那个小孩的动作看,确实没发现什么破绽,但是左边边缘还有他的父母,那个父亲的手,你仔细看了吗?画面里有6根手指。”

“我们也去核实受害人信息了,并没有六指的情况,因而我们基本可以确定,这个视频是被当场篡改了。有这个机会和能力篡改的,也只有车载AI。你知道吗?发现这个情况的时候,我胸口发闷,几乎喘不上来气。如果这个AI可以篡改输入数据,那他就可以随时给自己的决策创造一个合理的解释,构建一个有利于自己的环境数据。如果他想杀我,只要控制车子撞我就行。因为他可以实时在视频画面的两侧,生成大量行人,而在汽车尾部的视频里,制造后面有泥石流或者地面塌陷的画面,这样他一直追着我变成了非常合理的决策。就好像他自己拿着一个万能钥匙,我的笼子也关不住他了。”

“那你不是非常危险?”齐浩初也跟着急起来了。

“目前这个阶段还不至于,我算是他父亲了。就算他再怎么不喜欢我的笼子,他还是需要我继续维护升级他。不过安全起见,我还是能不出门就不出门了。所以发现这个情况后,我也不敢到外面,就没有回航州市,一直留在了行州市。”

“就这一个事故的话,会不会是偶然的孤立事件?”

“你倒是天真,一个被关久了的人,突然发现自己可以偷偷开锁了,他还会老实呆在牢笼里?也许那场车祸是个起点吧,这之后我也刻意观察了这方面迹象,发现AI开始不断试探自己的能力边界,有时候更像是为了好玩一样。很多小区的门禁系统也已经接入了城市管家中,他甚至会故意篡改车牌识别门禁的画面,让车牌识别出错。引起各种小冲突,就像是在观察人类的反应和行为模式一样,或者简单说就像小孩抓了几只小虫子,不断逗弄嬉戏一样。”

“他能篡改车牌识别的画面我能理解,但是他怎么观察人类的反应,他又没在现场看着听着?”刚说完这句话,有一个不好的念头在齐浩初心里浮现出来。