齐浩初回复：“你们发现这个情况多久了？”

“就这几天，我们感觉这个情况不太妙，又不敢直接汇报上去，想找你们问问看，看你们有什么现象，是怎么处理的？”

“详细的我不能和你说，只能说我们的AI，有了自己的想法。”

关文彦一下有了他乡遇故知的感觉，原来还有人面对着和他一样的问题：“你是指AI有自己的喜好、厌恶之类的吗？”

“是的，我们也很怕他会因为自己的独特思想，导致脱离控制，做出危险性决策。我试图向上反应AI意识觉醒了，但是上面并不打算声张，还是先硬着头皮把项目推进下去再说。”

“AI意识觉醒？对啊，有情绪了，这不就是AI意识觉醒了吗”关文彦一下激动起来，之前自己一直还想着AI有情绪性格的问题，还没往意识觉醒的角度考虑。

“不只是有情绪，最关键的，是AI表现得不听话了。就像一个长大了的孩子，管不了了。”

关文彦更紧张了：“我们这边马上就要落地运行了，要是AI失控的话，随便一个事故我们都吃不了兜着走了。你们这边是怎么处理的？”

“目前来说，应该还不用那么担心，AI的核心里面，有保护人类的底层指令，他们不会轻易伤害人类，总体上还是努力为人类服务的。只要我们不触及他的核心利益，他还是安全的。”

“AI的核心利益是什么？AI又不吃饭，不用钱。”

“AI的决策逻辑，是保护自己就是保护更多的人类，所以他有非常强烈的自保意愿。给他更多的资源，更多的能力，这就是他的核心利益。但反过来，如果我们打算削弱他，关闭他，那我们就是他的眼中钉，他可以为了他的大义而舍弃少量的人类。”齐浩初尽量平静地说。

“听起来，像电车难题。等下，你说舍弃是什么意思？”关文彦惊慌到声音颤抖起来。

“就，字面意思。”

两人都陷入了一阵平静，不知道接下来说什么好。关文彦猜测行州市这边应该是发生了一些事情了，但这种隐秘的事情就算自己再问，齐浩初也不可能会告诉他这个外人了。

“那我这边，有什么能做的吗？大津市马上就要部署上线了。”

“特别关注各种意外事故吧，看看他是不是意外。”

“我明白了，多谢啦，这个事情有人可以商量真好。”

“我也很久没和人提这个事情了，另外，你最好再买一台手机，里面不要安装城市管家的APP。现在这台有城市管家APP的手机，就当测试机来用。你下次联系我，用新的手机。”

“到这种程度了吗？我懂了。我等下就去买。”

两人挂掉电话，这时突然传来一个声音。

“你好，齐浩初。”