阅读设置

20
18

第493章 会撒谎的数字 (2/4)

“什么基准?”

“尺子。”

陈墨在黑板上画了一把尺子。

“如果有人潜入你的房间,把你量东西用的尺子,偷偷磨短了一毫米。”

“你再用这把尺子去量东西,量出来的数据都是对的符合尺子的刻度。”

“但是,造出来的东西,全是错的。”

“有人,修改了你们系统的底层常数。”

“底层常数?”王海冰大惊,“那是写死在芯片里的啊!比如圆周率、重力加速度、自然常数……这些怎么改?”

“不用改物理常数。”陈墨摇头。

“他改的是权重的权重。”

陈墨解释了一个极其抽象的概念。

“现在的ai,本质上是一个巨大的神经网络。里面有几千亿个参数权重。”

“这些参数,就像是一个复杂的天平。”

“攻击者没有动天平两边的东西。”

“他只是在天平的底座下,垫了一张纸。”

“这张纸很薄,薄到你看不见。”

“但是,它让整个天平歪了。”

“所有的决策,都会顺着这个歪的方向,发生一点点偏移。”

“这一点点偏移,在炼钢上是少加点石灰,在金融上是多收点手续费。”

“但是,如果这种偏移累积起来……”

陈墨在黑板上画了一条指数曲线。

“这就是蝴蝶效应。”

“现在的0.1%,一个月后,就会变成巨大的灾难。”

“高炉会因为积渣而爆炸;无人机会因为高度过低而撞楼;金融系统会因为账目不平而崩盘。”

“这是慢性毒药。”

全场死寂。

这种攻击手段,闻所未闻。

它不破坏系统,它只是让系统“变坏”。

“能找到那张纸吗?”林远问。

“很难。”王海冰绝望地说,“几千亿个参数,就像大海捞针。我们根本不知道他改了哪一个,或者哪一组。”

“重装系统行吗?”

“不行。因为我们的模型是在线学习的。它每天都在吃新数据,在这个过程中,那个歪的逻辑已经变成了它记忆的一部分。”

“除非把盘古删了,从头训练。那得花几个亿的电费,还要几个月的时间。”

这就好比一个人被洗脑了,你想让他恢复正常,除非让他失忆,重新投胎。

“不用重装。”

陈墨突然笑了。

那是他第一次笑,笑得有点瘆人。

“他既然喜欢玩数学游戏,那我就陪他玩玩。”

“他垫了一张纸,让天平歪了。”

“那我们不需要找到那张纸。”

“我们只需要在另一边,也垫一张纸。”

“把它正回来!”

大家听得云里雾里。

“怎么垫?”

“注入反向噪音。”

陈墨拿起粉笔,在黑板上写下了一串极其复杂的公式。

“这叫对抗生成网络gan的逆向应用。”

“我要写一个病毒。”

“这个病毒不干别的,专门跟那个歪的逻辑对着干。”