UU阅书 通过搜索各大小说站为您自动抓取各类小说的最快更新供您阅读!

用故事解释Softmax函数的溢出问题

故事背景:龙族宴会上的金碗

在一座神秘的龙族王国,龙族每年都会举行一次盛大的宴会,宴会上有一个传统:每条龙要把自己的财富(金币数量)放进一个金碗,然后让智慧长老计算每条龙的“财富占比”,来决定谁是这一年的财富之王。

宴会当天,四条龙分别报出了自己的金币数量:

? 火龙:100万金币

? 冰龙:200万金币

? 雷龙:300万金币

? 风龙:10亿金币

智慧长老准备使用一个古老的计算方法——Softmax规则,将这些财富转换成概率来比较。但他很快发现了一个严重的问题:

金碗炸了!

为什么?因为按照Softmax的计算方法,他需要计算每个金币数量的指数值:

但这些数值实在是太大了,远远超出了王国的计算能力,直接导致金碗崩溃(计算溢出)。

智慧长老陷入了困境,他需要找到一个方法来避免计算崩溃。于是他想到一个聪明的技巧:

“我们不直接放金币,我们可以先让大家的金币数减去最大的金币数!”

于是,他重新计算:

? 火龙的金币数变为 100万 - 10亿 = -9.99亿

? 冰龙的金币数变为 200万 - 10亿 = -9.98亿

? 雷龙的金币数变为 300万 - 10亿 = -9.97亿

? 风龙的金币数变为 10亿 - 10亿 = 0

然后,他计算:

现在,所有的指数值都变得很小,不会再溢出,金碗终于能正常计算了!

最终,风龙的财富占比几乎是 100%,其他三条龙的财富占比接近 0,宴会得出了正确的结论。

这个方法被称为 Softmax的数值稳定性技巧,即 在计算前减去最大值,防止指数运算导致溢出。

用比喻解释Softmax的溢出问题

比喻1:水池溢出

想象你有一个大水池,你往里面倒水:

? 第一桶水是 100升

? 第二桶水是 200升

? 第三桶水是 300升

? 第四桶水是 10亿升

显然,水池无法承受10亿升的水,直接溢出了!

解决方案?

? 你先抽掉10亿升的水(相当于减去最大值),这样所有的水量都变成一个较小的数字,水池就不会溢出了。

比喻2:计算机的“溢出”锅

假设你在做饭,想同时煮四个锅的水,每个锅的温度分别是:

? 100°c

? 200°c

? 300°c

? 10亿°c

你的炉子最高只能加热到 500°c,但第四个锅的温度远超这个上限,直接导致炉子爆炸(计算机溢出)!

怎么办?

你可以先把所有锅的温度减去一个基准值(比如减去10亿°c),让温度变成:

? -9.99亿°c

? -9.98亿°c

? -9.97亿°c

? 0°c

现在,最高的温度也只是 0°c,不会再超出炉子的承受范围。

总结

? Softmax的溢出问题 是因为指数运算会导致数值过大,超过计算机的上限。

? 解决方案 是在计算Softmax之前,先减去最大值,这样所有的数值都会变小,防止指数爆炸。

? 就像往水池倒水、往锅里加热,数值太大就会溢出,我们需要先做调整,确保计算不超出范围!

UU阅书推荐阅读:刚重生,青涩校花投怀送抱全球觉醒:偷听SSS级校花心声手术直播间非黑即白?不,我是商业巨擘!大妆大清佳人军痞王爷,超猛的!结婚抓奸笑我傻,跪求原谅你是谁花都奇兵师妹老想撩我怎么办游戏缔造者隐姓埋名二十年,崛起先杀白月光贵妻谋后我只是个病人,别叫我天灾捡回家的班花太黏人,我遭老罪了重生80,断绝关系后我垄断了南方市场极速治愈:双修镇压道基因武道全能少女UP主我表白的人全让病娇妹妹送走了替身又如何,玄学大佬拿捏女财阀人在家中坐,萝莉天上来重生后,我只想混娱乐圈工业大摸底:摸出来个南天门计划妻子背叛:摇身一变成太子做媒这一块,我谁都不服做卡牌,我可是你祖宗!桃运修真者重启平行人生灵气复苏:从文明书院开始漫漫修真路,一人独登仙陌上花开为君归轮回剑典盛世良后道士不想下山思归何归大唐盛世游龙前男友爆红后我被迫官宣了深山林场:重返83打猎发家妖女满堂?明明是仙子忠诚!破事精英之怕麻烦的副经理炮灰女配的逆袭人生在民族资产的路上以她饲虎重生之学霸无双前妻离婚无效头顶青青草原,老实人的憋屈重生震惊!开局校花给我生了三胞胎重生:仙尊归来爆宠甜妻:总裁,坏死了!
UU阅书搜藏榜:小楼大厦大国中医潇洒离婚后,她藏起孕肚成首富!予你熠熠星光小祖宗她是顶流大佬的心尖宠平淡的水乡生活绑定慈母系统后,我摆烂了凰妃逆天下玄学大佬被乖兮兮的奶狗缠疯了林域守从长征开始:十军团的绝境血路接单相亲,美女总裁赖上我直播打假,开局800页保险护体我和我姐一起穿越了魔族少年闯人间四合院:从逃荒开始逆天十八线艺人搞副业,天天跑警局穿书:我被疯批反派夜夜盯到腿软小市场住手!这不是游戏世界!才女清照权斗觉醒时代:我的队友全是觉醒女神神豪花钱系统!医品嫡妃:娇宠偏执摄政王重生之寒门吝啬媳八零后少林方丈史上最强斩妖师道吟重生黑客女王:冷少追妻忙第99次心动娘亲有点拽我家有只九尾狐腹黑竹马:小青梅,吃不够!被团宠成顶流后,她掉马了最强老公:独宠软萌小甜妻圣灵魔法师绝品医妃:误惹腹黑王爷顶流宠妃倾天下总裁老公惹不得我是修士,你们怎么跟我玩修真到异世求求你出道吧穿越后我靠混吃等死苟成了终极大佬慢穿之璀璨人生蚀骨婚情:前夫,请止步人在终极,开局时空之子美人犹记总裁三观不太正五行天
UU阅书最新小说:群聊通两界,我天师身份瞒不住了重生73:怒怼吸血亲戚,坐拥空间吃香喝辣离婚那天摊牌了:我是上市公司老总!直播:我靠反向带娃火遍全网!高武:一元秒杀,超脱成神重生1978,为国铸剑我,医武双绝,出狱秒杀一切!带着异能穿越:杨齐的花花世界九个绝色师姐,风情万种重返81:赶走白眼狼后我七天成万元户重返八零,奉子成婚迎娶女大学生辞职躺平后,我变超有钱了高冷校花救赎我?抱歉,我已成武神官场之巅峰权力长公主被火葬场?先撕渣男白月光重生:开局校花签下卖身契大国科技,从1983开始自由与枷锁之囚牢我被冤枉了难道还不许我反抗吗高武:拉满全属性,我直接无敌了我的乐园不科学!出狱被断亲?我医武双绝你们哭什么!穿进韩漫,我靠收集一百万善意成为救世主从垃圾处理厂员工到都市修真霸主高冷天后出道从无绯闻,直到有我年代:开局抓到女知青玉米地盗窃重生2015,我的快意人生改开,摸着答案过河国芯崛起:从香江到硅谷单纯校花重金求子?我直接应聘接单中奖被害,复活后,我人间无敌我的小青梅居然靠时停占我便宜高手下山:霸道师姐太护短御兽时代:我把自己练成灭世凶兽薛警官探案轶事权力巅峰这个明星有点狗满身SSS级天赋的我怎么输重生:逼我当渣男是吧高武:用对方法无需肝!肝帝无用复出后:白露和雨琦喊我小孩哥关于我在异世界打游击那件事四合院:我有空间种田虐禽全家吸血?侯府恶女大杀四方神州飞升传股市搬运工重回八零:东北猎户的救赎之路乡愁春秋人在高武,软饭系统早来了20年七年感情喂了狗,离婚妻子悔当初