魔爪文学

手机浏览器扫描二维码访问

第592章 积极反馈的老师Relu函数(第1页)

故事比喻:只有积极反馈的老师(ReLu函数)

在一所小学里,有一位特别的数学老师——小张老师,他的教学方式很独特:

1.如果学生答对了题目,他就会大声表扬:“很好!继续加油!”

2.如果学生答错了,他什么都不说,不批评也不惩罚,就像没听见一样。

这个老师的教学方式就像ReLu(修正线性单元)激活函数——它只保留正面的信息(正值),对负面的信息(负值)完全忽略。

ReLu的数学规则

ReLu函数的公式是:

简单来说:

?输入是正数(好消息)→保留!

?输入是负数(坏消息)→直接归零!

这就像小张老师的教学方式,学生回答正确(正反馈),他给予鼓励;学生回答错误(负反馈),他不做任何反应,不给负面打击。

另一种比喻:运动员的训练(ReLu只关注正面成长)

想象一位跑步训练的运动员,他每天都记录自己的跑步成绩:

1.如果今天比昨天跑得快了(进步了),他就把这次成绩记录下来。

2.如果今天比昨天慢了(退步了),他就忽略这次成绩,不让它影响心态。

这个训练方法就像ReLu,它专注于“有用的进步”,而不会让负面的信息拖后腿。

为什么aI需要ReLu?

在神经网络里,ReLu的作用就像让学习过程更高效:

只关注有用的信息:

?如果某个神经元的计算结果是正的(有用的特征),ReLu让它通过。

?如果结果是负的(没用的特征),ReLu直接丢弃,避免干扰学习。

计算简单,度快:

?传统的sigmoid函数有复杂的指数计算,而ReLu只需要判断**“大于o还是小于o”**,计算更快,更适合深度学习。

让神经网络更深更强:

?在深度学习里,ReLu能防止梯度消失问题,使神经网络能够学习更复杂的模式。

结论:ReLu让神经网络专注于“有用的成长”

它就像一位“只给正面反馈的老师”或“专注于进步的运动员”,让aI更快地学习有效的信息,丢弃无用的数据,从而提高计算效率!

思考:你在生活中,有没有遇到类似ReLu的情境?比如某些人只关注好消息,而不理会坏消息?这种策略在什么情况下是优点,什么情况下可能有缺点?

ReLu的优缺点:只关注“好消息”,但可能忽略重要信息

虽然ReLu在神经网络中非常流行,但它并不是完美的,它的特点决定了它既有优点,也有一些潜在的问题。

ReLu的优点:更快、更强、更稳定

1.计算度快

请关闭浏览器阅读模式后查看本章节,否则将出现无法翻页或章节内容丢失等现象。

热门小说推荐
不小心混成传说

不小心混成传说

新文来到书中与你相会已开,求收藏本文文案钟离月重生到了五十年後成了一个小乞丐。她被师父带回了家,传授她武功绝学。可是大师兄游阳和二师兄叶子青却选择孤立了她。但没关系她脸皮厚,她说二师兄快来一起睡觉呀。一次传人比试,让游阳和叶子青离开了一线天,这让钟离月悔恨不已。她永远记得叶子青哭着对她吼道钟离月,你害我没有家了。六年後,当她一手教出来的师弟问她,师姐,你会不会和大师兄丶二师兄一样永远不会回来了?钟离月回答他,她会回来。可她知道她永远都回不来了。而在山下,有一个人已经等了钟离月很久很久游阳,叶子青,燕离光,宿杀,褚星月,慕天笑,慕静瑶越来越多的人聚在钟离月的身边,几代人的爱恨情仇造就了一场瑰丽的江湖画卷。而钟离月蓦然回首才发现,五十年前的钟离月可望不可及的东西,如今的自己已经全部都拥有了。内容标签江湖情有独钟穿越时空女强正剧群像...

漂亮炮灰是邪神[快穿]

漂亮炮灰是邪神[快穿]

好消息!好消息!死对头终于快死了!洛西早就已经受够了当邪神届的万年老二。一直以来,他都对万恶之首的位置蠢蠢欲动,等了这么久,终于被他等到了机会。那个压在他头上的家伙,不知道因为什么原因,离...

(云之羽同人)云之羽:宫远徵我可以是你的新娘+番外

(云之羽同人)云之羽:宫远徵我可以是你的新娘+番外

小说简介云之羽宫远徵我可以是你的新娘作者柒玖玖柒捌简介宫远徵,月苏温柔强大女主,桀骜不羁修狗。不是无锋,不是剧中人,单纯穿越人。你不在只有哥哥,而我会永远站在你的身边。救赎弟弟,拯救哥哥。不拆CP,除了宫尚角,上官浅,不要喷。第一章剧情开始月苏看着窗外飘落的雪花,有些发怔。距她穿越到云之羽宫家已经一年多了。她并没有穿越...

喝醉後,村花让我忘掉那一天!

喝醉後,村花让我忘掉那一天!

弃婴王小帅打小被老神棍收养,长大後成了万民村头号村民的他,却,带领着村民们发家致富,成就了一生传奇!...

每日热搜小说推荐