少妇脱了内裤让我添,久久久久亚洲精品无码网址蜜桃,性色av免费观看,久久人妻av无码中文专区

分享

機器學習中的成本函數,學習率和梯度下降

 taotao_2016 2020-02-09

機器學習中的成本函數,學習率和梯度下降

成本函數

我們在機器學習中最主要的目標是最小化成本函數,因此,將執行優化過程以最小化該成本函數。成本函數由下式給出:

機器學習中的成本函數,學習率和梯度下降

為了深入了解成本函數的幾何形狀,讓我們學習凹函數和凸函數:

凹函數

在凹函數g(x)中,對于x軸上的任意兩個值,即a和b,點g(a)和g(b)之間的直線總是位于g(x)的下方。凹函數的最大值是一個導數為0的點

機器學習中的成本函數,學習率和梯度下降

凸函數

凸函數具有相反的屬性,凸函數的最小值是導數為0的點。

機器學習中的成本函數,學習率和梯度下降

我們如何找到成本函數的最大值或最小值呢?

有兩種查找成本函數的最小值或最大值的方法:

解析法:凹函數的最大值和凸函數的最小值是導數為0的點。在導數=0后所形成的方程易于求解之前,解析法是較好的方法。

機器學習中的成本函數,學習率和梯度下降

爬山算法:該算法是一種綜合算法,我們從可能的斜率(θs)的空間中的某個地方開始,然后不斷改變斜率,以期接近最大值或最小值。現在,出現的問題是我應該增加θ(將θ向右移動),還是應該減少θ(向左移動θ)以接近最佳值。在凸函數的情況下,我們可以求導數,如果導數為正,則需要增加θ,即向右移動,而如果導數為負,則減小θ。

機器學習中的成本函數,學習率和梯度下降

t是迭代,α是學習率。

機器學習中的成本函數,學習率和梯度下降

學習率

學習率決定了“爬山算法”中步長的大小。學習率有兩種類型:

靜態:靜態學習率是在所有迭代過程中保持不變的速率。

動態:學習率是動態變化的,即最初在θ偏離最佳值時,α很大,并且隨著我們接近最佳值而不斷下降。

選擇學習率

學習率不能太小,因為需要很多次迭代才能達到最小值。而且,學習率不能太大,因為它可能會錯過最佳點。

機器學習中的成本函數,學習率和梯度下降

更好的想法是選擇動態學習率,該學習率隨著時間的推移而降低,因為它允許算法快速識別該點。基本的降低學習率時間表如下:

機器學習中的成本函數,學習率和梯度下降

理想情況下,對于凸函數,最優值出現在:

機器學習中的成本函數,學習率和梯度下降

但是,在實踐中需要設置閾值,該閾值定義了與最佳解“足夠接近”的條件:

機器學習中的成本函數,學習率和梯度下降

什么是梯度下降?

梯度下降用于實現爬山算法。為了理解梯度下降,讓我們假設是否要最小化某些成本函數,這可能是許多變量的函數。為了簡單起見,讓我們假設C是兩個變量的函數:

成本函數的變化由下式給出:

機器學習中的成本函數,學習率和梯度下降

梯度向量(?C)包含C相對于v的偏導數,即?C使v的變化與C的變化相關:

機器學習中的成本函數,學習率和梯度下降

將向量的變化(ΔV)和梯度向量(?C)放在ΔC方程中:

機器學習中的成本函數,學習率和梯度下降

我們需要以使ΔC為負的方式選擇Δv。假設我們選擇:

機器學習中的成本函數,學習率和梯度下降

其中η是一個小的正參數(稱為學習率)。那么ΔC可以寫成:

機器學習中的成本函數,學習率和梯度下降

因為∥?C∥2≥0,所以保證了ΔC≤0,即,C將總是減小而從不增大。 降低C是主要動機,因為我們希望盡可能降低成本。 因此,我們以以下方式實現梯度:

機器學習中的成本函數,學習率和梯度下降

梯度下降是機器學習的基礎,因此必須了解該算法背后的數學知識才能真正理解機器學習模型的工作原理。此外,所有深度學習模型在反向傳播過程中都使用梯度下降算法來更新權重和偏差。希望這篇文章能幫助您了解機器學習中的成本函數,學習率和梯度下降的一些基礎知識。

    本站是提供個人知識管理的網絡存儲空間,所有內容均由用戶發布,不代表本站觀點。請注意甄別內容中的聯系方式、誘導購買等信息,謹防詐騙。如發現有害或侵權內容,請點擊一鍵舉報。
    轉藏 分享 獻花(0

    0條評論

    發表

    請遵守用戶 評論公約

    類似文章 更多

    主站蜘蛛池模板: 又大又硬又爽免费视频| 国产欧美日韩久久久久| 久久视频这里只精品10| 日产精品卡三卡在线| 又粗又硬又黄a级毛片| 亚洲人成伊人成综合网76| 国产精品白丝av网站在线观看| 日日摸日日碰人妻无码老牲| 一本无码中文字幕在线观| 精品国产亚洲午夜精品av| 欧美人与动牲交zooz男人| 韩国三级中文字幕hd| 99久久国产露脸精品| 日本内射精品一区二区视频| 亚洲成av人片在线观看橙子| 成人免费无码av| 成人国产欧美大片一区| 国产激情无码视频在线播放性色| 无码午夜人妻一区二区不卡视频| 精品国产乱码久久久久夜深人妻| 一本大道东京热无码一区| 77777亚洲午夜久久多喷| 人人妻人人玩人人澡人人爽| 天天躁日日躁狠狠躁免费麻豆| 亚洲免费观看在线视频| 永久免费看啪啪网址入口| 亚洲国产一区二区三区亚瑟| 看国产一毛片在线看手机看| 国产精品国产三级国产av中文| 精品国产午夜理论片不卡精品| 精品人妻系列无码人妻免费视频| 免费无码av片在线观看播放| 欧美 丝袜 自拍 制服 另类| 免费视频爱爱太爽了| 久久久久久妓女精品影院| 四虎成人精品永久在线视频| 隔壁人妻被水电工征服| 成在人线av无码免观看| 人摸人人人澡人人超碰手机版| 国产亚洲美女精品久久久| 国产成人高清在线播放|