機器學習超參數整理筆記

這篇文章是學習時整理的一些筆記，讓自己複習時方便！

參數和超參數是不一樣的東西
參數是訓練階段時學習出來的
超參數是由人為定的

要如何決定超參數的值呢？
最常見的方法就是套用他人已設定好的方案，再加以微調。

常見的超參數

1. batch_size: 一次迭代時進行訓練或測試的影像數量，參數更新是在每次batch結束
2. epoch: 一種單位，所有影像都被計算過後稱為1 epoch
3. steps_per_epoch: 總樣本數/批次大小

(在每個epoch data都會進行shuffle，對要輸入的資料進行重新排序，分成不同的batch)

補

模型更新相關的超參數

1. learning rate：更新參數的大小

2. step_size：多少次迭代後下降學習率

與訓練或測試階段相關的超參數

與神經網路架構相關的超參數

1. kernel size：卷積的大小

2. stride：卷積移動的步數

閱讀清單

1. CNN筆記 - 超參數 (Hyperparamters)