深層学習
Microsoft Researchから、Retentive Network が提案された(2023年7月)。 興味深いので、その意義についてざっくり理解したことを、つらつらとメモしておく。 （諸々正確でない点は、ご容赦いただきたい。） [1] Yutao Sun et al., Retentive Network: A Succ…
TensorFlow(2系)の、 tf.keras.applicationsの学習済みモデルに、L2等の正規化を加える方法。 次の記事[1]で解決した。簡単にその要約を記す。 [1] Silva TS. How to Add Regularization to Keras Pre-trained Models the Right Way. 2019. sthalles.github.…
自然言語処理でお馴染み、他の分野も席巻しつつあるTransformerについて、 やっと自分の理解が追いついてきた。 Transformerとは何か、については、良い記事がたくさんあるのでそちらを参照されたい。 念のため、最小限の説明をすると、次のような感じ。 入…
Transformerに使われるAttentionと、FFN（Position-wise Dense）、全結合（Dense）、畳み込み（Convolution）の 関係を俯瞰するために、お絵描きを試みたので、ここに載せる。 もしかしたら不正確な表現があるかもしれないが、ご容赦いただきたい。 なお、図…
2021.7.16 書き直しました。新しい記事の方を参照ください。
