TensorFlow(2系)の、 tf.keras.applicationsの学習済みモデルに、L2等の正規化を加える方法。 次の記事[1]で解決した。簡単にその要約を記す。 [1] Silva TS. How to Add Regularization to Keras Pre-trained Models the Right Way. 2019. sthalles.github.…

自然言語処理でお馴染み、他の分野も席巻しつつあるTransformerについて、 やっと自分の理解が追いついてきた。 Transformerとは何か、については、良い記事がたくさんあるのでそちらを参照されたい。 念のため、最小限の説明をすると、次のような感じ。 入…