viewWillAppearでこういうappearance設定を呼んであげると切り替えがうまくいく

NavigationController+BarAppearance.swift

extension UINavigationController {

    /*
    iOS13以降では、利用可能な場合はAppearance系API経由で見た目を設定するようにする。
  　視覚情報と情報構造の切り分けを意識する。
    */
  
    /// 不透明のNavigationBarを構成する
    func configureOpaqueBar() {
        let navBarAppearance = UINavigationBarAppearance()
        navBarAppearance.configureWithOpaqueBackground()
        navBarAppearance.shadowColor = .clear
        navBarAppearance.shadowImage = UIImage()

        navigationBar.standardAppearance = navBarAppearance
    }

    /// デフォルトのNavigationBarを構成する
    func configureDefaultBar() {
        let navBarAppreance = UINavigationBarAppearance()
        navBarAppreance.configureWithDefaultBackground()
        navigationBar.standardAppearance = navBarAppreance
    }
  
}