公式ドキュメントには miniforge でインストールするように案内されている。
https://scikit-learn.org/stable/install.html#installing-on-apple-silicon-m1-hardware
しかし、StackOverflowで紹介されている以下の方法でもインストールすることができた。
$ brew install openblas
$ export OPENBLAS=$(/opt/homebrew/bin/brew --prefix openblas)
$ export CFLAGS="-falign-functions=8 ${CFLAGS}"
$ # ^ no need to add to .zshrc, just doing this once.
$ pip install scikit-learn # ==0.24.1 if you want
https://stackoverflow.com/questions/68620927/installing-scipy-and-scikit-learn-on-apple-m1
逆にtorchaudioのインストールはpipじゃないとうまくいかなかった。