下記のように、set_real_ip_fromにLBやIngressのIPを記載し、real_ip_recursiveを設定することで、remote_addr変数にクライアントの ソース元IPを入れることができるようです。
##
# Logging Settings
##
real_ip_header X-Forwarded-For;
set_real_ip_from 130.211.0.0/22;
set_real_ip_from 35.191.0.0/16;