在每个反代添加如下自定义配置：（如端口为10001）

error_page 497 https://$http_host$request_uri;

if ($scheme = http) {
    return 301 https://$host:10001$request_uri;
}

正常映射80 443到指定端口即可。

以上可达成：http访问http端口自动跳转https，http访问https端口自动跳转https。

注意（血的教训）：如果发现DDNS的域名怎么修改似乎都有反代还有缓存着，怎么刷怎么都不生效，请检查ipv6的ddns是否被映射。