来源：https://www.cnblogs.com/xiangsikai/p/8394674.html
日志格式：常用日志格式
log_format main ‘$remote_addr - $remote_user [stime_local] $request‘ ‘"$status" $body_bytes_sent "$http_referer"‘ ‘"$http_user_agent" "$http_x_forwarded_for"‘
日志：此日志格式为，ip不仅记录代理的IP还记录远程客户端真实IP。
log_format main1 ‘$proxy_add_x_forwarded_for - $remote_user [$time_local]‘ ‘"$request" $status $body_bytes_sent‘ ‘"$http_referer" "$http_user_agent"‘;
参数：
通常web服务器放在反向代理的后面，这样就不能获取到客户的IP地址了，通过$remote_add拿到的IP地址是反向代理服务器的iP地址。反向代理服务器在转发请求的http头信息中，可以增加x_forwarded_for信息，用以记录原有客户端的IP地址和原来客户端的请求的服务器地址。
如果你的$http_user_agent信息出现一些不明不白的访问者，例如：Baiduspider、Googlebot等等，这些都是蜘蛛，蜘蛛也分来源，例如来源百度蜘蛛：Baiduspider， 谷歌蜘蛛：Googlebot，
你还可以上网百度一下：https://www.baidu.com/robots.txt 这里面有份百度的蜘蛛协议，但是没有法律效应，只能靠道德来施行。
原文：https://www.cnblogs.com/laijinquan/p/11185433.html