Nginx access.log日志详解及统计分析小结

这篇文章将为大家详细讲解有关Nginx access.log日志详解及统计分析小结，小编觉得挺实用的，因此分享给大家做个参考，希望大家阅读完这篇文章后可以有所收获。

Nginx access.log 日志详解及统计分析小结

日志格式

Nginx access.log 默认的日志格式为：

$remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent "$http_referer" "$http_user_agent"

各字段解释如下：

• $remote_addr：客户端 IP 地址
• $remote_user：已授权用户的用户名（通常为空）
• $time_local：请求时间（本地时区）
• $request：请求行（方法、URL、协议版本）
• $status：HTTP 状态码
• $body_bytes_sent：响应体的大小（以字节为单位）
• $http_referer：请求来源页面 URL
• $http_user_agent：客户端用户代理

日志分析

通过分析 access.log 日志，可以获取以下信息：

• 访问量统计：记录每个请求的访问时间、IP 地址、请求 URL、HTTP 状态码等信息。
• 流量统计：统计每个请求的响应体大小，以了解网站的流量情况。
• 错误分析：识别 HTTP 500 或 404 等错误，以查找和解决问题。
• 安全分析：检测来自可疑 IP 地址或使用异常用户代理的请求，以识别潜在的安全威胁。
• 性能分析：估算服务器的响应时间，以分析网站的性能。

统计分析

使用工具

常用的 access.log 统计分析工具包括：

• AWStats
• Webalizer
• GoAccess
• Logstash + Elasticsearch + Kibana

常用统计指标

• 总访问量：一段时间内的总请求数。
• 平均响应时间：每个请求的平均处理时间。
• 热门 URL：访问次数最多的 URL。
• 热门来源：访问次数最多的来源网站（根据 $http_referer）。
• 异常活动：来自可疑 IP 地址或使用异常用户代理的请求。

统计示例

使用 AWStats 统计总访问量：

awstats -f access.log -o awstats/

使用 GoAccess 统计平均响应时间：

goaccess access.log -o output.html --log-format=COMBINED --real-time-html --no-color -a

使用 Logstash + Elasticsearch + Kibana 分析异常活动：

Logstash 配置：

input {
  file {
    path => "/var/log/nginx/access.log"
  }
}
filter {
  if "500" in [status] {
    mutate {
      add_field => { "error" => true }
    }
  }
}
output {
  elasticsearch {
    hosts => ["localhost:9200"]
    index => "access-log"
  }
}

Elasticsearch 索引创建：

POST /access-log
{
  "mappings": {
    "properties": {
      "error": {
        "type": "boolean"
      }
    }
  }
}

Kibana 仪表板：

在 Kibana 中，创建一个仪表板，显示来自可疑 IP 地址或使用异常用户代理的异常请求。

以上就是Nginx access.log日志详解及统计分析小结的详细内容，更多请关注编程学习网其它相关文章！