文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

Sentry 企业级数据安全解决方案 - Relay 监控 & 指标收集

2024-12-02 10:11

关注
  1. INFO  relay::setup > launching relay from config folder .relay 
  2. INFO  relay::setup >   relay mode: managed 
  3. INFO  relay::setup >   relay id: cde0d72e-0c4e-4550-a934-c1867d8a177c 
  4. INFO  relay::setup >   log level: INFO 

此示例显示具有默认日志记录级别 (INFO) 的消息,您可以修改该级别以显示更多或更少的信息。有关配置日志记录的详细信息,请参阅选项页面上的日志记录部分。

错误报告

默认情况下,Relay 将错误记录到配置的 logger 中。您可以在 Relay 配置文件中的 Sentry 中为您的项目启用错误报告:

  1. sentry: 
  2.   enabled: true 
  3.   dsn:  

可以在选项页面上找到有关可用选项及其含义的更多信息。

健康检查

Relay 提供了两个 URL 来检查系统状态:

成功时,两个端点都返回 200 OK 响应:

  1.   "is_healthy"true 

指标

您可以通过将 metrics.statsd key 配置为 ip:port 元组来向 StatsD server 提交统计信息。可以设置为 ip:port 元组。

示例配置

  1. metrics: 
  2.   # Endpoint of your StatsD server 
  3.   statsd: 127.0.0.1:8126 
  4.   # Prefix all metric names with this string 
  5.   prefix: mycompany.relay 

用于配置指标报告的选项记录在选项页面上。

Relay 收集以下指标

event.accepted (Counter)

当前时段接受的信封数量。

这表示已成功通过速率限制和过滤器并已发送到上游的请求。

event.corrupted (Counter)

已损坏(不可打印)事件属性的事件数。

目前,这会检查 environment 和 release,我们知道某些 SDK 可能会发送损坏的值。

event.processing_time (Timer)

同步处理信封所花费的时间(以毫秒为单位)。

此时序涵盖 CPU 池中的端到端处理,包括:

在 Relay 处于处理模式时,这还包括以下时序:

event.protocol (Counter)

命中任何类似 store 的端点的事件数量:Envelope、Store、Security、Minidump、Unreal。

事件在被速率限制、过滤或以任何方式处理之前被计数。

该指标标记为:

version: 事件协议版本号默认为 7。

event.queue_size (Histogram)

队列中的信封数。

队列保存在 Relay 中特定时间正在处理的所有信封:

队列大小可以通过 cache.event_buffer_size 配置。

event.queue_size.pct (Histogram)

队列中的信封数占队列中可存储的最大信封数的百分比。

该值的范围从队列为空时的 0 到队列已满且无法添加额外事件时的 1。队列大小可以使用 event.queue_size 配置。

event.rejected (Counter)

当前时间段内拒绝的信封数量。

这包括信封因格式错误或处理过程中的任何其他错误而被拒绝(包括过滤事件、无效负载和速率限制)。

要检查拒绝原因,请检查 events.outcomes。

event.size_bytes.raw (Histogram)

从请求中提取后由 Relay 看到的 HTTP 请求正文的大小(以字节为单位)。

如果这个请求包含一个 base64 zlib 压缩的有效载荷,而没有正确的 content-encoding 头,那么这是解压前的大小。

最大请求 body 大小可以通过 limits.max_envelope_size 进行配置。

event.size_bytes.uncompressed (Histogram)

Relay 在解压和解码后看到的请求 body 的大小(以字节为单位)。

JSON 存储请求可能包含 base64 zlib 压缩负载,而没有正确的 content-encoding 头。在这种情况下,该指标包含解码后的大小。否则,它总是等于 event.size_bytes.raw。

event.total_time (Timer)

信封从接收到完成处理并提交给上游的总时间(以毫秒为单位)。

event.wait_time (Timer)

在 Relay 中接收请求(即请求处理开始)和 EnvelopeProcessor 中开始同步处理之间花费的时间。该指标主要表示事件处理中的积压。

event_processing.deserialize (Timer)

将事件从 JSON 字节反序列化为 Relay 在其上运行的原生数据结构所花费的时间(以毫秒为单位)。

event_processing.filtering (Timer)

在事件上运行入站数据过滤器所花费的时间(以毫秒为单位)。

event_processing.pii (Timer)

当前事件的数据清理所花费的时间(以毫秒为单位)。数据清理最后发生在将事件序列化回 JSON 之前。

event_processing.process (Timer)

在事件上运行事件处理器以进行标准化所花费的时间(以毫秒为单位)。事件处理发生在过滤之前。

event_processing.rate_limiting (Timer)

检查组织、项目和 DSN 速率限制所花费的时间(以毫秒为单位)。

事件第一次被限速后,限速会被缓存。在此之后进入的事件将在请求队列中更早地被丢弃并且不会到达处理队列。

event_processing.serialization (Timer)

将事件从其内存表示转换为 JSON 字符串所花费的时间。

events.outcomes (Counter)

拒绝信封的 outcome 和 reason 的数量。

该指标标记为:

可能的 outcome 是:

http_queue.size (Histogram)

排队等待发送的上游请求数。

尽可能使连接保持活动。连接保持打开状态 15 秒不活动或 75 秒活动。如果所有连接都忙,它们将排队,这反映在此指标中。

该指标标记为:

并发连接数可以配置为:

metrics.buckets (Gauge)

Relay 的指标聚合器中的 metric bucket 总数。

metrics.buckets.created.unique (Set)

计算创建的唯一 bucket 的数量。

这是一组 bucket 键。指标基本上等同于单个 Relay 的 metrics.buckets.merge.miss,但对于确定多个实例正在运行时有多少重复 bucket 可能很有用。

Hash 目前取决于平台,因此发送此指标的所有 Relay 应在相同的 CPU 架构上运行,否则此指标不可靠。

metrics.buckets.flushed (Histogram)

在所有项目的一个周期中刷新的 metric buckets 总数。

metrics.buckets.flushed_per_project (Histogram)

每个项目在一个周期中刷新的 metric buckets 数。

Relay 定期扫描 metric buckets 并刷新过期的桶。为每个正在刷新的项目记录此直方图。直方图值的计数相当于正在刷新的项目数。

metrics.buckets.merge.hit (Counter)

每次合并两个 bucket 或两个 metric 时递增。

按 metric 类型和名称标记。

metrics.buckets.merge.miss (Counter)

每次创建 bucket 时递增。

按 metric 类型和名称标记。

metrics.buckets.parsing_failed (Counter)

从信封中解析指标 bucket 项目失败的次数。

metrics.buckets.scan_duration (Timer)

扫描指标 bucket 以刷新所花费的时间(以毫秒为单位)。

Relay 定期扫描指标 bucket 并刷新过期的 bucket。此计时器显示执行此扫描并从内部缓存中删除 bucket 所需的时间。将指标桶发送到上游不在此计时器范围内。

metrics.insert (Counter)

针对插入的每个指标递增。

按指标类型和名称标记。

outcomes.aggregator.flush_time (Timer)

outcome 聚合器刷新聚合 outcomes 所需的时间。

processing.event.produced (Counter)

放置在 Kafka 队列上的消息数

当 Relay 作为 Sentry 服务运行并且一个 Envelope 项目被成功处理时,每个 Envelope 项目都会产生一条关于 Kafka 摄取主题的专用消息。

这个指标被标记为:

消息类型可以是:

processing.produce.error (Counter)

在信封已排队发送到 Kafka 后发生的生产者错误数。

例如,这些错误包括 "MessageTooLarge" 当 broker 不接受超过特定大小的请求时的错误,这通常是由于无效或不一致的 broker/producer 配置造成的。

project_cache.eviction (Counter)

从缓存中驱逐的陈旧项目的数量。

Relay 会以 cache.eviction_interval 配置的固定时间间隔扫描内存项目缓存中的陈旧条目。

可以使用以下选项配置项目状态的缓存持续时间:

project_cache.hit (Counter)

从缓存中查找项目的次数。

缓存可能包含过时或过期的项目状态。在这种情况下,即使在缓存命中后,项目状态也会更新。

project_cache.miss (Counter)

项目查找失败的次数。

立即创建缓存条目,并从上游请求项目状态。

project_cache.size (Histogram)

当前保存在内存项目缓存中的项目状态数。

可以使用以下选项配置项目状态的缓存持续时间:

缓存项目的数量没有限制。

project_state.eviction.duration (Timer)

驱逐过时和未使用的项目所花费的总时间(以毫秒为单位)。

project_state.get (Counter)

从缓存中查找项目状态的次数。

这包括对缓存项目和新项目的查找。作为其中的一部分,会触发对过时或过期项目缓存的更新。

相关指标:

project_cache.hit: 用于成功的缓存查找,即使是过时的项目。

使用 .no-cache 请求项目配置的次数。

这有效地计算了使用相应 DSN 发送的信封或事件的数量。对于这些项目状态请求,对上游的实际查询可能仍会进行重复数据删除。

每个 project key 每秒最多允许 1 个此类请求。此指标仅计算允许的请求。

project_state.pending (Histogram)

内存项目缓存中等待状态更新的项目数。

有关项目缓存的更多说明,请参阅 project_cache.size。

project_state.received (Histogram)

每个批处理请求从上游 返回 的项目状态数。

如果同时更新多个批次,则会多次报告此指标。

有关项目缓存的更多说明,请参阅 project_cache.size。

project_state.request (Counter)

项目状态 HTTP 请求的数量。

Relay 批量更新项目。每个更新周期,Relay 从上游请求 limits.max_concurrent_queries 批次的 cache.batch_size 项目。这些请求的持续时间通过 project_state.request.duration 报告。

请注意,更新循环完成后,可能会有更多项目等待更新。这由 project_state.pending 指示。

project_state.request.batch_size (Histogram)

对于每个批处理请求,来自上游的 requested 项目状态数量。

如果同时更新多个批次,则会多次报告此指标。

批量大小可以通过 cache.batch_size 配置。有关项目缓存的更多说明,请参阅 project_cache.size。

project_state.request.duration (Timer)

获取要解决的排队项目配置更新请求所花费的总时间(以毫秒为单位)。

Relay 批量更新项目。每个更新周期,Relay 从上游请求 limits.max_concurrent_queries * cache.batch_size 项目。此指标测量此循环中所有并发请求的挂钟时间。

请注意,更新循环完成后,可能会有更多项目等待更新。这由 project_state.pending 指示。

requests (Counter)

到达 Relay 的 HTTP 请求数。

requests.duration (Timer)

在 HTTP 响应返回给客户端之前处理入站 Web 请求的总持续时间(以毫秒为单位)。

这不对应于完整的事件摄取时间。由于错误数据或缓存速率限制而未立即拒绝的事件请求始终返回 200 OK。完全验证和规范化是异步发生的,由 event.processing_time 报告。该指标标记为:

requests.timestamp_delay (Timer)

负载中规定的时间戳与接收时间之间的延迟。

SDK 无法在所有情况下立即传输有效载荷。有时,崩溃需要在重新启动应用程序后发送事件。同样,SDK 在网络停机期间缓冲事件以供以后传输。该指标衡量事件发生时间与其到达 Relay 时间之间的延迟。该指标衡量事件发生时间与其到达 Relay 时间之间的延迟。

仅捕获延迟超过 1 分钟的有效载荷。

该指标标记为:

responses.status_codes (Counter)

已完成的 HTTP 请求数。

该指标标记为:

scrubbing.attachments.duration (Timer)

花费在附件清理上的时间。这表示评估附件清理规则和附件清理本身所花费的总时间,而不管是否应用了任何规则。请注意,未能解析的 minidumps(scrubbing.minidumps.duration 中的 status="error")将作为普通附件进行清理并计入此内容。

scrubbing.minidumps.duration (Timer)

花在 minidump 清理上的时间。

这是解析和清理 minidump 所花费的总时间。即使没有应用 minidump 的 PII 清理规则,仍将解析并在解析的 minidump 上评估规则,此持续时间在此处报告,状态为 "n/a"。

这个指标被标记为:

server.starting (Counter)

Relay server 启动的次数。

这可用于跟踪由于崩溃或终止而导致的不需要的重启。

unique_projects (Set)

表示当前时间片内的活动项目数

upstream.network_outage (Gauge)

Relay 相对于上游连接的状态。可能的值为 0(正常操作)和 1(网络中断)。

upstream.requests.duration (Timer)

将请求发送到上游 Relay 并处理响应所花费的总时间。

该指标标记为:

upstream.retries (Histogram)

计算每个上游 http 请求的重试次数。

该指标标记为:

 

来源:黑客下午茶内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯