文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

Python时间序列异常检测ADTK

2024-12-03 07:44

关注

什么是adtk?

adtk(Anomaly Detection Toolkit)是无监督异常检测的python工具包,它提供常用算法和处理函数:

2. 安装

  1. pip install adtk 

3. adtk数据要求

时间序列的数据主要包括时间和相应的指标(如cpu,内存,数量等)。python中数据分析一般都是pandas的DataFrame,adtk要求输入数据的索引必须是DatetimeIndex。

pandas提供了时间序列的时间生成和处理方法。

  1. stamps = pd.date_range("2012-10-08 18:15:05", periods=4freq="D" 
  2. # DatetimeIndex(['2012-10-08 18:15:05', '2012-10-09 18:15:05',  
  3. #           '2012-10-10 18:15:05', '2012-10-11 18:15:05'],  
  4. #          dtype='datetime64[ns]'freq='D'
  1. tmp = pd.Timestamp("2018-01-05") + pd.Timedelta("1 day")  
  2.  print(tmp, tmp.timestamp(), tmp.strftime('%Y-%m-%d'))  
  3.  # 2018-01-06 00:00:00 1515196800.0 2018-01-06  
  4.  pd.Timestamp( tmp.timestamp(), unit='s'tz='Asia/Shanghai' 
  5.  # Timestamp('2018-01-06 08:00:00+0800', tz='Asia/Shanghai'

adtk提供是validate_series来验证时间序列数据的有效性,如是否按时间顺序 

  1. import pandas as pd  
  2. from adtk.data import validate_series  
  3. from adtk.visualization import plot  
  4. df = pd.read_csv('./data/nyc_taxi.csv', index_col="timestamp"parse_dates=True 
  5. df = validate_series(df)  
  6. plot(df) 

4. 异常特征加工(transformers)

adtk中transformers提供了许多时间序列特征加工的方法:

4.1 滑动窗口

atdk提供单个宽口RollingAggregate和2个窗口DoubleRollingAggregate的滑动方式。统计特征支持均值,中位数,汇总,最大值,最小值,分位数, 方差,标准差,偏度,峰度,直方图 等,['mean', 'median', 'sum', 'min', 'max', 'quantile', 'iqr', 'idr', 'count', 'nnz', 'nunique', 'std', 'var', 'skew', 'kurt', 'hist']其中

  1. import pandas as pd  
  2.   from adtk.data import validate_series  
  3.   from adtk.transformer import RollingAggregate  
  4.   from adtk.transformer import DoubleRollingAggregate  
  5.   s = pd.read_csv('./data/nyc_taxi.csv', index_col="timestamp"parse_dates=True 
  6.   s = validate_series(s)  
  7.   s_transformed = RollingAggregate(agg='quantile',agg_params={"q": [0.25, 0.75]}, window=5).transform(s) 

  1. import pandas as pd  
  2. from adtk.data import validate_series  
  3. from adtk.transformer import DoubleRollingAggregate  
  4. s = pd.read_csv('./data/ec2_cpu_utilization_53ea38.csv', index_col="timestamp"parse_dates=True 
  5. s = validate_series(s)  
  6. s_transformed = DoubleRollingAggregate 
  7.     agg="median" 
  8.     window=5 
  9.     diff="diff").transform(s) 

4.2 季节性拆解

时间序列可拆解成趋势性,季节性和残差部分。atdk中ClassicSeasonalDecomposition提供了这三个部分拆解,并移除趋势和季节性部分,返回残差部分。

  1. from adtk.transformer import ClassicSeasonalDecomposition  
  2. s = pd.read_csv('./data/nyc_taxi.csv', index_col="timestamp"parse_dates=True 
  3. s = validate_series(s) 
  4. s_transformed = ClassicSeasonalDecomposition().fit_transform(s) 

 

  1. s_transformed = ClassicSeasonalDecomposition(trend=True).fit_transform(s) 

4.3 降维和重构

adtk提供的pca对数据进行降维到主成分PcaProjection和重构方法PcaReconstruction。 

  1. df = pd.read_csv('./data/generator.csv', index_col="Time"parse_dates=True 
  2. df = validate_series(df)  
  3. from adtk.transformer import PcaProjection  
  4. s = PcaProjection(k=1).fit_transform(df)  
  5. plot(pd.concat([df, s], axis=1), ts_linewidth=1ts_markersize=3curve_group=[("Speed (kRPM)", "Power (kW)"), "pc0"]); 

 

  1. from adtk.transformer import PcaReconstruction  
  2. df_transformed = PcaReconstruction(k=1).fit_transform(df).rename(columns={"Speed (kRPM)": "Speed reconstruction (kRPM)", "Power (kW)": "Power reconstruction (kW)"}) 
  3. plot(pd.concat([df, df_transformed], axis=1), ts_linewidth=1ts_markersize=3curve_group=[("Speed (kRPM)", "Power (kW)"), ("Speed reconstruction (kRPM)", "Power reconstruction (kW)")]); 
  4. ../_images/notebooks_demo_99_0.png 

5. 异常检测算法(detector)

adtk提供的主要是无监督或者基于规则的时间序列检测算法,可以用于常规的异常检测。

  1. adtk.detector.ThresholdAD(low=Nonehigh=None 
  2.  参数:  
  3.  low:下限,小于此值,视为异常  
  4.  high:上限,大于此值,视为异常  
  5.  原理:通过认为设定上下限来识别异常  
  6.  总结:固定阈值算法  
  1. from adtk.detector import ThresholdAD  
  2. threshold_ad = ThresholdAD(high=30low=15 
  3. anomalies = threshold_ad.detect(s) 

  1. adtk.detector.QuantileAD(low=Nonehigh=None 
  2. 参数:  
  3. low:分位下限,范围(0,1),当low=0.25时,表示Q1  
  4. high:分位上限,范围(0,1),当low=0.25时,表示Q3  
  5. 原理:通过历史数据计算出给定low与high对应的分位值Q_low,Q_high,小于Q_low或大于Q_high,视为异常  
  6. 总结:分位阈值算法  
  1. from adtk.detector import QuantileAD  
  2. quantile_ad = QuantileAD(high=0.99, low=0.01)  
  3. anomalies = quantile_ad.fit_detect(s) 

  1. adtk.detector.InterQuartileRangeAD(c=3.0)  
  2. 参数:  
  3. c:分位距的系数,用来确定上下限,可为float,也可为(float,float)  
  4. 原理: 
  5. 当c为float时,通过历史数据计算出 Q3+c*IQR 作为上限值,大于上限值视为异常  
  6. c=(float1,float2)时,通过历史数据计算出 (Q1-c1*IQR, Q3+c2*IQR) 作为正常范围,不在正常范围视为异常  
  7. 总结:箱线图算法  
  1. from adtk.detector import InterQuartileRangeAD  
  2. iqr_ad = InterQuartileRangeAD(c=1.5)  
  3. anomalies = iqr_ad.fit_detect(s) 

  1. adtk.detector.GeneralizedESDTestAD(alpha=0.05)  
  2.    参数:  
  3.    alpha:显著性水平 (Significance level),alpha越小,表示识别出的异常约有把握是真异常  
  4.    原理:将样本点的值与样本的均值作差后除以样本标准差,取最大值,通过t分布计算阈值,对比阈值确定异常点  
  5.    计算步骤简述:  
  6.    设置显著水平alpha,通常取0.05  
  7.    指定离群比例h,若h=5%,则表示50各样本中存在离群点数为2  
  8.    计算数据集的均值mu与标准差sigma,将所有样本与均值作差,取绝对值,再除以标准差,找出最大值,得到esd_1  
  9.    在剩下的样本点中,重复步骤3,可以得到h个esd值  
  10.    为每个esd值计算critical value: lambda_i (采用t分布计算)  
  11.    统计每个esd是否大于lambda_i,大于的认为你是异常  
  1. from adtk.detector import GeneralizedESDTestAD  
  2. esd_ad = GeneralizedESDTestAD(alpha=0.3)  
  3. anomalies = esd_ad.fit_detect(s) 

  1. adtk.detector.PersistAD(window=1c=3.0, side='both'min_periods=Noneagg='median' 
  2.    参数:  
  3.    window:参考窗长度,可为int, str  
  4.    c:分位距倍数,用于确定上下限范围  
  5.    side:检测范围,为'positive'时检测突增,为'negative'时检测突降,为'both'时突增突降都检测  
  6.    min_periods:参考窗中最小个数,小于此个数将会报异常,默认为None,表示每个时间点都得有值  
  7.    agg:参考窗中的统计量计算方式,因为当前值是与参考窗中产生的统计量作比较,所以得将参考窗中的数据计算成统计量,默认'median',表示去参考窗的中位值  
  8.    原理:  
  9.    用滑动窗口遍历历史数据,将窗口后的一位数据与参考窗中的统计量做差,得到一个新的时间序列s1;  
  10.    计算s1的(Q1-c*IQR, Q3+c*IQR) 作为正常范围; 
  11.    若当前值与它参考窗中的统计量之差,不在2中的正常范围内,视为异常。  
  12.    调参:  
  13.    window:越大,模型越不敏感,不容易被突刺干扰  
  14.    c:越大,对于波动大的数据,正常范围放大较大,对于波动较小的数据,正常范围放大较小  
  15.    min_periods:对缺失值的容忍程度,越大,越不允许有太多的缺失值  
  16.    agg:统计量的聚合方式,跟统计量的特性有关,如 'median'不容易受极端值影响  
  17.    总结:先计算一条新的时间序列,再用箱线图作异常检测  
  1. from adtk.detector import PersistAD  
  2. persist_ad = PersistAD(c=3.0, side='positive' 
  3. anomalies = persist_ad.fit_detect(s) 

  1. adtk.detector.LevelShiftAD(window, c=6.0, side='both'min_periods=None 
  2.  参数:  
  3.  window:支持(10,5),表示使用两个相邻的滑动窗,左侧的窗中的中位值表示参考值,右侧窗中的中位值表示当前值  
  4.  c:越大,对于波动大的数据,正常范围放大较大,对于波动较小的数据,正常范围放大较小,默认6.0  
  5.  side:检测范围,为'positive'时检测突增,为'negative'时检测突降,为'both'时突增突降都检测  
  6.  min_periods:参考窗中最小个数,小于此个数将会报异常,默认为None,表示每个时间点都得有值  
  7.  原理: 
  8.  该模型用于检测突变情况,相比于PersistAD,其抗抖动能力较强,不容易出现误报  
  1. from adtk.detector import LevelShiftAD  
  2. level_shift_ad = LevelShiftAD(c=6.0, side='both'window=5 
  3. anomalies = level_shift_ad.fit_detect(s) 

  1. adtk.detector.SeasonalAD(freq=Noneside='both'c=3.0, trend=False 
  2. SeasonalAD主要是根据ClassicSeasonalDecomposition来处理,判断。  
  3. 参数:  
  4. freq:季节性周期  
  5. c:越大,对于波动大的数据,正常范围放大较大,对于波动较小的数据,正常范围放大较小,默认6.0  
  6. side:检测范围,为'positive'时检测突增,为'negative'时检测突降,为'both'时突增突降都检测  
  7. trend: 是否考虑趋势      
  1. from adtk.detector import SeasonalAD  
  2.       seasonal_ad = SeasonalAD(c=3.0, side="both" 
  3.       anomalies = seasonal_ad.fit_detect(s)  
  4.       plot(s, anomaly=anomaliests_markersize=1anomaly_color='red'anomaly_tag="marker"anomaly_markersize=2); 

  1. from adtk.pipe import Pipeline  
  2.    steps = [  
  3.        ("deseasonal", ClassicSeasonalDecomposition()),  
  4.        ("quantile_ad", QuantileAD(high=0.995, low=0.005))  
  5.    ] 
  6.    pipeline = Pipeline(steps)  
  7.    anomalies = pipeline.fit_detect(s)  
  8.    plot(s, anomaly=anomaliests_markersize=1anomaly_markersize=2anomaly_tag="marker"anomaly_color='red'); 

6. 总结

本文介绍了时间序列异常检测的无监督算法工具包ADTK。ADTK提供了简单的异常检测算法和时间序列特征加工函数,希望对你有帮助。总结如下:

 

来源:Python中文社区 (ID:python-china)内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯