文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

关于如何使用机器学习来做异常检测的7个问题

2024-12-11 18:41

关注

异常检测的一些入门问题。

 

 

问问题是学习的好方法之一。但有时你不知道从哪里开始,或者该问什么 —— 尤其是在你还比较熟悉的异常检测之类的话题上。在这种情况下,最好倾听别人的问题,让他们的思路来指导你的学习。以下是我们在“[Ask Me Anything: Anomaly Detection](https://www.tibco.com/events/ask-me- anything-webinar-anomaly-detecing-machine -learning)”网络研讨会上收到的一些问题,可以帮助你入门。

离群点和异常值的区别是什么?

离群值是远离分布的位置或者平均值的观测值。然而,它们并不一定代表异常行为或由不同过程产生的行为。另一方面,异常是由不同的过程生成的数据模式。

异常检测在药品中有什么应用吗?

异常检测在药物生命科学领域有许多应用。包括在制药生产中使用统计过程控制(SPC)或质量控制(QC)和多元过程控制(MSPC)图表进行过程监控和质量控制。及时发现异常是避免异常事件发生,遵守安全标准的关键。发现柜台交易中的异常情况,可以用来打击医药零售数据中的处方滥用。实时检测多参数临床试验数据中的异常,有助于保证临床试验的成功。

GANs也用于异常检测吗?如果是的话,能否提供一个行业用例

生成对抗网络(GANs)是一种新的无监督学习方法,在识别异常方面非常有效。由于GANs是设计成迭代的,并且对抗性训练的目的是利用重构样本来优化减少残差损失,因此它们在半结构化和非结构化数据中工作得很好。它们在医学图像分析(帮助放射学家发现难以识别的肿瘤)、面部识别、文本图像转换等方面非常有用。

数据相关性会影响异常检测吗?我们可以用什么方法,怎样减少这些影响?是否最好在开始异常检测之前清除和删除关联数据?

正如在网络研讨会上提到的,我们不认为相关性会影响异常检测,但我们有许多可用的技术来帮助确定如何处理相关变量。一个建议是使用主成分分析(PCA)这样的技术来减少维数。

建议使用什么样的算法适合于检测与识别网络活动或数据中的不寻常活动有关的异常?

正如在网络研讨会上提到的,有许多方法和算法可以很好地用于异常检测的各种应用和用例。其中有递归神经网络(RNN)、生成对抗网络(GAN)、隔离森林、深度自编码器等。如果你对网络/图分析特别感兴趣,用来识别网络图异常的两种主要方法是直接邻居离群点检测算法(DNODA)和社区邻居算法(CNA)。

在我目前的工作中,“新颖性”是我们努力去发现的主要东西。质量控制图对于已知的模式很有效,但是自动识别新模式比较困难。我希望能得到一些在这方面有所帮助的工具的想法。

对于单变量质量控制图,西方的电气规则可以用于检测少数常见的模式。经典的多元方法,如偏最小二乘(PLS),会捕获到涉及不止一个变量的模式,但不能被单变量方法检测。自动编码器是最全面的工具,将涵盖最广泛的不同模式。它可以捕获多变量、循环、非线性和交互的模式。你使用一组正常数据训练autoencoder,在训练集中没有出现的新数据中出现的任何模式都将被标记。

通过做PCA来减少维度会影响数据集中的异常吗?它会导致异常现象的消失吗?如果是这样,如何预防呢?

做PCA将会在原始数据集中捕获一些百分比的方差。因此,我们使用PCA进行异常检测的方法是计算原始点到低维空间中表示的点的“距离”。距离越大(即在将观测结果映射到低维空间时“丢失”的越多),我们就越认为它是一种异常。

来源:今日头条内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯