文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

金钱能让人更快乐吗?手把手教你用机器学习找到答案

2024-12-03 18:06

关注

[[348092]]

泛化的主要方法有两种:基于实例的学习和基于模型的学习。

01 基于实例的学习

我们最司空见惯的学习方法就是简单地死记硬背。如果以这种方式创建一个垃圾邮件过滤器,那么它可能只会标记那些与已被用户标记为垃圾邮件完全相同的邮件—这虽然不是最差的解决方案,但肯定也不是最好的。

除了完全相同的,你还可以通过编程让系统标记与已知的垃圾邮件非常相似的邮件。这里需要两封邮件之间的相似度度量。一种(基本的)相似度度量方式是计算它们之间相同的单词数目。如果一封新邮件与一封已知的垃圾邮件有许多单词相同,系统就可以将其标记为垃圾邮件。

这被称为基于实例的学习:系统用心学习这些示例,然后通过使用相似度度量来比较新实例和已经学习的实例(或它们的子集),从而泛化新实例。例如,图1-15中的新实例会归为三角形,因为大多数最相似的实例属于那一类。

 

 

▲图1-15:基于实例的学习

02 基于模型的学习

从一组示例集中实现泛化的另一种方法是构建这些示例的模型,然后使用该模型进行预测。这称为基于模型的学习(见图1-16)。

 

 

▲图1-16:基于模型的学习

举例来说,假设你想知道金钱是否让人感到快乐,你可以从经合组织(OECD)的网站上下载“幸福指数”的数据,再从国际货币基金组织(IMF)的网站上找到人均GDP的统计数据,将数据并入表格,按照人均GDP排序,你会得到如表1-1所示的摘要。

 

 

表1-1:金钱能让人更快乐吗?

让我们绘制这些国家的数据(见图1-17)。

 

 

▲图1-17:趋势图

这里似乎有一个趋势!虽然数据包含噪声(即部分随机),但是仍然可以看出随着该国人均GDP的增加,生活满意度或多或少呈线性上升的趋势。所以你可以把生活满意度建模成一个关于人均GDP的线性函数。这个过程叫作模型选择。你为生活满意度选择了一个线性模型,该模型只有一个属性,就是人均GDP(见公式1-1)。

公式1-1:一个简单的线性模型

生活满意度= θ0 + θ1×人均GDP

这个模型有两个模型参数:θ0和θ1。通过调整这两个参数,可以用这个模型来代表任意线性函数,如图1-18所示。

 

 

▲图1-18:一些可能的线性模型

在使用模型之前,需要先定义参数θ0和θ1的值。怎么才能知道什么值可以使模型表现最佳呢?要回答这个问题,需要先确定怎么衡量模型的性能表现。要么定义一个效用函数(或适应度函数)来衡量模型有多好,要么定义一个成本函数来衡量模型有多差。

对于线性回归问题,通常的选择是使用成本函数来衡量线性模型的预测与训练实例之间的差距,目的在于尽量使这个差距最小化。

这正是线性回归算法的意义所在:通过你提供的训练样本,找出最符合提供数据的线性模型的参数,这称为训练模型。在这个案例中,算法找到的最优参数值为θ0 = 4.85和θ1 = 4.91×10^(-5)。

注意:令人困惑的是,同一个词“模型”可以指模型的一种类型(例如,线性回归),到一个完全特定的模型架构(例如,有一个输入和一个输出的线性回归),或者到最后可用于预测的训练模型(例如,有一个输入和一个输出的线性回归,使用参数θ0 = 4.85和θ1 = 4.91×10^(-5))。模型选择包括选择模型的类型和完全指定它的架构。训练一个模型意味着运行一种寻找模型参数的算法,使其最适合训练数据(希望能对新的数据做出好的预测)。

现在,(对于线性模型而言)模型基本接近训练数据,如图1-19所示。

 

 

▲图1-19:最拟合训练数据的线性模型

现在终于可以运行模型来进行预测了。例如,你想知道塞浦路斯人有多幸福,但是经合组织的数据没有提供答案。幸好你有这个模型可以做出预测:先查查塞浦路斯的人均GDP是多少,发现是22 587美元,然后应用到模型中,发现生活满意度大约是4.85 + 22 587×4.91×10^(-5) = 5.96。

为了激发你的兴趣,示例1-1是一段加载数据的Python代码,包括准备数据,创建一个可视化的散点图,然后训练线性模型并做出预测。

 

  1. import matplotlib.pyplot as plt 
  2. import numpy as np 
  3. import pandas as pd 
  4. import sklearn.linear_model 
  5.  
  6. Load the data 
  7. oecd_bli = pd.read_csv("oecd_bli_2015.csv", thousands=','
  8. gdp_per_capita = pd.read_csv("gdp_per_capita.csv",thousands=',',delimiter='\t'
  9.                           encoding='latin1', na_values="n/a"
  10.  
  11. Prepare the data 
  12. country_stats = prepare_country_stats(oecd_bli, gdp_per_capita) 
  13. X = np.c_[country_stats["GDP per capita"]] 
  14. y = np.c_[country_stats["Life satisfaction"]] 
  15.  
  16. # Visualize the data 
  17. country_stats.plot(kind='scatter', x="GDP per capita", y='Life satisfaction'
  18. plt.show() 
  19.  
  20. Select a linear model 
  21. model = sklearn.linear_model.LinearRegression() 
  22. # Train the model 
  23. model.fit(X, y) 
  24.  
  25. # Make a prediction for Cyprus 
  26. X_new = [[22587]]  # Cyprus's GDP per capita 
  27. print(model.predict(X_new)) # outputs [[ 5.96242338]] 

 

如果使用基于实例的学习算法,你会发现斯洛文尼亚的人均GDP最接近塞浦路斯(20 732美元),而经合组织的数据告诉我们,斯洛文尼亚人的生活满意度是5.7,因此你很可能会预测塞浦路斯的生活满意度为5.7。

如果稍微拉远一些,看看两个与之最接近的国家——葡萄牙和西班牙的生活满意度分别为5.1和6.5。取这三个数值的平均值,得到5.77,这也非常接近基于模型预测所得的值。这个简单的算法被称为k-近邻回归(在本例中,k = 3)。

要将前面代码中的线性回归模型替换为k-近邻回归模型非常简单,只需要将下面这行代码:

 

  1. import sklearn.linear_model 
  2. model = sklearn.linear_model.LinearRegression() 

 

替换为:

 

  1. import sklearn.neighbors 
  2. model = sklearn.neighbors.KNeighborsRegressor( 
  3.     n_neighbors=3) 

 

如果一切顺利,你的模型将会做出很棒的预测。如果不行,则需要使用更多的属性(例如就业率、健康、空气污染等),获得更多或更高质量的训练数据,或者选择一个更强大的模型(例如,多项式回归模型)。

简而言之:

以上就是一个典型的机器学习项目。

来源:今日头条内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯