个人GitHub地址: https://github.com/LinMingQiang
为什么要使用Python来写Spark
Python写spark我认为唯一的理由就是:你要做数据挖掘,AI相关的工作。因为很多做数挖的他们的基础语言都是python,他们如果重新学scala比较耗时,而且,python他的强大类库是他的优势,很多算法库只有python有。
Win本地编写代码调试
编辑器:PyCharm
Spark:1.6
Python:2.7
Win环境准备
- Python的安装
解压python包,在环境变量里面配上bin的路径 - Spark的安装
下载spark的bin文件,解压即可,在环境变量配置SPARK_HOME
要可以通过编辑器来安装,如pycharm,查找pyspark库安装即可 - Hadoop安装
安装hadoop环境 。在win下面需要winutils.exe;在环境里面配置HADOOP_HOME 即可
代码示例
# -*- coding: utf-8 -*-
from __future__ import print_function
from pyspark import *
import os
print(os.environ['SPARK_HOME'])
print(os.environ['HADOOP_HOME'])
if __name__ == '__main__':
sc = SparkContext("local[8]")
rdd = sc.parallelize("hello Pyspark world".split(" "))
counts = rdd \
.flatMap(lambda line: line) \
.map(lambda word: (word, 1)) \
.reduceByKey(lambda a, b: a + b) \
.foreach(print)
sc.stop
问题1:
from pyspark import *
找不到pyspark。那你需要把spark的bin包下面的python的所有都拷贝到(可能需要解压py4j)
%PYTHON%\Lib\site-packages下面去。这样,你的编辑器才能找到。
或者:
配置你的编辑器的环境变量:
PYTHONPATH=F:\home\spark-1.6.0-bin-hadoop2.6\python;F:\python2.7\Lib\site-packages
使用spark-submit提交时用到其他类库 –py-files xxxx/xxxx.zip,xxxx.py