文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

怎么在Docker中运行Jupyter/Spark/Mesos服务

2023-06-19 10:17

关注

本篇内容介绍了“怎么在Docker中运行Jupyter/Spark/Mesos服务”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!

在Docker中运行Jupyter/Spark/Mesos服务。

Spark on Docker,基于Jupyter Notebook Python, Scala, R, Spark, Mesos技术栈,提供一个远程操作的模型和任务编写Web界面,采用Python界著名的Ipython Notebook格式,非常简洁、友好。

集成的软件

使用方法

使用下面的命令启动一个容器,Web服务在端口 8888,为配置授权(仅限私网内使用,不要配置在互联网和其他公共网上)。

docker run -d -p 8888:8888 jupyter/all-spark-notebook

一般情况下,需要访问宿主机中的数据资源,使用-v host-path:docker-path方式映射。

启动后在浏览器输入: http://127.0.0.1:8888即可访问。

启动Spark:Local Mode

使用Spark在小型的本地数据环境下的配置。

在Python Notebook:

  1. 运行一个容器,像上面那样。

  2. 打开一个Python 2 或 3 notebook。

  3. 创建 SparkContext在 local 模式。

例如,在notebook的第一个cell中,如下:

import pysparksc = pyspark.SparkContext('local[*]')# do something to prove it worksrdd = sc.parallelize(range(1000))rdd.takeSample(False, 5)

在 R Notebook:

  1. 运行一个容器,像上面那样。

  2. 打开一个 R notebook。

  3. 初始化 sparkR,在local模式。

  4. 初始化 sparkRSQL

例如,在 R notebook的第一个cell中,如下:

library(SparkR)sc <- sparkR.init("local[*]")sqlContext <- sparkRSQL.init(sc)# do something to prove it worksdata(iris)df <- createDataFrame(sqlContext, iris)head(filter(df, df$Petal_Width > 0.2))

在Apache Toree (Scala) Notebook:

  1. 运行一个容器,像上面那样。

  2. 打开一个 Apache Toree (Scala) notebook。

  3. 使用预先配置的SparkContext,引用变量 sc

例如:

val rdd = sc.parallelize(0 to 999)rdd.takeSample(false, 5)

连接到Mesos上的 Spark 集群

这里的配置允许你的计算集群和数据一起伸缩。

  1. 部署 Spark 到 Mesos。

  2. 配置每一个工作节点  the --no-switch_user flag 或者创建jovyan用户在每一个 slave节点上。

  3. 运行Docker容器,带参数 --net=host 在所有的Spark Workers都能访问的网络位置(查看 Spark networking requirement.)

    • 注意: When using --net=host, you must also use the flags --pid=host -e TINI_SUBREAPER=true. See 

  4. Follow the language specific instructions below.

In a Python Notebook

  1. 打开 Python 2 或 3 notebook.

  2. 创建 SparkConf 实例,指向 Mesos master node (or Zookeeper instance) 和 Spark 二进制包的位置。

  3. 创建 SparkContext 采用上面的配置变量。

示例, Python 3 notebook的第一个Cell像下面这样:

import os# make sure pyspark tells workers to use python3 not 2 if both are installedos.environ['PYSPARK_PYTHON'] = '/usr/bin/python3'import pysparkconf = pyspark.SparkConf()# point to mesos master or zookeeper entry (e.g., zk://10.10.10.10:2181/mesos)conf.setMaster("mesos://10.10.10.10:5050")# point to spark binary package in HDFS or on local filesystem on all slave# nodes (e.g., file:///opt/spark/spark-1.6.0-bin-hadoop2.6.tgz)conf.set("spark.executor.uri", "hdfs://10.10.10.10/spark/spark-1.6.0-bin-hadoop2.6.tgz")# set other options as desiredconf.set("spark.executor.memory", "8g")conf.set("spark.core.connection.ack.wait.timeout", "1200")# create the contextsc = pyspark.SparkContext(conf=conf)# do something to prove it worksrdd = sc.parallelize(range(100000000))rdd.sumApprox(3)

如果使用在notebook和workers中使用Python 2, 修改环境变量PYSPARK_PYTHON 指向Python 2.x 解释器二进制包的位置。如果不设置, 缺省值为 python

当然, 所有的可以被隐藏在 IPython kernel startup script, 但是 "explicit is better than implicit." :)

在 R Notebook

  1. 如上的方法运行一个容器实例。

  2. 打开一个 R notebook。

  3. 初始化 sparkR ,指向Mesos master node (or Zookeeper instance) , Spark 二进制包位置。

  4. 初始化 sparkRSQL.

示例, 在 R notebook的第一个Cell:

library(SparkR)# point to mesos master or zookeeper entry (e.g., zk://10.10.10.10:2181/mesos)\# as the first argument# point to spark binary package in HDFS or on local filesystem on all slave# nodes (e.g., file:///opt/spark/spark-1.6.0-bin-hadoop2.6.tgz) in sparkEnvir# set other options in sparkEnvirsc <- sparkR.init("mesos://10.10.10.10:5050", sparkEnvir=list(    spark.executor.uri="hdfs://10.10.10.10/spark/spark-1.6.0-bin-hadoop2.6.tgz",    spark.executor.memory="8g"    ))sqlContext <- sparkRSQL.init(sc)# do something to prove it worksdata(iris)df <- createDataFrame(sqlContext, iris)head(filter(df, df$Petal_Width > 0.2))

在Apache Toree (Scala) Notebook

  1. 打开一个终端,通过 New -> Terminal 在notebook 界面上。

  2. 添加关于集群的信息到 SPARK_OPTS 环境变量,当运行容器时.

  3. 打开一个Apache Toree (Scala) notebook。

  4. 使用预先配置的SparkContext,在变量名 sc中。

Apache Toree 内核自动创建了SparkContext,在启动时按照命令行参数和环境变量创建。 您可以传递关于你的 Mesos cluster的信息,当启动容器时通过 SPARK_OPTS 环境变量来实现。

例如, 传递的信息:Mesos master, Spark binary location in HDFS, and an executor options, 像下面这样启动容器:

docker run -d -p 8888:8888 -e SPARK_OPTS '--master=mesos://10.10.10.10:5050 \ --spark.executor.uri=hdfs://10.10.10.10/spark/spark-1.6.0-bin-hadoop2.6.tgz \ --spark.executor.memory=8g' jupyter/all-spark-notebook

注意,这跟上面在Python notebook的信息时一样的。 一旦内核得到集群的信息, 你可以在Apache Toree notebook测试集群,像下面这样:

// should print the value of --master in the kernel specprintln(sc.master)// do something to prove it worksval rdd = sc.parallelize(0 to 99999999)rdd.sum()

Standalone Mode连接到Spark Cluster

通过Standalone Mode连接到 Spark Cluster要求的设置如下:

  1. 确认docker image (检查 Dockerfile) 和Spark Cluster被部署、运行的是Spark的同一个版本。

  2. Deploy Spark on Standalone Mode.

  3. 运行Docker container 带参数 --net=host 在Spark workers都能访问到的网络位置. (查看 Spark networking requirement.)

    • 注意: 当使用 --net=host, 必须同时使用 --pid=host -e TINI_SUBREAPER=true. 查看详情: https://github.com/jupyter/docker-stacks/issues/64 。

  4. 特殊语言的指令与上面Mesos里提到的完全一样, 只是这里的master url 变成类似于这样: spark://10.10.10.10:7077

Notebook 选项

你可以传入 Jupyter command line options ,通过 start-notebook.sh command,在容器启动时设置参数。例如,设置notebook server 基础URL,想下面这样:

docker run -d -p 8888:8888 jupyter/all-spark-notebook start-notebook.sh --NotebookApp.base_url=/some/path

你可以绕开 start-notebook.sh脚本,直接在命令中指定。如果这样, 下面提到的NB_UIDGRANT_SUDO 特征将不能工作。具体细节查看Docker Options一节。

Docker Options

你可以定制Docker容器和Notebook Server的执行,通过制定下面的参数:

SSL 证书

在这个Docker镜像中notebook server的配置需要一个 notebook.pem 文件,该文件包含base64编码的SSL key和SSL 证书。 该文件还包含其他的证书 (e.g., intermediate 和 root certificates)。

如果你的 key 和 certificate(s) 作为独立的文件, 你需要将它们合并成一个 PEM 文件。 作为可选的方式, 你可以创建自己的配置和 Docker镜像,可以使用分开的 key 和 certificate 文件。

更多的使用SSL的信息, 参见下面:

Conda 环境设置

缺省的Python 3.x Conda 运行环境 安装在 /opt/conda目录下。第二个Python 2.x Conda 环境安装在 /opt/conda/envs/python2目录下。你可以切换到 python2 环境 ,在shell里面键入命令(这是通用的conda环境切换方法,使用conda create可以创建更多的环境):

source activate python2

你可以回到缺省的环境,在shell里键入下面的命令:

source deactivate

命令 jupyter, ipython, python, pip, easy_install, 和 conda (以及其它) 在两个环境下都是可用的。通常,你可以安装软件到两个环境中,无论哪一个环境是激活的,像下面这样(注意:conda install使用了-n参数指定环境的名称):

# install a package into the python2 environmentpip2 install some-packageconda install -n python2 some-package# install a package into the default (python 3.x) environmentpip3 install some-packageconda install -n python3 some-package

JupyterHub

JupyterHub 要求每一个用户有一个Jupyter Notebook server的single-user实例。为了使用 JupyterHub 和 DockerSpawner,在本技术栈中,你需要指定容器镜像名称和覆盖缺省的容器run命令,在 jupyterhub_config.py 文件中指定:

# Spawn user containers from this imagec.DockerSpawner.container_image = 'jupyter/all-spark-notebook'# Have the Spawner override the Docker run commandc.DockerSpawner.extra_create_kwargs.update({    'command': '/usr/local/bin/start-singleuser.sh'})

“怎么在Docker中运行Jupyter/Spark/Mesos服务”的内容就介绍到这里了,感谢大家的阅读。如果想了解更多行业相关的知识可以关注编程网网站,小编将为大家输出更多高质量的实用文章!

阅读原文内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯