本文目录一览：
如何将Pyspark导入Python
1、启动Spark应用程序：通过设置PYSPARK_PYTHON环境变量来使用自己打包的Python环境启动Spark应用程序。
2、打开命令行，输入以下命令安装NumPy：pipinstallnumpy 输入以下命令安装pandas：pipinstallpandas 输入以下命令安装Matplotlib：pipinstallmatplotlib 数据导入 在进行数据分析之前，我们需要先将数据导入到Python中。
3、将上面的程序放入test.py文件，执行命令python test.py。发现错误。因为没有将pyspark路径加入PYTHONPATH环境变量。
4、Python库的导入 import A 为最简单的引入对应的包。
5、在 PyCharm 中导入文件夹的方法如下：打开 PyCharm，点击左上角的“File”菜单，选择“New”，再选择“Directory”。在弹出的“New Directory”对话框中，输入文件夹名称，并选择文件夹所在的位置。然后点击“OK”按钮。
怎么自己打包python环境给spark使用
：IDEA的安装 官网jetbrains.com下载IntelliJ IDEA，有Community Editions 和& Ultimate Editions，前者免费，用户可以选择合适的版本使用。
/usr/local/Spark/bin/pyspark默认打开的是Python，而不是ipython。通过在pyspark文件中添加一行，来使用ipython打开。
执行python脚本只需要对python文件做如下操作即可： 在python文件里第一行加上#！ /usr/bin/python，即你的python解释器所在的目录。
如何在ipython或python中使用Spark
1、确定Python环境：确定要使用的Python版本，并在本地安装相应版本的Python。 安装所需的Python库：根据需要，使用pip命令安装需要的Python库。
2、Spark脚本提交/运行/部署1spark-shell（交互窗口模式）运行Spark-shell需要指向申请资源的standalonespark集群信息，其参数为MASTER，还可以指定executor及driver的内存大小。
3、最后的PhysicalPlan execution阶段用Spark代替Hadoop MapReduce。通过配置Shark参数，Shark可以自动在内存中缓存特定的RDD，实现数据重用，进而加快特定数据集的检索。
4、问题ImportError： No module named pyspark 现象：已经安装配置好了PySpark，可以打开PySpark交互式界面；在Python里找不到pysaprk。