web-dev-qa-db-ja.com

modulenotfounderror： 'py4j'という名前のモジュールなし

インストールSpark、PysparkモジュールをiPythonにロードする問題に遭遇しています。私は次のエラーが発生しました。

ModuleNotFoundError                       Traceback (most recent call last)
<ipython-input-2-49d7c4e178f8> in <module>
----> 1 import pyspark

/opt/spark/python/pyspark/__init__.py in <module>
     44 
     45 from pyspark.conf import SparkConf
---> 46 from pyspark.context import SparkContext
     47 from pyspark.rdd import RDD
     48 from pyspark.files import SparkFiles

/opt/spark/python/pyspark/context.py in <module>
     27 from tempfile import NamedTemporaryFile
     28 
---> 29 from py4j.protocol import Py4JError
     30 
     31 from pyspark import accumulators

ModuleNotFoundError: No module named 'py4j' _
python-3.xapache-sparkhadooppysparkpy4j
3
Jassim Elakrouch

sparkを直接実行できる場合は、環境変数PYTHONPATHを修正する必要があります。ディレクトリ_$SPARK_HOME/python/lib/_のファイル名を確認してください。 Sparkバージョン2.4.3の場合、ファイルは_py4j-0.10.7-src.Zip_：

_export PYTHONPATH=$SPARK_HOME/python:$SPARK_HOME/python/lib/py4j-0.10.7-src.Zip:$PYTHONPATH
_
4
RayZen