我是Spark Streaming的新手 . 在PyCharm中使用PySpark我无法通过socketTextStream初始化 .
def start_streaming (self):
sp = SparkContext('local[2]', 'streamingTest')
stream = StreamingContext(sp, 1)
**items = stream.socketTextStream('localhost', '9009')**
print(items)
lines = items.flatMap(lambda line : line.split('\n'))
我收到以下错误 . 关于问题是什么的任何想法？
Traceback（最近一次调用最后一次）：文件“/Users/egorkorneev/PycharmProjects/BasicStreaming/SparkConsumer.py”，第75行，在dc.start_streaming（）文件“/Users/egorkorneev/PycharmProjects/BasicStreaming/SparkConsumer.py”中，第40行，在start_streaming items = stream.socketTextStream（'localhost'，'9009'）文件“/Users/egorkorneev/rnd/spark-1.6.1-bin-hadoop2.6/python/pyspark/streaming/context.py” ，第352行，在socketTextStream中返回DStream（self._jssc.socketTextStream（hostname，port，jlevel），self，File“/Library/Frameworks/Python.framework/Versions/3.5/lib/python3.5/site-packages/py4j /java_gateway.py“，第933行，在呼叫回答中，self.gateway_client，self.target_id，self.name）文件”/Library/Frameworks/Python.framework/Versions/3.5/lib/python3.5/site-packages/ py4j / protocol.py“，第316行，采用get_return_value格式（target_id，” . “，名称，值））py4j.protocol.Py4JError：调用o19.socketTextStream时发生错误 . 跟踪：py4j.Py4JException：方法socketTextStream（[类java.lang.String，类java.lang.String，类org.apache.spark.storage.StorageLevel]）在py4j.reflection.ReflectionEngine.getMethod（ReflectionEngine . java：335）py4j.reflection.ReflectionEngine.getMethod（ReflectionEngine.java:344）py4j.Gateway.invoke（Gateway.java:252）py4j的py4j.commands.AbstractCommand.invokeMethod（AbstractCommand.java:133） . 在java.lang.Thread.run（Thread.java:745）的py4j.GatewayConnection.run（GatewayConnection.java:209）上的commands.CallCommand.execute（CallCommand.java:79）
Spark 1.6.1
1 回答
端口号应为整数值 .
items = stream.socketTextStream（'localhost'，9009）