[HADOOP] 어떻게하면 Python / pyspark로 graphx를 실행할 수 있습니까?

어떻게하면 Python / pyspark로 graphx를 실행할 수 있습니까?

spark graphx를 pyspark를 사용하여 Python으로 실행하려고합니다. pyspark 튜토리얼과 (Java) GraphX ​​튜토리얼을 정상적으로 실행할 수 있으므로 설치가 올바르게되었습니다. 아마 GraphX가 Spark의 일부이기 때문에, pyspark는 그것을 인터페이스 할 수 있어야합니다, 맞습니까?

pyspark에 대한 자습서는 다음과 같습니다. http://spark.apache.org/docs/0.9.0/quick-start.html http://spark.apache.org/docs/0.9.0/python-programming-guide.html

다음은 GraphX를위한 것입니다 : http://spark.apache.org/docs/0.9.0/graphx-programming-guide.html http://ampcamp.berkeley.edu/big-data-mini-course/graph-analytics-with-graphx.html

누구든지 GraphX ​​튜토리얼을 파이썬으로 변환 할 수 있습니까?

해결법

1. ==============================

   1.GraphX에 대한 파이썬 바인딩이 적어도 Spark 1.4 1.5 ∞로 지연되는 것 같습니다. Java API를 기다리고 있습니다.

   GraphX에 대한 파이썬 바인딩이 적어도 Spark 1.4 1.5 ∞로 지연되는 것 같습니다. Java API를 기다리고 있습니다.

   GraphX-ASF JIRA 용 SPARK-3789 GRAPHX 파이썬 바인딩에서 상태를 추적 할 수 있습니다.

2. ==============================

   2.GraphFrames (https://github.com/graphframes/graphframes)를 살펴 봐야하는데, GraphF 알고리즘을 DataFrames API로 래핑하고 Python 인터페이스를 제공합니다.

   GraphFrames (https://github.com/graphframes/graphframes)를 살펴 봐야하는데, GraphF 알고리즘을 DataFrames API로 래핑하고 Python 인터페이스를 제공합니다.

   다음은 약간의 수정을 가한 https://graphframes.github.io/graphframes/docs/_site/quick-start.html의 빠른 예입니다.

   먼저 그래프 프레임 pkg가로드 된 pyspark를 시작합니다.

   pyspark - 패키지 그래프 프레임 : 그래프 프레임 : 0.1.0-spark1.6

   파이썬 코드 :

   from graphframes import *
   
   # Create a Vertex DataFrame with unique ID column "id"
   v = sqlContext.createDataFrame([
     ("a", "Alice", 34),
     ("b", "Bob", 36),
     ("c", "Charlie", 30),
   ], ["id", "name", "age"])
   
   # Create an Edge DataFrame with "src" and "dst" columns
   e = sqlContext.createDataFrame([
     ("a", "b", "friend"),
     ("b", "c", "follow"),
     ("c", "b", "follow"),
   ], ["src", "dst", "relationship"])
   # Create a GraphFrame
   g = GraphFrame(v, e)
   
   # Query: Get in-degree of each vertex.
   g.inDegrees.show()
   
   # Query: Count the number of "follow" connections in the graph.
   g.edges.filter("relationship = 'follow'").count()
   
   # Run PageRank algorithm, and show results.
   results = g.pageRank(resetProbability=0.01, maxIter=20)
   results.vertices.select("id", "pagerank").show()
   

3. ==============================

   3.GraphX ​​0.9.0에는 아직 파이썬 API가 없습니다. 곧 출시 될 예정입니다.

   GraphX ​​0.9.0에는 아직 파이썬 API가 없습니다. 곧 출시 될 예정입니다.

from https://stackoverflow.com/questions/23302270/how-do-i-run-graphx-with-python-pyspark by cc-by-sa and MIT license