web-dev-qa-db-ja.com

ウィンドウ関数を適用してpySparkの差を計算する

pySparkを使用しており、次のように1日の資産価格を表す2つの列でデータフレームを設定しています。

_ind = sc.parallelize(range(1,5))
prices = sc.parallelize([33.3,31.1,51.2,21.3])
data = ind.Zip(prices)
df = sqlCtx.createDataFrame(data,["day","price"])
_

df.show()を適用すると取得します：

_+---+-----+
|day|price|
+---+-----+
|  1| 33.3|
|  2| 31.1|
|  3| 51.2|
|  4| 21.3|
+---+-----+
_

それは結構です。価格列の日々のリターンを含む別の列、つまり

_(price(day2)-price(day1))/(price(day1))_

多くの研究の結果、これは_pyspark.sql.window_関数を適用することで最も効率的に達成されると言われましたが、その方法がわかりません。

pysparkspark-dataframewindow-functionspyspark-sql
17
Thomas Moore

lag 関数を使用して前日の列を表示し、2つの列から実際の日々の戻りを行う列を追加できますが、sparkデータを分割する方法、および/またはラグを実行するように命令する方法、次のようなもの：

from pyspark.sql.window import Window
import pyspark.sql.functions as func
from pyspark.sql.functions import lit

dfu = df.withColumn('user', lit('tmoore'))

df_lag = dfu.withColumn('prev_day_price',
                        func.lag(dfu['price'])
                                 .over(Window.partitionBy("user")))

result = df_lag.withColumn('daily_return', 
          (df_lag['price'] - df_lag['prev_day_price']) / df_lag['price'] )

>>> result.show()
+---+-----+-------+--------------+--------------------+
|day|price|   user|prev_day_price|        daily_return|
+---+-----+-------+--------------+--------------------+
|  1| 33.3| tmoore|          null|                null|
|  2| 31.1| tmoore|          33.3|-0.07073954983922816|
|  3| 51.2| tmoore|          31.1|         0.392578125|
|  4| 21.3| tmoore|          51.2|  -1.403755868544601|
+---+-----+-------+--------------+--------------------+

Sparkのウィンドウ関数 への長い紹介です。

33
Oleksiy

ラグ関数は、ユースケースの解決に役立ちます。

from pyspark.sql.window import Window
import pyspark.sql.functions as func

### Defining the window 
Windowspec=Window.orderBy("day")

### Calculating lag of price at each day level
prev_day_price= df.withColumn('prev_day_price',
                        func.lag(dfu['price'])
                                .over(Windowspec))

### Calculating the average                                  
result = prev_day_price.withColumn('daily_return', 
          (prev_day_price['price'] - prev_day_price['prev_day_price']) / 
prev_day_price['price'] )
2
Sushmita Konar