PySpark：特定の列のデータフレームの値を埋める方法は？

Question

次のサンプルDataFrameがあります。

a    | b    | c   | 

1    | 2    | 4   |
0    | null | null| 
null | 3    | 4   |

そして、私は最初の2列-列 "a"と "b"のヌル値のみを置き換えたい：

a    | b    | c   | 

1    | 2    | 4   |
0    | 0    | null| 
0    | 3    | 4   |

サンプルデータフレームを作成するコードは次のとおりです。

rdd = sc.parallelize([(1,2,4), (0,None,None), (None,3,4)])
df2 = sqlContext.createDataFrame(rdd, ["a", "b", "c"])

私はすべてを使用してすべてのヌル値を置き換える方法を知っています：

df2 = df2.fillna(0)

そして、これを試してみると、3番目の列が失われます。

df2 = df2.select(df2.columns[0:1]).fillna(0)

Answer 1

df.fillna(0, subset=['a', 'b'])

sparkバージョンが1.3.1より低い場合を除き、列を選択するsubsetという名前のパラメーターがあります

Answer 2

辞書を使用して、特定の列の値を入力します。

df.fillna( { 'a':0, 'b':0 } )