ネットワーク内のnodes
のegelistとノード自体のvalue
に対応するデータフレームdf1
が次のようにあります。
df
node_i node_j value_i value_j
0 3 4 89 33
1 3 2 89 NaN
2 3 5 89 69
3 0 2 45 NaN
4 0 3 45 89
5 1 2 109 NaN
6 1 8 109 NaN
値がある場合は、value_j
に対応する列w
を追加したいと思います。 value_j
がNaN
の場合、w
の隣接ノードの値の平均としてi
を設定したいと思います。 node_i
に、NaN
の値がw=1
に設定された隣接ノードのみがある場合。
したがって、最終的なデータフレームは次のようになります。
df
node_i node_j value_i value_j w
0 3 4 89 33 33
1 3 2 89 NaN 51 # average of adjacent nodes
2 3 5 89 69 69
3 0 2 45 NaN 89 # average of adjacent nodes
4 0 3 45 89 89
5 1 2 109 NaN 1 # 1
6 1 8 109 NaN 1 # 1
次のようなループを実行していますが、apply
を使用したいと思います。
nodes = pd.unique(df['node_i'])
df['w'] = 0
for i in nodes:
tmp = df[df['node_i'] == i]
avg_w = np.mean(tmp['value_j'])
if np.isnan(avg_w):
df['w'][idx] = 1
else:
tmp.ix[tmp.value_j.isnull(), 'value_j'] = avg_w ## replace NaN with values
df['w'][idx] = tmp['value_j'][idx]
groupby
を使用してこれを行うことができます。
fill_value = df.groupby("node_i")["value_j"].mean().fillna(1.0)
df["w"] = fill_value.reindex(df["node_i"]).values
df["w"][df["value_j"].notnull()] = df["value_j"][df["value_j"].notnull()]
fillna
とffill
を1回使用して、bfill
を平均し、次にfillna
を1
として使用する必要があると思います。
df['w'] = ((df['value_j'].fillna(method='ffill')+df['value_j'].fillna(method='bfill'))/2).fillna(1).astype(int)
df
node_i node_j value_i value_j w
0 3 4 89 33.0 33
1 3 2 89 NaN 51
2 3 5 89 69.0 69
3 0 2 45 NaN 79
4 0 3 45 89.0 89
5 1 2 109 NaN 1
6 1 8 109 NaN 1
更新された回答:
groupby
とtransform
を使用してmean
を検索し、次にfillna
を1
で検索し、np.where
を使用してw
の値を次のように入力できます。
values = df.groupby('node_i')['value_j'].transform('mean').fillna(1)
df['w'] = np.where(df['value_j'].notnull(),df['value_j'],values).astype(int)
df
node_i node_j value_i value_j w
0 3 4 89 33.0 33
1 3 2 89 NaN 51
2 3 5 89 69.0 69
3 0 2 45 NaN 89
4 0 3 45 89.0 89
5 1 2 109 NaN 1
6 1 8 109 NaN 1
i
の「隣接ノード」によって、最終的には同じi
のすべての行にわたるvalue_j
の平均が必要になると思います。
この場合、groupby
transform
をfillna
とともに使用できます。
means = df.groupby('i')['value_j'].transform(np.mean)
# this gives the correct values for w in the rows where value_j is null,
# except when all the adjacent nodes have null value_j (in which case it's still null)
filled_means = means.fillna(1)
# this corrects the last problem
df['w'] = df['value_j'].fillna(filled_means)
# this copies value_j, and fills the null rows with the corresponding rows from filled_means
# and assigns it to the column 'w'
このコードはあなたを助けるかもしれません。確認してお知らせください。
import pandas as pd
import numpy as np
df = pd.DataFrame({
'node_i':[3,3,3,0,0,1,1],
'node_j':[4,2,5,2,3,2,8],
'value_i':[89,89,89,45,45,109,109],
'value_j':[33,np.nan,69,np.nan,89,np.nan,np.nan]
})
wList = []
for index,value in enumerate(df['value_j'].values):
curValueNode_i = df.iloc[index,0]
if not np.isnan(value):
wList.append(value)
else:
checkIfNaNReturns = len(df[(df['node_i']==curValueNode_i) & (df['value_j'].notnull())].iloc[:,3].values)
if (checkIfNaNReturns>0):
meanValue = np.mean(df[(df['node_i']==curValueNode_i) & (df['value_j'].notnull())].iloc[:,3].values)
wList.append(meanValue)
else:
wList.append(1)
df['w'] = wList
print(df)
'''
Output of the code:
node_i node_j value_i value_j w
0 3 4 89 33.0 33.0
1 3 2 89 NaN 51.0
2 3 5 89 69.0 69.0
3 0 2 45 NaN 89.0
4 0 3 45 89.0 89.0
5 1 2 109 NaN 1.0
6 1 8 109 NaN 1.0
'''
最後の行に適用および追加のステートメントを使用
def func(x):
if len(x)==1:
if math.isnan(x[0]):
return 1
else:
return x[0]
Elif not math.isnan(x[1]):
return x[1]
Elif len(x)==2:
return 1
Elif math.isnan(x[0]) or math.isnan(x[2]):
return 1
else:
return (x[0]+x[2])/2
df['Output']=df['value_j'].rolling(window=3, min_periods=0).apply(lambda x: func(x), raw=True).shift(-1)
df['Output'].iloc[-1]=func(list(df['value_j'].tail(2)))
apply
は最速の解決策ではないかもしれませんが、それはあなたの要求なので、次のように進めることができます。
def nan_with_cond(row):
if ~np.isnan(row['value_j']) : return row['value_j']
else: return df.loc[df['node_i'] == row['node_i'], 'value_j'].mean()
df['w'] = df.apply(nan_with_cond , axis=1).fillna(1)
またはapply
のみを使用:
def nan_with_cond(row):
if ~np.isnan(row['value_j']) : return row['value_j']
else:
value = df.loc[df['node_i'] == row['node_i'], 'value_j'].mean()
if np.isnan(value) : return 1
else : return value
df['w'] = df.apply(nan_with_cond , axis=1)