Spark Dataframe？の列数をカウントする方法は？

Question

私はこのデータフレームをSparkで利用可能列の数を数えたい。列の行数を数える方法は知っているが、列数を数えたい。

val df1 = Seq(
    ("spark", "scala",  "2015-10-14", 10,"rahul"),
    ("spark", "scala", "2015-10-15", 11,"abhishek"),
    ("spark", "scala", "2015-10-16", 12,"Jay"),
    ("spark","scala",null,13,"Kiran"))
  .toDF("bu_name","client_name","date","patient_id","paitent _name")
df1.show

このデータフレームの列数をカウントする方法を教えてもらえますか？ Scala言語を使用しています。

Answer 1

列の数を数えるには、次のようにします：

df1.columns.size

Answer 2

Pythonでは、次のコードが私のために働いた：

print(len(df.columns))

Answer 3

可変インデックス付きシーケンスの長さも機能します。

df.columns.length

Answer 4

data.columnsは、列タイトルのリストにアクセスします。あなたがしなければならないのは、リスト内のアイテムの数を数えることだけです。そう

len(df1.columns)

works単一の変数でデータ全体を取得するには、次のようにします。

rows = df.count()
columns = len(df.columns)
size = (rows, columns)
print(size)

Answer 5

pysparkでは、result.select("your column").count()

Answer 6

Spark dataFrameの列をカウントするには：

len(df1.columns)

また、dataFrameの行数をカウントするには：

df1.count()