その他のアクション

PySparkで学ぶBig Data入門

Upendra Devisetty

Science Analyst, CyVerse

reduce() アクション

  • reduce(func) アクションは通常の RDD の要素を集計します

  • 関数は可換（順序で結果が変わらない）かつ結合的である必要があります

  • PySpark における reduce() の例

x = [1,3,4,6]
RDD = sc.parallelize(x)
RDD.reduce(lambda x, y : x + y)

14
PySparkで学ぶBig Data入門

saveAsTextFile() アクション

  • saveAsTextFile() は RDD をディレクトリ内のテキストファイル群として保存し、各パーティションを別ファイルにします
RDD.saveAsTextFile("tempFile")
  • 単一のテキストファイルにするには coalesce() を使用します
RDD.coalesce(1).saveAsTextFile("tempFile")
PySparkで学ぶBig Data入門

ペア RDD のアクション操作

  • PySpark のペア RDD 用アクション

  • ペア RDD アクションはキーと値を活用します

  • 例

    • countByKey()

    • collectAsMap()

PySparkで学ぶBig Data入門

countByKey() アクション

  • countByKey() は型 (K, V) のみで利用可能

  • countByKey() は各キーの要素数を数えます

  • 簡単なリストでの countByKey() 例

rdd = sc.parallelize([("a", 1), ("b", 1), ("a", 1)])
for kee, val in rdd.countByKey().items():
  print(kee, val)

('a', 2)
('b', 1)
PySparkで学ぶBig Data入門

collectAsMap() アクション

  • collectAsMap() は RDD のキーと値を辞書で返します

  • 簡単なタプルでの collectAsMap() 例

sc.parallelize([(1, 2), (3, 4)]).collectAsMap()

{1: 2, 3: 4}
PySparkで学ぶBig Data入門

演習に進みましょう

PySparkで学ぶBig Data入門

Preparing Video For Download...