Advertisement
Step8rother

Создание датафреймов, задача 1

Jun 29th, 2023 (edited)
775
0
Never
Not a member of Pastebin yet? Sign Up, it unlocks many cool features!
SQL 0.66 KB | Source Code | 0 0
  1. --Загрузите датафрейм из файла /datasets/pickups_terminal_5.csv. Посмотрите в документации, как работает функция show(). Напечайте на экране пять строк из датафрейма.
  2.  
  3. import numpy AS np
  4. import pandas AS pd
  5. FROM pyspark.SQL import SparkSession
  6.  
  7. APP_NAME = "DataFrames"
  8. SPARK_URL = "local[*]"
  9.  
  10. spark = SparkSession.builder.appName(APP_NAME) \
  11.         .config('spark.ui.showConsoleProgress', 'false') \
  12.         .getOrCreate()
  13.  
  14. taxi = spark.READ.LOAD('/datasets/pickups_terminal_5.csv', format='csv', header='true', inferSchema='true')
  15.  
  16. print(taxi.SHOW(5))
Advertisement
Add Comment
Please, Sign In to add comment
Advertisement