Advertisement
Step8rother

SQL-запросы в датафреймах, задача 1

Jun 29th, 2023
864
0
Never
Not a member of Pastebin yet? Sign Up, it unlocks many cool features!
SQL 0.92 KB | Source Code | 0 0
  1. --Изучите статистические выбросы. В переменной result сохраните результат запроса, который выберет даты с числом заказов такси у терминала №5, расположив их от большего к меньшему. Выведите на экран первые пять строк, используя функцию show.
  2.  
  3. FROM pyspark.SQL import SparkSession
  4.  
  5. APP_NAME = "DataFrames"
  6. SPARK_URL = "local[*]"
  7.  
  8. spark = SparkSession.builder.appName(APP_NAME) \
  9.         .config('spark.ui.showConsoleProgress', 'false') \
  10.         .getOrCreate()
  11.  
  12. taxi = spark.READ.LOAD('/datasets/pickups_terminal_5.csv',
  13.                        format='csv', header='true', inferSchema='true')
  14.  
  15. taxi = taxi.fillna(0)
  16.  
  17. taxi.registerTempTable("taxi")
  18.  
  19. RESULT = spark.SQL("SELECT (*) FROM taxi ORDER BY pickups DESC")
  20. print(RESULT.SHOW(5))
Advertisement
Add Comment
Please, Sign In to add comment
Advertisement