Advertisement
Step8rother

Создание датафреймов, задача 3

Jun 29th, 2023
637
0
Never
1
Not a member of Pastebin yet? Sign Up, it unlocks many cool features!
SQL 0.81 KB | Source Code | 0 0
  1. --Выберите из датафрейма только столбцы с датами, часами и минутами в указанном порядке. Выбор подмножества столбцов выполняется так же, как в Pandas.
  2. --Напечатайте на экране пять строк получившейся таблицы.
  3.  
  4. import numpy AS np
  5. import pandas AS pd
  6. FROM pyspark.SQL import SparkSession
  7.  
  8. APP_NAME = "DataFrames"
  9. SPARK_URL = "local[*]"
  10.  
  11. spark = SparkSession.builder.appName(APP_NAME) \
  12.         .config('spark.ui.showConsoleProgress', 'false') \
  13.         .getOrCreate()
  14.  
  15. taxi = spark.READ.LOAD('/datasets/pickups_terminal_5.csv',
  16.                        format='csv', header='true', inferSchema='true')
  17.  
  18. print(taxi[['date', 'hour','minute']].SHOW(5))
Advertisement
Comments
  • t7235
    1 year
    # text 0.14 KB | 0 0
    1. можно и так
    2.  
    3. selected_columns = ['date', 'hour', 'minute']
    4. selected_taxi = taxi.select(selected_columns)
    5. selected_taxi.show(5)
Add Comment
Please, Sign In to add comment
Advertisement