Advertisement
Not a member of Pastebin yet?
Sign Up,
it unlocks many cool features!
- --Сгруппируйте записи по месяцам. По каждому месяцу рассчитайте среднее количество заказов.
- Напечатайте на экране таблицу с месяцами и средним количеством заказов по убыванию.
- FROM pyspark.SQL import SparkSession
- APP_NAME = "DataFrames"
- SPARK_URL = "local[*]"
- spark = SparkSession.builder.appName(APP_NAME) \
- .config('spark.ui.showConsoleProgress', 'false') \
- .getOrCreate()
- taxi = spark.READ.LOAD('/datasets/pickups_terminal_5.csv',
- format='csv', header='true', inferSchema='true')
- taxi = taxi.fillna(0)
- taxi.registerTempTable("taxi")
- print(spark.SQL('SELECT EXTRACT(month FROM date), AVG(pickups) FROM taxi \
- GROUP BY EXTRACT(month FROM date) ORDER BY AVG(pickups) DESC').SHOW())
Advertisement
Add Comment
Please, Sign In to add comment
Advertisement