Advertisement
Step8rother

Обработка пропущенных значений, задача 1

Jun 29th, 2023
654
0
Never
Not a member of Pastebin yet? Sign Up, it unlocks many cool features!
SQL 0.63 KB | Source Code | 0 0
  1. --Удалите из датафрейма пропущенные значения. Затем напечатайте на экране количество строк в датафрейме.
  2.  
  3. import numpy AS np
  4. import pandas AS pd
  5. FROM pyspark.SQL import SparkSession
  6.  
  7. APP_NAME = "DataFrames"
  8. SPARK_URL = "local[*]"
  9.  
  10. spark = SparkSession.builder.appName(APP_NAME) \
  11.         .config('spark.ui.showConsoleProgress', 'false') \
  12.         .getOrCreate()
  13.  
  14. taxi = spark.READ.LOAD('/datasets/pickups_terminal_5.csv',
  15.                        format='csv', header='true', inferSchema='true')
  16.  
  17. taxi = taxi.dropna()
  18. print(taxi.COUNT())
Advertisement
Add Comment
Please, Sign In to add comment
Advertisement