pyspark数据需求写一个完整的python脚本

# 1.  import一些常用的库
from pyspark.sql import *
from pyspark.sql.functions import *
from pyspark.sql.types import *
import datetime

# 2. 开启一个session，这个后续写dataframe和sql函数的入口
spark = SparkSession.builder.appName("自定义一个名字").enableHiveSupport().getOrCreate()


# 3.写SQL代码，必须是正确的sql代码

sql = “”“

完整实现的sql代码，这个可以通过hue平台测试

”“”

#4. 将sql语句读入转成dataframe，然后存成csv文件，index表明要不要显示索引列

spark.sql(sql).toPandas().to_csv("文件名.csv", index=False)