AWS Glue開発エンドポイントでSpark SQLを有効化
createOrReplaceTempView などを使う場合はSpark SQLを有効にする必要があるので開発エンドポイント作成時に指定する (Use Glue data catalog as the Hive metastoreをチェックする)。
code:bash
import sys
from pyspark.context import SparkContext
from awsglue.context import GlueContext
from awsglue.transforms import *
glueContext = GlueContext(SparkContext.getOrCreate())
df = glueContext.create_dynamic_frame.from_catalog(database="db_name", table_name="table_name")
df.createOrReplaceTempView("users")
df2 = spark.sql("select * from users")