Reusable Utils & Code Snippets

1. Spark

a.Write data to console

(df.write
    .format("console")
    .option("truncate", False)
    .save())

2. Spark-SQL

a. Show info of table in database

spark.read.table("spark_catalog.bronze.reddit_submission").show()

spark.read.table("spark_catalog.bronze.reddit_submission").printSchema()

spark.read.table("spark_catalog.bronze.reddit_submission").count()

val df = spark.read.table("spark_catalog.bronze.reddit_submission")
df.columns.length

spark.sql("DESCRIBE FORMATTED spark_catalog.bronze.reddit_submission").show(200, false)

3. Spark-Warn-Error

sc = SparkContext("local[2]", "HashtagCountApp")
sc.setLogLevel("ERROR")   # tắt WARN và INFO, chỉ giữ ERROR

chỉ hiển thị log ở mức ERROR trở lên, còn tất cả log mức WARN và INFO sẽ bị ẩn đi.

• INFO → chi tiết quá trình (nhiều dòng thừa).
• WARN → cảnh báo (không phải lỗi, nhưng vẫn in ra).
• ERROR → chỉ in lỗi thật sự.