当前位置: 首页 > news >正文

关于spark配置项 和 hive serDe 和 spark serDe

spark.sql.hive.convertMetastoreParquet

hive serde:
    文档:  https://spark.apache.org/docs/latest/configuration.html
    Serde是 Serializer/Deserializer的简写。hive使用Serde进行行对象的序列与反序列化
    参数: spark.sql.hive.convertMetastoreParquet 控制读写parquet的序列化反序列化类.
        true(默认值): 使用(Parquet SerDe)spark-sql内置的parquet的reader和writer(即进行反序列化和序列化),它具有更好地性能
        false: 则代表使用 Hive的序列化方式
    注意:
        如果使用同一个parquet,序列化反序列化需要一致,即读写需要用同一个serde方式.
    其他相关:
        dataframe.saveAsTable("tbName") 并不是创建hive表(hive serde), 而是创建spark(内部)表(spark Parquet serde).
            如果想创建hive (serde)表:
                方法1:  spark.sql("create table ... stored as parquet")
                方法2:  df.insertInto(tableName,OverWrite.Append/Overwrite) //表之前是hive serde
                方法3:  set spark.sql.hive.convertMetastoreParquet=false  df.saveAsTable(...)

    怎么区分hive表是 hive serde还是 spark serde:
        spark serde建立的表结构包含:
            WITH SERDEPROPERTIES (
            'path'='hdfs://hdfsHACluster/user/hive/warehouse/rljl.db/fc_p_face_centro_relation')
 

相关文章:

  • 做机械设计的网站/郴州网站定制
  • 济南网站设计开发/seo关键词推广怎么做
  • 使用Elasticsearch做网站/黄页网站推广效果
  • 网站工程师简历/网站优化排名易下拉效率
  • 成都网站建设麦格思/互联网营销推广渠道
  • teahouse wordpress主题/网络seo软件
  • Linux | 二级页表的虚拟地址是怎么转换的?
  • .m3u8.sqlite文件转mp4,m3u8.sqlite文件转视频工具(开源免费)
  • 计算机毕业设计Java电商项目(源码+系统+mysql数据库+lw文档)
  • webpack使用入门贴
  • 【Linux内核】Linux内核介绍
  • linux关于ssh免密登录、known_hosts文件
  • mongoDB操作文档(全部)
  • 基于SSM的服装商城销售系统(含文档资料)
  • 【力扣·每日一题】1774. 最接近目标价格的甜点成本 (dfs搜索 动态规划 Go)
  • Activiti7工作流(二)
  • [附源码]计算机毕业设计大学生心理测评系统
  • 【spring——命名空间与自动装配】P命名、C命名、Util命名、基于名字自动装配、基于类型自动装配、外部properties文件引入