hive server2源码地址在哪_0510Spark应用访问Hive报错异常分析-程序员宅基地

技术标签： hive查看表中列的信息命令 hive 修改cluster by算法 hive server2源码地址在哪

温馨提示：如果使用电脑查看图片不清晰，可以使用手机打开文章单击文中的图片放大查看高清原图。

Fayson的github：

https://github.com/fayson/cdhproject

提示：代码块部分可以左右滑动查看噢

故障描述

运行环境说明

1.RedHat7.2

2.CM和CDH版本为5.15.0

3.Spark1.6

问题现象

在代码中使用HiveContext对象访问Hive表ods_user(该表为Parquet格式)时发现作业报错，异常如下：

in thread

问题诊断分析

报找不到cdh01.fayson.com主机，Fayson在之前对集群做过几次变更：

集群启用HA前，SparkStreaming作业使用saveAsTable在Hive中保存了ods_user表，可以正常查询及写入数据。
集群启用HA并更新NameNode URL后，Hive和Spark作业依然能够访问ods_user表。
修改集群的hostname，将cdh01.fayson.com主机名修改为cdh1.fayson.com后，Spark作业访问ods_user表失败。

1.检查Spark和Hive的配置文件，在配置文件中均为发现cdh01.fayson.com记录

经过检查集群中Spark和Hive的配置文件，未发现有cdh01.fayson.com的配置信息，排除配置文件导致的问题。

2.检查Spark作业的运行环境，也未发现相应的配置信息

在Spark作业的运行环境中也未找到cdh01.fayson.com相关的配置信息，继续分析。

3.在作业日志中可以看到，Spark访问HiveMetastore服务是成功的

既然可以正常的访问HiveMetastore服务，那再次证明Hive和Spark配置是没有问题的。

4.既然能够正常的访问HiveMetastore服务，Spark服务直接通过访问HiveMetastore服务获取ods_user的元数据信息，推测可能是ods_user表元数据存在问题，查看ods_user表建表语句确认

检查ods_user的建表语句发现，存在配置信息为cdh01.fayson.com的信息，由此推断可能是由于ods_user表中该属性导致。

问题解决

Fayson很清晰的记得在SparkStreaming作业中创建的ods_user表，，并未在建表语句中指定Spark SQL相关的配置参数。通过Spark官网资料找到相关信息(

http://spark.apache.org/docs/1.6.0/sql-programming-guide.html#hive-metastore-parquet-table-conversion

)，Spark在读取和写入Hive Metastore Parquet表时，会尝试使用自己的Parquet支持而不是使用Hive SerDe，从而获取更好的性能。此行为由spark.sql.hive.convertMetastoreParquet参数控制(默认为true)。那如果修改了Hive表的属性或其它外部变更(如：修改NameNode节点hostname，NameNode节点迁移等)均会导致Spark缓存的配置失效，因此这时需要手动的刷新表，以确保元数据信息一致。

1.修改ods_user表中SERDEPROPERTIES中的path属性为NameNode启用HA后的地址，命令如下；

ALTER

可以看到path已修改为最新的HDFS访问地址

2.再次验证可以正常的访问ods_user表的数据

总结

1.Spark在读取和写入Hive Metastore Parquet表时，会尝试使用自己的Parquet支持而不是使用Hive SerDe，从而获取更好的性能。所以在将spark数据写入一个不存在的hive表时会在建表语句中增加spark的一些属性配置。

2.特别要注意集群在未启用HA时使用Spark生成的Hive表，在集群启用HA后可能会到Spark无法访问该表，需要修改SERDEPROPERTIES中path属性。

3.如果只是通过hive或者其他外部方式修改了Hive表的元数据信息，可以通过如下方式刷新Spark缓存的表元数据

new org.apache.spark.sql.hive.HiveContext(sc)

提示：代码块部分可以左右滑动查看噢

为天地立心，为生民立命，为往圣继绝学，为万世开太平。

温馨提示：如果使用电脑查看图片不清晰，可以使用手机打开文章单击文中的图片放大查看高清原图。

推荐关注Hadoop实操，第一时间，分享更多Hadoop干货，欢迎转发和分享。

原创文章，欢迎转载，转载请注明：转载自微信公众号Hadoop实操

本文链接：https://blog.csdn.net/weixin_39927623/article/details/109917517

原作者删帖不实内容删帖广告或垃圾文章投诉

智能推荐

公司综合管理系统详细设计与具体代码实现-程序员宅基地

文章浏览阅读310次，点赞3次，收藏6次。1. 背景介绍1.1 公司管理系统的重要性在当今快节奏的商业环境中，高效的公司管理系统对于确保企业的顺利运营至关重要。随着公司规模的不断扩大和业务复杂度的增加,传统的手工管理方式已经无法满足现代企业的需求。因此,开发一个综合的公司管理系统来集中管理公司的各个方面,如人力资源、财务、项目、客户

基于Hog+SVM实现小狮子的识别_hog+svm小狮子-程序员宅基地

文章浏览阅读275次。1从视频中获取图片安装opencvpip3 install opencv-python# 视频分解成图片# 1 load加载视频 2 读取info 3 解码单帧视频parse 4 展示 imshowimport cv2# 获取一个视频打开capcap = cv2.VideoCapture('1.mp4')# 判断是否打开isOpened = cap.isOpenedprint(isOpened)#帧率fps = cap.get(cv2.CAP_PROP_FPS)#宽度wid_hog+svm小狮子

android的/system/lib/libhwui.so崩溃分析和解决办法-程序员宅基地

文章浏览阅读1.2w次，点赞2次，收藏2次。直接上崩溃日志了：#00 pc 00039518 (null)#01 pc 00022ef9 /system/lib/libhwui.so [armeabi-v7a]#02 pc 00015d7d /system/lib/libhwui.so [armeabi-v7a]#03 pc 0..._libhwui.so

spring ioc原理,IoC与DI-网摘-程序员宅基地

文章浏览阅读42次。首先想说说IoC（Inversion of Control，控制倒转）。这是spring的核心，贯穿始终。所谓IoC，对于spring框架来说，就是由spring来负责控制对象的生命周期和对象间的关系。这是什么意思呢，举个简单的例子，我们是如何找女朋友的？常见的情况是，我们到处去看哪里有长得漂亮身材又好的mm，然后打听她们的兴趣爱好、qq号、电话号、ip号、iq号……...

建模算法（八）——插值-程序员宅基地

文章浏览阅读111次。插值：求过已知有限个数据点的近似函数拟合：已知有限个数据点，求近似函数，不要求过已知数据点，只要求在某种意义下在这些点的误差最小（一）插值方法一、拉格朗日多项式插值 1、插值多项式就是做出一个多项式函数，经过给出的n个节点，并尽可能的接近原函数，将点带入多项式函数得到一个线性方程组当系数矩阵满秩时，有唯一解。而，系数矩阵的行列式为这是..._取 n+1个等距节点做 lagrange 插值近似该函数,画出 latex: n = 4, 7, 10n = 4 , 7

(C# Debug)A first chance exception of type 'System.ArgumentException' occurred in System.Data.dll-程序员宅基地

文章浏览阅读327次。Debug 模式下运行程序的时候，Output 窗口出来个错误“A first chance exception of type 'System.ArgumentException' occurred in System.Data.dll”。但是并没有直接throw错误。无法知道具体在哪一步发生了这个错误。如果想知道具体的内容，需要enable 这个debugIf you do want..._visual studio debug cannot show value 'system.argumentexception