2017年1月26日木曜日

HDP 2.5.3でBeelineがKnox経由でこまめに接続できない

hiveserver2.logを見ると、下記のようなエラーが:

ERROR [HiveServer2-HttpHandler-Pool: Thread-xxxx]: thrift.ThriftHttpServlet (ThriftHttpServlet.java:doPost(209)) - Error: 
org.apache.hive.service.auth.HttpAuthenticationException: java.lang.reflect.UndeclaredThrowableException 
at org.apache.hive.service.cli.thrift.ThriftHttpServlet.doKerberosAuth(ThriftHttpServlet.java:407) 
...
at java.lang.Thread.run(Thread.java:745) 
Caused by: java.lang.reflect.UndeclaredThrowableException 
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1742) 
at org.apache.hive.service.cli.thrift.ThriftHttpServlet.doKerberosAuth(ThriftHttpServlet.java:404) 
... 23 more 
Caused by: org.apache.hive.service.auth.HttpAuthenticationException: Authorization header received from the client is empty. 
at org.apache.hive.service.cli.thrift.ThriftHttpServlet.getAuthHeader(ThriftHttpServlet.java:548) 
at org.apache.hive.service.cli.thrift.ThriftHttpServlet.access$100(ThriftHttpServlet.java:74) 
at org.apache.hive.service.cli.thrift.ThriftHttpServlet$HttpKerberosServerAction.run(ThriftHttpServlet.java:449) 
at org.apache.hive.service.cli.thrift.ThriftHttpServlet$HttpKerberosServerAction.run(ThriftHttpServlet.java:412) 
at java.security.AccessController.doPrivileged(Native Method) 
at javax.security.auth.Subject.doAs(Subject.java:422) 
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1724)


HDP2.5.0のKnoxはhttpclient-4.5.2.jarを使っていたため同様のERRORが発生する場合がありましたが、2.5.3では直っているはず!

[root@node7 ~]# lsof -nPp `cat /var/run/knox/gateway.pid` | grep httpclient
java    6637 knox  mem    REG              252,2   736658   1713656 /usr/hdp/2.5.3.0-37/knox/ext/ranger-knox-plugin-impl/httpclient-4.5.2.jar
java    6637 knox  mem    REG              252,2   732765   1713763 /usr/hdp/2.5.3.0-37/knox/dep/httpclient-4.5.1.jar
java    6637 knox  mem    REG              252,2   150895   1713764 /usr/hdp/2.5.3.0-37/knox/dep/httpclient-cache-4.3.6.jar
java    6637 knox  179r   REG              252,2   150895   1713764 /usr/hdp/2.5.3.0-37/knox/dep/httpclient-cache-4.3.6.jar
java    6637 knox  192r   REG              252,2   732765   1713763 /usr/hdp/2.5.3.0-37/knox/dep/httpclient-4.5.1.jar
java    6637 knox  255r   REG              252,2   736658   1713656 /usr/hdp/2.5.3.0-37/knox/ext/ranger-knox-plugin-impl/httpclient-4.5.2.jar

Ranger!!!
Knoxのプラグインを止めるか、このjarを4.5.1.jarで置き換えると、今のところエラーなし。

0 件のコメント:

コメントを投稿