简介:解决Hadoop或hive集群用户名不一样不能读写,配置了用户名不生效的问题。

一、配置用户名

这种情况我们就需要在程序配置用户,通过HADOOP_USER_NAME配置,有两种方法:

1、程序main方法第一行指定用户名:System.setProperty(“HADOOP_USER_NAME”, “bigdata”)

2、spark运行脚本指定:–conf “HADOOP_USER_NAME=bigdata”

注意:程序指定了HADOOP的用户名但不生效,还是出现以下异常。

Exception in thread "main" org.apache.hadoop.security.AccessControlException: Permission denied: user=search, access=WRITE, inode="/hive/warehouse/sss.db/s_user_tmp":bigdata:supergroup:drwxrwxr-x

at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.checkFsPermission(DefaultAuthorizationProvider.java:279)

at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.check(DefaultAuthorizationProvider.java:260)

at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.check(DefaultAuthorizationProvider.java:240)

at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.checkPermission(DefaultAuthorizationProvider.java:162)

at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkPermission(FSPermissionChecker.java:152)

at org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkPermission(FSDirectory.java:3529)

at org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkPermission(FSDirectory.java:3512)

at org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkAncestorAccess(FSDirectory.java:3494)

at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkAncestorAccess(FSNamesystem.java:6599)

at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirsInternal(FSNamesystem.java:4384)

at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirsInt(FSNamesystem.java:4354)

at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirs(FSNamesystem.java:4327)

at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.mkdirs(NameNodeRpcServer.java:873)

......

二、不生效解决办法

原因:项目应该不是打的胖jar,spark在运行程序会先将项目的依赖jar上传到Hadoop,此时直接就使用了本机用户名,导致配置的用户名不生效。

解决办法:pom文件导入fatjar插件,打包,不要提交任何依赖,修改运行脚本,重新执行就OK啦。

org.apache.maven.plugins

maven-shade-plugin

2.4.3

package

shade

*:*

META-INF/*.SF

META-INF/*.DSA

META-INF/*.RSA

此时你又发现有异常信息,不用理会,程序是正常运行的。

出现这个异常的原因:hadoop去运行程序服务器验证用户,结果没有找到这个用户,就出现的异常。

WARN ShellBasedUnixGroupsMapping: unable to return groups for user bigdata

PartialGroupNameException The user name 'bigdata' is not found. id: bigdata: No such user

id: bigdata: No such user

at org.apache.hadoop.security.ShellBasedUnixGroupsMapping.resolvePartialGroupNames(ShellBasedUnixGroupsMapping.j

ava:294)

at org.apache.hadoop.security.ShellBasedUnixGroupsMapping.getUnixGroups(ShellBasedUnixGroupsMapping.java:207)

at org.apache.hadoop.security.ShellBasedUnixGroupsMapping.getGroups(ShellBasedUnixGroupsMapping.java:97)

at org.apache.hadoop.security.JniBasedUnixGroupsMappingWithFallback.getGroups(JniBasedUnixGroupsMappingWithFallb

ack.java:51)

at org.apache.hadoop.security.Groups$GroupCacheLoader.fetchGroupList(Groups.java:387)

at org.apache.hadoop.security.Groups$GroupCacheLoader.load(Groups.java:321)

at org.apache.hadoop.security.Groups$GroupCacheLoader.load(Groups.java:270)

.....

idea直接配置就可以

-DHADOOP_USER_NAME=用户名

查看原文