大数据 hdfs spark Hadoop或hive用户名和本地主机用户名不一样，不能读写

简介：解决Hadoop或hive集群用户名不一样不能读写，配置了用户名不生效的问题。

一、配置用户名

这种情况我们就需要在程序配置用户，通过HADOOP_USER_NAME配置，有两种方法：

1、程序main方法第一行指定用户名：System.setProperty(“HADOOP_USER_NAME”, “bigdata”)

2、spark运行脚本指定：–conf “HADOOP_USER_NAME=bigdata”

注意：程序指定了HADOOP的用户名但不生效，还是出现以下异常。

Exception in thread "main" org.apache.hadoop.security.AccessControlException: Permission denied: user=search, access=WRITE, inode="/hive/warehouse/sss.db/s_user_tmp":bigdata:supergroup:drwxrwxr-x

at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.checkFsPermission(DefaultAuthorizationProvider.java:279)

at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.check(DefaultAuthorizationProvider.java:260)

at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.check(DefaultAuthorizationProvider.java:240)

at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.checkPermission(DefaultAuthorizationProvider.java:162)

at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkPermission(FSPermissionChecker.java:152)

at org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkPermission(FSDirectory.java:3529)

at org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkPermission(FSDirectory.java:3512)

at org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkAncestorAccess(FSDirectory.java:3494)

at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkAncestorAccess(FSNamesystem.java:6599)

at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirsInternal(FSNamesystem.java:4384)

at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirsInt(FSNamesystem.java:4354)

at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirs(FSNamesystem.java:4327)

at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.mkdirs(NameNodeRpcServer.java:873)

......

二、不生效解决办法

原因：项目应该不是打的胖jar，spark在运行程序会先将项目的依赖jar上传到Hadoop，此时直接就使用了本机用户名，导致配置的用户名不生效。

解决办法：pom文件导入fatjar插件，打包，不要提交任何依赖，修改运行脚本，重新执行就OK啦。

org.apache.maven.plugins

maven-shade-plugin

2.4.3

package

shade

*:*

META-INF/*.SF

META-INF/*.DSA

META-INF/*.RSA

此时你又发现有异常信息，不用理会，程序是正常运行的。

出现这个异常的原因：hadoop去运行程序服务器验证用户，结果没有找到这个用户，就出现的异常。

WARN ShellBasedUnixGroupsMapping: unable to return groups for user bigdata

PartialGroupNameException The user name 'bigdata' is not found. id: bigdata: No such user

id: bigdata: No such user

at org.apache.hadoop.security.ShellBasedUnixGroupsMapping.resolvePartialGroupNames(ShellBasedUnixGroupsMapping.j

ava:294)

at org.apache.hadoop.security.ShellBasedUnixGroupsMapping.getUnixGroups(ShellBasedUnixGroupsMapping.java:207)

at org.apache.hadoop.security.ShellBasedUnixGroupsMapping.getGroups(ShellBasedUnixGroupsMapping.java:97)

at org.apache.hadoop.security.JniBasedUnixGroupsMappingWithFallback.getGroups(JniBasedUnixGroupsMappingWithFallb

ack.java:51)

at org.apache.hadoop.security.Groups$GroupCacheLoader.fetchGroupList(Groups.java:387)

at org.apache.hadoop.security.Groups$GroupCacheLoader.load(Groups.java:321)

at org.apache.hadoop.security.Groups$GroupCacheLoader.load(Groups.java:270)

.....

idea直接配置就可以

-DHADOOP_USER_NAME=用户名

查看原文