新闻资讯
你的位置：浙江鑫港进出口有限公司 > 新闻资讯 >
且显示设备唯有在经过 kdc 考证赢得 ticket 后
发布日期：2024-05-02 09:16 点击次数：130
环球好，我是明哥!
首页-盛 盈依棉类有限公司本片博文，共享下 HIVE 常见的三种 AUTHENTICATION 认证机制，包括其建立与使用。
山东省潍坊市进出口有限公司 1 数据安全空洞数据在企业中看成具有策略道理的紧要钞票，其安全性受到了越来越高的疼爱，任何容貌的误删除，误修改，越权使用，失慎露馅等，齐是首要的安全事件。为了保护数据安全，各企业齐实施了严格的数据使用范例和准则，也期骗了多样数据安全工夫，确保数据的安全使用。
在工夫层面，安全有个 3A+1E 的见解，3A+1E 涵盖了安全的方方面面，3A 即 Authentication 认证，Authorization 鉴权，和Audit 审计;1 E 即 Encrption 加密：
其中 Authentication 责罚的是身份认证的问题，普通的来说即是验明真身，诠释用户确乎是他宣称的身份而不是由由其它身份伪装而来; Authorization 责罚的是权限考证问题，即实践某个具体操作前，说明该用户确乎有实践该操作的权限，而不是越权行事; Audit 责罚的是审计问题，是在过后按时稽查安全相关操作记载，从而进一措施整安全策略的基础; Encrption 责罚的是加密与解密问题，分为静态数据的加解密与数据传输经过中的加解密。通过加解密，数据即使被截获了也不会变成安全事故。针对某一个用户的某一次数据操作来看，Authentication是预先的安全措施，Authorization 是事中的安全措施，Audit是过后的安全措施。三者联动，本事确保果真的安全。这三者之中，Authentication是基础，因为要是不可诠释用户身份，一切齐无从说念起;而Authorization 是中枢和主题，亦然具体业务系统结束时环球更良善的处所。
2 HIVE 的 AUTHENTICATION 认证机制空洞具体到大数据组件 Hive，其复旧的客户端的 authentication 认证机制，需要通过工作端参数 hive.server2.authentication 来建立，可建立的值有多种，见下图官网截图：
在推行期骗中，环球经常使用的有以下三种：
NONE：即不作念身份校验; LDAP: 使用基于 LDAP/AD 的用户身份校验; KERBEROS: 使用 Kerberos/GSSAPI 作念身份校验;客户端，无论是 beeline 等专用 cli 客户端，仍是 dbeaver 等通用 jdbc gui 客户端，抑或 JAVA 期骗(基于jdbc)，齐需要根据工作端建立的认证方法，使用对应的方法，进行认证后本事告捷连上 hiveserver2，进而提交查询高歌。
3 HIVE 常见的三种 AUTHENTICATION 认证机制的期骗场景和建立方法3.1 hive.server2.authentication = none
当不需要对用户身份进行校验，不错建立 hive.server2.authentication = none， 这种境况经常用在测试环境，出产环境一般不保举; 此时用户通过多样客户端如 cli/gui/java 登录时，不错不建立用户名和密码， 在工作端 Hive 会以为登录的是匿名用户 anonymous，如：如：beeline -u jdbc:hive2://xx.xx.xx.xx:10000/default 此时用户通过多样客户端如 cli/gui/java 登录时，也不错建立为纵脱用户名和纵脱密码，在工作端 Hive 会以为登录的是用户声明的纵脱用户(用户名不错是纵脱用户名，以致是不存在的用户名;密码不错是纵脱密码，或不建立密码)，如：beeline -u jdbc:hive2://xx.xx.xx.xx:10000/default -n xyz;beeline -u jdbc:hive2://xx.xx.xx.xx:10000/default -n xyz -p xxxx不错通过 hiveserver2 webui，考证登录的用户身份;
3.2 hive.server2.authentication = ldap
中大型企业中一般齐会有效户身份的长入认证平台，其底层一般齐使用 ldap 公约，其具体结束存微软的 ActiveDirectory， 也有 openLdap， ApacheDS等开源结束; Hive 提供了基于 Ldap 的认证机制，不错使用企业的长入认证平台，来考证登录hive的用户的身份，其建立方法：hive.server2.authentication = ldap; 具体的 ldap 用具的 url，需要通过参数指定：hive.server2.authentication.ldap.url; 除了集成营业版的 ActiveDirectory，大数据集群中也不错使用孤苦安设的开源的ldap用具，此类用具常见的有 openLdap 和 ApacheDS，其中前者在大部分linux刊行版中齐自带了package安设包，更容易安设，不外主要通过高歌行cli进行经管;此后者则自带了gui客户端 Apache Directory Studio，功能更为丰富;以 openLdap为例，其安设高歌如下：sudo yum -y install openldap-clients; sudo yum -y install openldap; 客户端登录 ldap 认证的 hiveserver2 时， 左云县位长地板有限公司需要提供用户名和密码， 大连中航技经贸发展有限公司hiveserver2 会到ldap中考证用户名和密码， 湛江市圣电石灰有限公司唯有考证通过后本事泛泛登录;以 beeline 登录为例，江苏新安驰铝业有限公司其高歌容貌如下：beeline -u jdbc:hive2://xx.xx.xx.xx:10000/default -n hs_cic -p xyzabc;
3.3 hive.server2.authentication = kerberos
大数据生态中， 深圳市纳斯达工贸有限公司大部分组件齐复旧 kerberos 安全认证; 在开启了 kerberos 安全认证的大数据集群环境中，需要交互的各个用户/客户端/工作端，齐需要经过 kdc 的认证赢得了 ticket 凭据后，本事与其他组件进行泛泛交互，是以在大数据集群环境中，一朝基础工作 hdfs/yarn/zookeeper 等开启了 kerberos 安全认证，需要与 hdfs/yarn/zk 这些基础组件交互的各个表层组件，如 hive/hbase/spark/flink 等，齐需要建立使用相应的 kerberos principal，唯有在经过 kdc 考证赢得 ticket 后，本事与 hdfs/yarn/zk 进行交互; 具体到 hiveserver2，其在跟开启了 kerberos 安全认证的 hdfs/yarn/hbase 等交互时，相似需要建立使用相应的 kerberos principal(一般建立为hive)，且唯有在经过 kdc 考证赢得 ticket 后，本事与 hdfs/yarn/zk 进行交互，hive-site.xml中，相关建立项截图如下：
4.1 kerberos 环境下，hive 的 kerberos 认证方法: hive.server2.authentication = kerberos
由于是在kerberos环境下，是以客户端在登录前，需要领先从 kdc 获取 ticket 并爱戴在 ticket cache中：a valid Kerberos ticket in the ticket cache before connecting： 要是是cli等客户端，一般和会过高歌 kinit principal_name -kt key_tab_location，显示设备基于 keytab 文献来获取特定业务用户的 ticket，并存储在客户端的 ticket cache中;(要是缓存的 ticket 逾期了，需要通过高歌重新获取;要是不使用keytab， 也不错通过密码来获取 ticket: kinit principal_name); 要是是设施代码，则一般通过 org.apache.hadoop.security.UserGroupInformation.loginUserFromKeytab(String user， String path) 的方法，基于keytab文献来获取特定业务用户的 ticket，并存储在客户端的 ticket cache中;(UserGroupInformation 在后台会自动基于keytab 文献来定时刷新ticket，确保不会逾期); 客户端在获取业务用户的 ticket 告捷后，才不错通过 jdbc聚会，登录到指定的 hiveserver2： 此时需要极度肃穆下 hiveserver2 的url的容貌，其容貌保举使用：jdbc:hive2://xx.xx.xx.xx:10000/default;principal=hive/_HOST@CDH.COM： 这里的principal部分，保举使用三段式来指定，包含pincipal， host 和 realm; pincipal 必须指定为系统用户hive，而不可是业务用户如 dap，xyz等(本色上是因为，hive-site.xml 中建立的hive系统用户是hive); host部分，保举指定为_HOST，此时在底层使用时会替换为 hiveserver2 节点的hostname (诚然也不错径直指定为 hiveserver2 节点的具体的 hostname); realm 部分，需要根据推行建立情况进行指定(不错稽查建立文献 /etc/krb5.conf);4.2 kerberos环境下，hive 的 LDAP 认证方法 : hive.server2.authentication = ldap
由于是在kerberos环境下，是以客户端在登录前，需要领先从 kdc 获取 ticket 并爱戴在 ticket cache中，这极少跟 kerberos 环境下，hive 的 kerberos 认证方法时一直的：a valid Kerberos ticket in the ticket cache before connecting： 要是是cli等客户端，一般和会过高歌 kinit principal_name -kt key_tab_location，基于 keytab 文献来获取特定业务用户的 ticket，并存储在客户端的 ticket cache中;(要是缓存的 ticket 逾期了，需要通过高歌重新获取;要是不使用keytab， 也不错通过密码来获取 ticket: kinit principal_name); 要是是设施代码，则一般通过 org.apache.hadoop.security.UserGroupInformation.loginUserFromKeytab(String user， String path) 的方法，基于keytab文献来获取特定业务用户的 ticket，并存储在客户端的 ticket cache中;(UserGroupInformation 在后台会自动基于keytab 文献来定时刷新ticket，确保不会逾期); 客户端在获取业务用户的 ticket 告捷后，才不错通过 jdbc聚会，登录到指定的 hiveserver2，此时登录容貌，跟非 kerberos 环境下，hive 的 ldap认证方法，是一样的： 客户端登录 ldap 认证的 hiveserver2 时，需要提供用户名和密码，hiveserver2 会到ldap中考证用户名和密码，唯有考证通过后本事泛泛登录; 以 beeline 登录为例，其高歌容貌如下：beeline -u jdbc:hive2://xx.xx.xx.xx:10000/default -n hs_cic -p xyzabc; 5 大数据平台 CDH/TDH/CDP 与 TDH 中， hive 认证方法的互异 CDH/TDH/CDP中，在 CDH 5.7 及以后的版块中，Cloudera 对hive的安全认证进行了增强：在大数据集群开启了 kerberos 安全认证的环境下，即使 hive 工作端建立了使用ldap (hive.server2.authentication = ldap)，客户端也不错通过url指定使用 KERBEROS 认证方法来登录; TDH 中，通过安全组件 Guardian 来经管各个组件的安全，Guardian 底层整合了 kerberos 和 ApacheDS，其保举的hive认证方法，其实等同于 “kerberos环境下，hive 的 LDAP 认证方法 : hive.server2.authentication = ldap”; 在TDH环境下，在大数据集群开启了 kerberos 安全认证的环境下，要是 hive 工作端建立了使用ldap (hive.server2.authentication = ldap)，则必须通过kerberos和ldap的双重认证后，本事登陆 hiveserver2;
显示设备
hive-site.xml中，相关参数有： hive.server2.authentication hive.server2.authentication.kerberos.keytab hive.server2.authentication.kerberos.principal hive.server2.authentication.spnego.keytab hive.server2.authentication.spnego.principal hive.server2.authentication.ldap.url hive.server2.authentication.ldap.baseDN hive.server2.authentication.ldap.Domain hive.server2.enable.doAs hive.metastore.kerberos.keytab.file hive.metastore.kerberos.principal
上一篇：没有了
下一篇：没有了
