提示信息

hadoop 用Kerberos认证后，web界面如何访问

-▲　花祭 已关注
10月23日 发表在 AI大模型图文创作平台 阅读 530 评论 20 | 免费使用 “AI大模型GPT4.0” 提问

在Hadoop启用Kerberos认证后，使用Web界面进行访问可能会有所困难。这是因为你的浏览器需要向Kerberos KDC（Key Distribution Center）请求服务票据，然后使用该票据来验证自己。

不过，你可以配置浏览器以适应SPNEGO（Simple and Protected GSSAPI Negotiation Mechanism）协议。SPNEGO允许HTTP服务器和Web浏览器之间通过GSS-API安全地进行身份验证。下面是配置一些常见浏览器的方法：

  1. Firefox:

    • 在地址栏中输入about:config并回车。
    • 在搜索栏中输入network.negotiate-auth.trusted-uris。
    • 双击显示的结果，然后在弹出的窗口中输入Hadoop Web界面的URL或你的Kerberos realm（例如.your.realm.com），如果有多个值，请用逗号分隔。

  2. Chrome (on Windows):

    • Chrome 会自动使用Windows的默认Kerberos设置和票据。确保在Windows中已经获取了票据（使用kinit）。

  3. Chrome (on Mac/Linux):

    • 打开终端。
    • 运行命令： google-chrome --auth-server-whitelist="*your.realm.com" --auth-negotiate-delegate-whitelist="*your.realm.com"

以上步骤将使得浏览器尝试使用SPNEGO进行身份验证。请替换 "your.realm.com" 为你的实际Kerberos realm。

还需注意，启用Kerberos之后，尤其是在生产环境中，应当同时启用HTTPS，因为虽然Kerberos提供了强大的身份验证，但它并未对传输内容进行加密。

    遇到难题？ "AI大模型GPT4.0、GPT" 是你的私人解答专家！ 点击按钮去提问......
-▲　花祭 关注 已关注

最近一次登录：2023-10-23 17:47:08   

暂时还没有签名，请关注我或评论我的文章
20条评论
按时间正序 按时间倒序 按喜欢排序

甜人
10月27日

这篇文章提供了很好的解决方案，尤其是针对不同平台的Chrome配置非常实用。

赞 0 回复 举报

良心： @甜人

在处理Hadoop与Kerberos认证时，相关的Chrome配置确实是一个重要环节，为了能顺利访问Web界面，确保环境设置得当是关键。除了Chrome配置之外，有时还需要配置一些其他选项来确保最终的访问可以无障碍进行。

例如，建议在浏览器中添加Kerberos票据的支持，可以在配置文件中设置认证信息：

# 在/etc/krb5.conf中设置KDC信息
[libdefaults]
    default_realm = EXAMPLE.COM
    dns_lookup_realm = false
    dns_lookup_kdc = true

[realms]
    EXAMPLE.COM = {
        kdc = your.kdc.server
        admin_server = your.kdc.server
    }

此外，在Chrome中，可以通过启动时添加 --auth-server-whitelist 和 --auth-negotiate-delegate-whitelist 参数来疏通Kerberos认证的障碍。例如：

chrome --auth-server-whitelist="*.your-hadoop-cluster.com" --auth-negotiate-delegate-whitelist="*.your-hadoop-cluster.com"

同时，不要忘记确保本地的Kerberos票据缓存已被正确配置。在需要访问Hadoop Web界面之前，可以通过命令获取有效的票据：

kinit user@EXAMPLE.COM

这样配置后，应该能够顺畅地进行访问，如果遇到问题，建议查看相关的社区讨论和文档，像是Cloudera's documentation中有很多实用的信息。

11月21日 回复 举报
添加新评论
麻木
11月02日

建议在文中添加更多关于Kerberos认证原理的链接，帮助一些初学者更好地理解。

赞 0 回复 举报

蚕宝宝： @麻木

非常赞同关于Kerberos认证原理的建议，理解其背后的机制确实能帮助我们更好地使用Hadoop。在进行Kerberos认证时，掌握一些基本的操作步骤尤为重要。

例如，如果想要通过Web界面访问Hadoop，需要确保先使用kinit命令获取有效的Kerberos票据。以下是一个初始化的示例：

kinit your_username@YOUR_REALM.COM

这个命令会提示你输入密码，成功后会生成一个有效的票据，然后就可以通过浏览器访问Hadoop的Web界面，而不必再进行额外的身份验证。

此外，了解Kerberos的工作原理可以参考Apache软件基金会的官方文档，那里详细解释了Kerberos的认证过程和如何在Hadoop环境中应用它：Apache Hadoop and Kerberos。

希望这些信息能够帮助到更多的初学者，深入理解Kerberos的运作原理，提升使用Hadoop的信心与能力。

11月11日 回复 举报
添加新评论
转动
11月11日

在工作中使用Firefox时，记得双击并添加正确的URL，非常关键，否则可能还会遇到认证问题。

赞 0 回复 举报

文风如刀： @转动

在使用Kerberos认证的Hadoop环境中，确实需要注意浏览器的URL配置，特别是在Firefox中。遇到认证问题的确很可能与URL的准确性有关。添加Kerberos相关的URL时候，确保使用完整的服务URL，如 http://your-hadoop-cluster:port。

另外，可以考虑在Firefox中调整一些安全设置，确保Kerberos认证可以正常工作。这涉及到添加Kerberos服务到浏览器的信任列表。下面是一些简单的步骤：

  1. 在Firefox地址栏输入 about:config。
  2. 找到 network.negotiate-auth.trusted-uris 和 network.automatic-ntlm-auth.trusted-uris，将Hadoop的URL添加到这些设置中，例如： http://your-hadoop-cluster:port

  3. 确保相应的Kerberos票据已经获取，可以使用 kinit 命令：

    kinit username@YOUR.REALM

这样配置后，Firefox应该能够顺利通过Kerberos进行验证，更加方便访问Hadoop的Web界面。

如果需要更详尽的步骤，可以参考Mozilla的文档关于Firefox的认证配置。

11月15日 回复 举报
添加新评论
一无
11月14日

Chrome在Windows中如此方便，利用系统票据。对于新人，记得先获取票据，kinit是一个好帮手。

赞 0 回复 举报

爱： @一无

在使用 Kerberos 认证访问 Hadoop 的 Web 界面时，确实需要先获取有效的票据，kinit 是一个非常实用的命令。考虑到 Windows 环境，使用 Chrome 的确会简化操作，因为它能利用系统的 Kerberos 票证。

此外，建议在使用之前确认已正确配置 krb5.conf 文件，这样可以确保服务的主机名与 Kerberos 认证相匹配。获取票据的基本步骤如下：

kinit username@YOUR_REALM

替换 username 和 YOUR_REALM 为实际的用户名和 Kerberos 领域。确保输入正确的密码。

然后，在启动 Chrome 时，可以启用自动凭据使用，这样 Chrome 就能自动为你管理 Kerberos 票据了。你可以在 Chrome 的启动参数中加入：

--auth-server-whitelist="*.your-hadoop-server.com"
--auth-negotiate-delegate-credentials

这样在访问 Hadoop 的 Web 界面时，将会更加顺畅。有关 Kerberos 和 Hadoop 的更多内容，可参考 Apache Hadoop 的官方文档。

11月18日 回复 举报
添加新评论
韦晗
11月18日

展示了一些有趣的技术细节，特别是关于如何在Linux上配置Chrome，以使用Kerberos进行身份验证。

赞 0 回复 举报

一纸荒凉： @韦晗

关于Kerberos认证和Chrome配置的细节确实很有启发性。在Linux上，除了Chrome外，还可以考虑使用Firefox进行Kerberos身份验证。通过修改其配置选项，可以方便地实现无缝登录。

例如，可以在Firefox中进行以下设置：

  1. 输入 about:config 在地址栏，搜索 network.negotiate-auth.trusted-uris，然后双击并输入 Kerberos 服务的主机名，比如 http://your-hadoop-web-ui。
  2. 同样，搜索 network.automatic-ntlm-auth.trusted-uris 并设置为与上面相同的值。

通过这两步，可以确保Firefox能够自动使用Kerberos进行身份验证。同时，务必确保你的Kerberos票据已经有效，可以通过命令 klist 来查看当前有效票据。

对于想要进一步了解Kerberos的配置，建议访问 MIT Kerberos Documentation.

这样的方式不仅能提升安全性，还能简化用户体验。希望这些补充能够对你有所帮助！

11月15日 回复 举报
添加新评论
等个旧人
11月28日

启用了Kerberos后，确实HTTPS也非常重要。数据传输安全依然不能忽视，建议同时配置SSL。

赞 0 回复 举报

泽野： @等个旧人

在考虑Hadoop集群的安全性时，Kerberos认证和HTTPS配置确实不可或缺。数据加密和安全传输为集群防护增加了一道重要屏障。为了确保信息在传输过程中不被窃取，建议同时开启SSL/TLS。

可以参考以下步骤来配置SSL：

  1. 生成证书：使用Java的keytool生成自签名证书。

    keytool -genkey -alias your_alias -keyalg RSA -keystore your_keystore.jks

  2. 配置Hadoop：在Hadoop的配置文件中启用SSL。需要在hdfs-site.xml和core-site.xml中配置HTTPS相关属性。

    <property>
   <name>dfs.https.enable</name>
   <value>true</value>
</property>
<property>
   <name>dfs.https.address</name>
   <value>0.0.0.0:50470</value>
</property>

  3. 修改Web UI的配置：确保Web界面正确指向HTTPS地址，比如：

    <property>
   <name>webhdfs.https.enabled</name>
   <value>true</value>
</property>

与此同时，可以考虑使用curl等工具测试HTTPS连接，确保配置生效：

curl -k https://your_hadoop_address:50470

此外，维护一个包含访问权限和安全更新的策略，将进一步加强集群安全性。有关Hadoop和SSL配置的更详细说明，请参考Hadoop官方文档，以获得更全面的指导。

11月17日 回复 举报
添加新评论
怀旧
12月05日

能否附上一个完整的配置示例，以便更加清晰？特别是涉及到复杂的SPNEGO设置时。

赞 0 回复 举报

人间本色： @怀旧

对于SPNEGO设置的复杂性，确实需要更多的细节和示例来帮助理解。没有完整的配置示例，可能会让很多用户在配置Kerberos认证时感到困惑。

以下是一个基本的SPNEGO配置示例，供参考：

<web-app xmlns="http://xmlns.jcp.org/xml/ns/javaee"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://xmlns.jcp.org/xml/ns/javaee
         http://xmlns.jcp.org/xml/ns/javaee/web-app_3_1.xsd"
         version="3.1">

    <filter>
        <filter-name>SPNEGOAuthenticationFilter</filter-name>
        <filter-class>org.apache.hadoop.security.auth_to_local.SPNEGOAuthenticationFilter</filter-class>
        <init-param>
            <param-name>kerberos.principal</param-name>
            <param-value>HTTP/your.hostname@YOUR.REALM</param-value>
        </init-param>
        <init-param>
            <param-name>kerberos.keytab</param-name>
            <param-value>/path/to/your.keytab</param-value>
        </init-param>
    </filter>

    <filter-mapping>
        <filter-name>SPNEGOAuthenticationFilter</filter-name>
        <url-pattern>/*</url-pattern>
    </filter-mapping>

    <login-config>
        <auth-method>SPNEGO</auth-method>
        <realm>Kerberos</realm>
    </login-config>
</web-app>

此外，配置涉及到的KRB5配置文件也很重要，例如：

[libdefaults]
    default_realm = YOUR.REALM
    dns_lookup_realm = false
    dns_lookup_kdc = true

[realms]
    YOUR.REALM = {
        kdc = your.kdc.server
        admin_server = your.admin.server
    }

[domain_realm]
    .your.domain = YOUR.REALM
    your.domain = YOUR.REALM

在配置完成后，可以借助浏览器插件（如Firefox的SPNEGO扩展）或直接配置浏览器，使其能够支持Kerberos认证。

可以参考Apache Hadoop官方文档中的详细说明：Hadoop Security Documentation。希望这些示例能对理解和实现SPNEGO配置有所帮助。

11月18日 回复 举报
添加新评论
韦秀鲁
12月11日

用于配置火狐的network.negotiate-auth.trusted-uris这一点常被忽视，不过很有效。

赞 0 回复 举报

还记： @韦秀鲁

在处理Kerberos认证后的Hadoop Web界面访问时，确实有时候会忽视一些浏览器的配置选项。除了network.negotiate-auth.trusted-uris，可能还需要配置其他相关设置，以确保可以顺利进行身份验证。

例如，在Firefox中，除了设置network.negotiate-auth.trusted-uris，也可以在network.automatic-ntlm-auth.trusted-uris中添加相同的URL，确保NTLM认证也能正常工作。以下是设置示例：

network.negotiate-auth.trusted-uris = http://your-hadoop-cluster:port
network.automatic-ntlm-auth.trusted-uris = http://your-hadoop-cluster:port

此类配置能够帮助浏览器自动处理Kerberos凭证，从而无缝访问Hadoop Web界面。在某些情况下，如果服务端使用的是HTTPS，还可以在network.negotiate-auth.delegation-uris中添加相应的URL。

对于需要频繁使用Hadoop Web界面的用户，建议参考以下链接中的指南以获取更详细的配置说明：Firefox Kerberos Configuration.

这样的小细节有时能够省去不少麻烦，提升工作效率。

11月13日 回复 举报
添加新评论
开盖有奖
12月14日

文章提供的解决方案对于企业级应用来说尤其重要，特别是需要严格的安全管理时。

赞 0 回复 举报

随遇： @开盖有奖

针对企业级应用的安全性，Kerberos认证确实是一个非常有效的解决方案。在进行Hadoop集群的配置时，确保用户能够安全地通过Web界面访问数据是至关重要的。为了实现这一点，结合Kerberos认证的方式可以考虑如下步骤：

  1. 配置JAAS文件
    在Hadoop配置中，需要正确设置JAAS文件，以便身份验证。例如，可以创建一个kinit的JAAS配置文件，如下所示：

    org.apache.hadoop.security.auth_to_local=DEFAULT
com.sun.security.auth.module.Krb5LoginModule required
useKeyTab=true
keyTab="/path/to/your.keytab"
principal="your_principal@YOUR_REALM.COM";

  2. 配置Hadoop相关参数
    在hdfs-site.xml和core-site.xml中设置相关安全参数，确保Hadoop能够识别Kerberos身份验证：

    <property>
   <name>hadoop.security.authentication</name>
   <value>kerberos</value>
</property>
<property>
   <name>hadoop.security.authorization</name>
   <value>true</value>
</property>

  3. 使用浏览器访问Web界面
    为了在Web浏览器中访问Hadoop的管理界面，确保浏览器配置可以处理Kerberos认证。例如，通过Chrome或Firefox的配置，您可以添加以下内容来支持Kerberos：

    • Chrome: 在启动参数中添加--auth-server-whitelist=".*"。
    • Firefox: 在about:config中，设置network.negotiate-auth.trusted-uris为集群的URL。

这种配置能够帮助确保在访问Web界面时，Kerberos能够顺利地进行身份验证。

还可以参考Apache Hadoop的官方文档 Hadoop Security，以获取更详细的安全配置和最佳实践。对于企业级的应用场景，这些措施能够有效提升数据保护的等级。

11月20日 回复 举报
添加新评论
韦培富
12月23日

觉得给Mac/Linux用户提供的命令很有用，完全可以直接复制粘贴使用，效率提升明显。

赞 0 回复 举报

致命伤： @韦培富

很高兴看到有实用的命令介绍。对于需要在Hadoop中使用Kerberos认证的用户来说，确实可以极大地提高效率。除了提供命令，附上一些常见的操作步骤可能会对新手用户更友好。

比如，访问Hadoop的Web界面时，通常需要执行以下步骤以确保环境和身份验证正常：

  1. 获取Kerberos票据：

    kinit your_username@REALM.COM

  2. 设置Hadoop环境变量：

    export HADOOP_CONF_DIR=/path/to/hadoop/conf

  3. 启动服务和访问Web界面：

    start-dfs.sh
start-yarn.sh

    然后可以在浏览器中访问：

    1. http://your-hadoop-master:9870

对于更深入的理解，推荐参考Apache官方文档，特别是关于Kerberos配置的部分：Apache Hadoop Kerberos Authentication Guide。

这样的详细步骤解读似乎也能帮助更多用户快速上手更复杂的Hadoop环境。

11月12日 回复 举报
添加新评论
×
免费图表工具，画流程图、架构图