hadoop-user mailing list archives

Site index · List index
Message view « Date » · « Thread »
Top « Date » · « Thread »
From Ulul <had...@ulul.org>
Subject Re: HDFS client with Knox
Date Mon, 02 Jan 2017 09:44:14 GMT
Hi

Philippe is asking about using basing auth with knox and using SSL with 
webhdfs

a) this is exactly what you do with your d) : you pass 
admin:admin-password credentials to knox, basic auth bing curl default. 
If your question is about knox authenticating to hdfs, that's normal : 
HDFS has only "no security" or kerberos

b) You can find swebhdfs 
http://hortonworks.com/blog/deploying-https-hdfs/ but I'd say it's more 
experimental than poduction grade. And the idea behind knox is that you 
have an SSL encrypted stream between your client and knox, as you did in 
d), and then clear streams between knox and HDFS servers, the cluster 
being protected by a firewall of some kind. Please note that Knox 
creates a bottleneck through which all data is flowing so don't use it 
for massive data transfer

Ulul


On 01/01/2017 15:46, Ted Yu wrote:
> Can you phrase your post in English ?
>
> 2017-01-01 4:22 GMT-08:00 Philippe Kernévez <pkernevez@octo.com 
> <mailto:pkernevez@octo.com>>:
>
>     kk1) Maintenant que Knox est en place j'aimerai l'utiliser.
>     En particulier depuis un client HDFS.
>     Je peux faire (ça marche) :
>     a) HDFS en RPC sur mon name node actif : "hdfs dfs -ls /apps"
>     b) HDFS en WebHdfs sur mon name node actif : hdfs dfs -ls
>     webhdfs://node1:50070/apps
>     c) CURL sur mon WebHDFS : curl
>     "http://node1:50070/webhdfs/v1/apps?op=LISTSTATUS
>     <http://node1:50070/webhdfs/v1/apps?op=LISTSTATUS>"
>     d) CURL sur Knox : curl -u admin:admin-password -k
>     "https://node1:8443/gateway/default/webhdfs/v1/apps?op=LISTSTATUS
>     <https://node1:8443/gateway/default/webhdfs/v1/apps?op=LISTSTATUS>"
>
>     Par contre comment faire avec Knox ? J'ai 2 pb :
>     a) Comment faire une authent basique, je ne trouve pas de moyen de
>     passer un login/password à la commande (soit elle est sans sécu,
>     soit avec Kerberos)
>     b) Comment indiquer que le protocole est en SSL, webhdfss ne
>     semble pas exister...
>
>     -- 
>
>
>     Philippe Kernévez
>
>
>
>     Directeur technique (Suisse),
>
>
>     pkernevez@octo.com <mailto:pkernevez@octo.com>
>     +41 79 888 33 32 <tel:+41%2079%20888%2033%2032>
>
>
>
>     Retrouvez OCTO sur OCTO Talk : http://blog.octo.com
>     OCTO Technology http://www.octo.com
>
>
>
>
>
>


Mime
View raw message