2017年美团点评数据平台融合实战.pdf

《2017年美团点评数据平台融合实战.pdf》由会员分享，可在线阅读，更多相关《2017年美团点评数据平台融合实战.pdf（46页珍藏版）》请在三个皮匠报告上搜索。

1、?k?b?d?Hadoop?SQL?Eat better,Live better?l?15?10?,?:?/?APP?,1+1 2?-?/?/?/?,?UGC,?-?,?,?,?:?,?K?i?:?App?:?-?,?,?,?sql/udf?,?,?:?:“?,?”?H?H?r?0?9?10?22?,?,?,?.“?:?,?”?,?:?1?,?4?:?,?,?,50%?,50%?(?)500+11P120T?(?)3000+75P800T?k?:?,?,?,?,?,?(?)7000+28100+400+?(?)14000+50+240+900+?,?,?,?,?,?,?,?,?,?,?:?,?

2、B?Hadoop?DistCP,?:?“?”?,?,2?,2?KDC?Client,Server?Client,Server?,2?,2?,?KDC?client?KDC,?ticket?ticket?,?KDC,?Service ticket client?Service ticket?Service?,2?,2?KDC?principal,krbtgt/AB,krbtgt/BA?,?krb5.conf?realm?KDC?,?domain_realm?A realm?principal?(kinit),?kvno?B realm?server principal?hadoop client

3、?dfs.namenode.kerberos.principal.pattern?yarn.resourcemanager.principal.pattern?*?hadoop?service principal?RPC Server?hadoop.security.auth_to_local?-Dsun.security.krb5.debug?log,hadoop?realm?,?,?,?,?,?H?k?o?RD?,?,?,?,?7000+?,?10?,?,?1-4?,?1-2?,?3-5?,?,?,?,?,?,?,?,?,?,?,?,?Hadoop?Block?2?/?/?,?:?,?&?JDK1.7.0_761.6.0_43Hadoop2.7.12.4.1HDFS Arch.HA using QJM,Federation?Hive0.13,1.20.11Kerberoskeytabkeytab,token,password?Agent,Kafka,camus?BlackHole?.?Patch?,?Review?Patch?a?Block?2?:Hadoop?Hadoop?&?Hadoop?,?“?”?120T,?10G?,?-?/?-?/?-?-?-?-?:?:?