MaxCompute大数据生态集成和开发工具（14页）.pdf

《MaxCompute大数据生态集成和开发工具（14页）.pdf》由会员分享，可在线阅读，更多相关《MaxCompute大数据生态集成和开发工具（14页）.pdf（14页珍藏版）》请在三个皮匠报告上搜索。

1、MaxCompute大数据生态集成和开发工具薛明/艺卓阿里云数据事业部高级专家生态与兼容MaxCompute2.0123上云工具OGG、Sqoop、Flume、FluentD社区兼容SQL、Hadoop MR、Hive Thrift 协议生态连接JDBC、ODBC、R、Python Pandas、IntelliJ IDEA当我们在说生态和兼容时MaxCompute2.0依托开源社区的上云工具Restful APIJava SDKRuby SDKFlume PluginOGG PluginFluentDPluginSqoopMaxCompute2.0123SQLSQL 语法，UDF，文件格式Ha

2、doop MR Adapter只需替换一个 JAR 包，运行时翻译为 MaxCompute OpenMR 执行HiveProxy提供 Hive Thrift 协议兼容层，可以直接对接 Beeline、Hive ODBC+Tableau社区兼容MaxCompute2.0123协议JDBC、ODBC语言R、Python Pandas集成开发环境IntelliJ IDEA 插件生态连接能力MaxCompute2.0连接生态能力：JDBC使支持 JDBC 的工具可以直接支持 MaxCompute：如 BI 工具Pentaho；数据库管理工具 SQL Workbench；交互式数据分析工具Zeppeli

3、n，等等。使用标准 JDBC SDK 编程实现简单的数据查询任务。MaxCompute2.0连接生态能力：JDBCMaxCompute2.0连接生态能力：RODPSRODPS 使 R 用户具备了直接执行 MaxCompute SQL，并将结果集转换为 R data.frame 的能力。因此，RODPS 很适用于先在 MaxCompute 中完成大数据量的过滤等操作，缩小数据规模，再使用 R 来进行单机分析的场景。MaxCompute2.0连接生态能力：RODPSMaxCompute2.0连接生态能力：PyODPSPyODPS 不仅仅是 MaxCompute 的 Python SDK，它还为熟悉

4、Pandas 的用户提供了基于 MaxCompute SQL 的分布式 DataFrame 的执行能力。PyODPS 提供了对 PAI 算法的集成，可以用简单的几行代码来实现复杂的算法调用流程。PyODPS 还提供了基于 Jupyter Notebook 的交互式数据分析能力。MaxCompute2.0连接生态能力：PyODPSMaxCompute2.0连接生态能力：IntelliJ IDEA MaxCompute StudioIntelliJ 是一个非常流行的 IDE 产品，支持 Java、Python 等多种编程语言，提供丰富的辅助功能，能显著提升程序员开发效率。MaxCompute Studio 基于 IntelliJ 平台提供了一套扩展插件，提升MaxCompute 用户的开发体验。Eclipse 平台上的插件也在开发中。MaxCompute2.0MaxCompute StudioMaxCompute 的本地集成开发环境，提供：MaxCompute 项目空间浏览器集成数据上传、下载工具集成 MaxCompute 命令行客户端UDF 开发示例代码和工具支持SQL 脚本基于语义的语法高亮、智能提示实时语法和类型检查、错误提示SQL 作业提交和进度显示历史作业日志查询和可视化