当前位置:首页 > 报告详情

2020壹佰案例峰会:Snowflake-Haowei Yu-Java User-Defined Function Inside Snowflake.pdf

上传人: B**** 编号:28669 2020-12-01 22页 1.98MB

word格式文档无特别注明外均可编辑修改,预览文件经过压缩,下载原文更清晰!
三个皮匠报告文库所有资源均是客户上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作商用。
本文主要介绍了Snowflake中用户定义函数(UDF)的背景、需求、实现方式及其优缺点。Snowflake是一个基于云的数据仓库,支持复杂的数据转换操作。UDF允许用户自定义Snowflake无法提供的操作,主要用于复杂数据转换和提高开发友好性。 Snowflake的UDF可以分为JavaScript标量/表UDF。Java UDF的实现采用C++编写,通过JNI与Java交互。文章对比了内存中实现、同一主机上的进程外实现和不同主机上的进程外实现三种方案,认为在安全、性能、可扩展性和工程 effort之间权衡,选择在同一主机上的进程外实现。 该设计采用GRPC作为进程间通信方法,易于扩展到远程IPC。数据以Arrow格式进行序列化和反序列化。为了保证安全性,采用jail和seccomp-bpf技术对UDF进行限制。 未来工作包括支持Python标量UDF、处理并行问题以及实现Java/Python表UDF和存储过程。
"Snowflake中UDF的应用场景有哪些?" "如何在Snowflake中实现Java UDF?" "Snowflake的架构设计原理是怎样的?"
客服
商务合作
小程序
服务号
折叠