当前位置:首页 > 报告详情

JoinBoost:在数据库中为树模型进行机器学习.pdf

上传人: 2*** 编号:139154 2023-06-04 24页 2.79MB

1、JoinBoost:Tree Models on DB with only SQLSpeaker:Zachary Huang1Contributors:Rathijit Sen2,Jiaxiang Liu1,Pavan Kalyan Damalapati1,Weisheng Wang1,Matthew Schoenbauer1,Eugene Wu11 Columbia University,2 Microsoft Gray Systems LabDatabricks2023ML on DB is popularTree models are the top picksTree ModelsDB

2、 full of tablesTree models for tablesTree model on DB Seem natural and easyTree model on DB Seem natural and easyBakery ChainPredict RatingTree model on DB Seem natural and easyPriceAgeWeatherLocationRating$1020-30SunnyNew York4.5feature XyPick the features from DBPredict RatingTree model on DB Seem

3、 natural and easyPriceAgeWeatherLocationRatingfeature XyPick the features from DBML trains the model$1020-30SunnyNew York4.5Challenge:DB-ML ImpedenceItemIDUserIDStoreIDDateIDRatingSalesUserIDAgeCustomerStoreIDLocationStoreItemIDPriceItemDateIDWeatherDateDB:stores many tablesPriceAgeWeatherLocationRa

4、tingfeature XyML:needs single tableTree model on DBChallenge:DB-ML Impedence$1020-30SunnyNew York4.5DB-ML ImpedenceCurrent solutionSalesCustStoreItemDateDBPriceRatingML CREATE TABLE train AS SELECT Price,Income,Weather,Location,Rating FROM Sales Join Date ON Sales.Date=Date.Date Join User ON Sales.U

5、serID=User.UserID Join Item ON Sales.ItemID=Item.ItemID Join Store ON Sales.StoreID=Store.StoreID;SQL:Join,materialize&exportJoin,Materialization&Export isLaborious,Slow and Insecure1.Laborious Expected:pick the features from DBReality:navigate through a complex schema to write SQLCREATE TABLE train

6、 ASSELECT*FROM title t JOIN aka_title at ON t.id=at.movie_id JOIN kind_type kt ON t.kind_id=kt.id JOIN movie_info mi ON t.id=mi.movie_id JOIN info_type it ON mi.info_type_id=it.id JOIN movie_companies mc ON t.id=mc.movie_id JOIN company_name cn ON pany_id=cn.id JOIN company_type ct ON pany_type_id=c

word格式文档无特别注明外均可编辑修改,预览文件经过压缩,下载原文更清晰!
三个皮匠报告文库所有资源均是客户上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作商用。
JoinBoost是一个轻量级的Python库,它允许用户在数据库中直接训练梯度提升和随机森林模型,而无需将数据移动到专门的机器学习系统。该库提供了与XGBoost和LightGBM类似的API,并可以直接集成到支持SQL的数据库中。关键数据和亮点包括: - JoinBoost可以显著减少在数据库和机器学习系统之间移动数据的需求,简化了机器学习模型的构建过程。 - 它通过自动推断连接图来处理多表操作,用户只需输入模糊匹配的部分,从而简化了复杂的SQL查询。 - 模型训练完全在数据库内完成,避免了数据泄露和隐私问题,同时保证了数据的安全性。 - JoinBoost在内存中处理数据时,比传统的机器学习库如XGBoost和LightGBM快3倍。 - 当数据规模超出内存容量时,JoinBoost利用Dask进行分布式学习,可以比LightGBM快9倍,并且避免了内存不足的问题。 - 它还可以利用云数据库的扩展性进行大规模数据的模型训练,这使得在PB级别数据上训练模型成为可能。 JoinBoost的这些特点,使得在数据库中训练机器学习模型变得更加高效、安全和便捷。
"如何用SQL训练机器学习模型?" "如何在数据库中实现自然语言处理?" "如何利用JoinBoost提高数据库机器学习的效率?"
客服
商务合作
小程序
服务号
折叠