技术小站8

网站首页 科技 > 正文

Databricks启动用于模型构建和部署的AutoML工具包

2021-12-09 10:33:45 科技 来源:
导读 Databricks今天推出了AutoML Toolkit,这是一种自动化的端到端机器学习服务,旨在为有经验的开发人员提供服务。Databricks Labs提供A

Databricks今天推出了AutoML Toolkit,这是一种自动化的端到端机器学习服务,旨在为有经验的开发人员提供服务。

Databricks Labs提供AutoML Toolkit,可以自动执行超参数调整、批量预测、模型搜索等操作。AutoML Toolkit是基于现有的Databricks工具构建的,例如MLflow,这是一个开源的机器学习平台,可以与TensorFlow和Amazon SageMaker等框架集成。使用MLflow自动跟踪AutoML工具包的执行。

该工具包还包括实用程序Apache Spark,这是一个开源项目,由Databricks的创始人创建,并于2014年交付给Apache Spark软件基金会。

ML项目管理部门负责人Clemens Mewald在接受VentureBeat电话采访时表示,AutoML Toolkit与其他AutoML解决方案的区别在于,它允许不同专业水平的数据科学家和工程师一起工作。

Mewald此前曾在谷歌的TensorFlow和KubeFlow项目团队工作。

有时候有些人对低级代码非常熟悉,想要完全访问,然后同一团队的另一个人可能不熟悉代码,或者对基于UI的解决方案不满意。因此,我们在AutoML领域提供不同级别的解决方案,以解决许多这些不同的需求和专业水平,”他说因为它们都在同一个技术堆栈上,如果您愿意,您可以在它们之间移动。因此,您基本上可以从最高级别的抽象开始,而不是编写任何代码。然后,一旦你完成了,你需要更多的灵活性,你可以降低一个级别,获得更多你可能需要的旋钮和杠杆。"

Apache Spark中曾经使用过一些形式的自动机器学习。

自2017年引入谷歌的AutoML以来,用于创建和部署自动机器学习模型的机器学习变得越来越流行。从那以后,像Azure的机器学习服务这样的公共云领导者也引入了自动机器学习解决方案。

在之前建立的合作关系的基础上,Databricks的AutoML产品也与Azure机器学习进行了集成。

最近几个月,Databricks推出了一系列改进来支持其AutoML产品。

随着6月份Databricks Runtime 5.4ML 1.1的发布,Databricks通过Hyperopt集成实现了超参数的自动优化。今年4月,Databricks推出了开源的Delta Delta,这是一个合作计划,旨在创建一个支持可靠的机器学习项目的数据湖。

今年2月,Databricks通过安德森霍洛维茨(Andreessen Horowitz)、微软(Microsoft)和NEA的资金,为其数据和人工智能平台筹集了2.5亿美元。


版权说明: 本文版权归原作者所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时间联系我们修改或删除,多谢。


标签:




热点推荐
热评文章
随机文章