中国领先的IT技术网站
|
|

微软开源用于Spark的深度学习库MMLSpark

微软开源了MMLSpark,用于Apache Spark的的深度学习库。MMLSpark可以与微软认知工具包和OpenCV完美整合。虽然SparkML可以建立可扩展的机器学习平台,绝大多数开发者的精力都耗在了调用底层API上。MMLSpark旨在简化PySpark中的重复性工作。

作者:Beining来源:36大数据|2017-10-26 13:54

Tech Neo技术沙龙 | 11月25号,九州云/ZStack与您一起探讨云时代网络边界管理实践


微软开源用于Spark的深度学习库MMLSpark

微软开源了MMLSpark,用于Apache Spark的的深度学习库。MMLSpark可以与微软认知工具包和OpenCV完美整合。

微软发现,虽然SparkML可以建立可扩展的机器学习平台,绝大多数开发者的精力都耗在了调用底层API上。MMLSpark旨在简化PySpark中的重复性工作。

以UCI的成人收入普查数据集举例,使用其他项目预测收入:

如果直接使用SparkML,每一列都需要单独处理,整理为正确的数据类型;在MMLSpark中只需要两行代码:

  1. model = mmlspark.TrainClassifier(model=LogisticRegression(), labelCol=” income”).fit(trainData) 
  2.  
  3. predictions = model.transform(testData)  

深度神经网络(DNN)在图像识别和语音识别等领域不逊于人类,但是DNN模型的训练需要专业人员方可进行,与SparkML的整合也十分不易。MMLSpark提供了方便的Python API,可以方便地训练DNN算法。MMLSpark可以方便地使用现有模型进行分类任务、在分布式GPU节点上进行训练、以及使用OpenCV建立可扩展的图像处理管线。

以下3行代码可以从微软认知工具集中初始化一个DNN模型,从图像中抽取特征:

  1. cntkModel = CNTKModel().setInputCol(“images”).setOutputCol(“features”).setModelLocation(resnetModel).setOutputNode(“z.x”) 
  2.  
  3. featurizedImages = cntkModel.transform(imagesWithLabels).select([‘labels’,’features’]) 
  4.  
  5. model = TrainClassifier(model=LogisticRegression(),labelCol=”labels”).fit(featurizedImages)  

MMLSpark已经发布到Docker Hub上,使用下面的命令即可在单机部署:

  1. docker run -it -p 8888:8888 -e ACCEPT_EULA=yes microsoft/mmlspark 

MMLSpark使用MIT协议授权。

【编辑推荐】

  1. 自然语言处理终极方向:深度学习用于自然语言处理的5大优势
  2. 深度学习应该使用复数吗?
  3. 一文读懂深度学习与机器学习的差异
  4. 如何理解深度学习分布式训练中的large batch size与learning rate的关系?
  5. 一文概览基于深度学习的监督语音分离
【责任编辑:庞桂玉 TEL:(010)68476606】

点赞 0
分享:
大家都在看
猜你喜欢
24H热文
一周话题
本月最赞

读 书 +更多

黑客入侵的主动防御

本书是一本非常全面地讲述黑客入侵主动防御技术的网络安全工具书。本书的重点是介绍黑客的攻击手段和提供相应的主动防御保护措施,在组织结...

订阅51CTO邮刊

点击这里查看样刊

订阅51CTO邮刊
× CTO训练营(深圳站)