电脑桌面
添加微风文库到电脑桌面
安装后可以在桌面快捷访问

构建流批一体的开源机器学习平台Alink-杨旭.pdf

构建流批一体的开源机器学习平台Alink-杨旭.pdf_第1页
1/20页
构建流批一体的开源机器学习平台Alink-杨旭.pdf_第2页
2/20页
构建流批一体的开源机器学习平台Alink-杨旭.pdf_第3页
3/20页
�����������������������������������������������• ����������������������-���������� ������������������������������������-�������������������-��������������������-���������������������������������� �����������-�� �������� � ��������������������• �������� ����� ������� ���������Ø ��������������������������������Alink v1.0Alink v1.1����� ������������• �������������������• �������������������������������• ������������������� ������������• ����������������������� ������������• ��������������• ������������• ���������������������������� ��������Alink v1.2����� ������������• �������• �������������������• �����������������������• �����������• �����������Alink v1.3����� �������������• ��������������������• ������������• ���������������• ������� ������• �������������������� ������������• ������� ����• �������������������������� ������������• ���������������� �������������• ����� ������� �����������• ������������������������������� �������������• �������������������• ����������������������������������������RuntimeDistributed Streaming DataflowCEPEvent ProcessingDataStream APIStream ProcessingDataSet APIBatch ProcessingLocalSingle JVMCloudGCE EC2ClusterStandalone YARNTableRelationalTableRelationalFlink MLMaching LearningGellyGraph ProcessingAlink MLFor StreamingAlink MLFor BatchAlink StatFor StreamingAlink StatFor BatchStream OperatorStream ProcessingBatch OperatorBatch ProcessingAlink SDK & Web UI & Client & VisualizationProcessing for Structural DataAlink ......For StreamingAlink ......For BatchCommon Libs����������������������������������������������������������• PartitionedData• BroadcastData• ComputeFunction• CommunicateFunction• CompareCriterionFunction• CompleteResultFunction��������Binary ClassificationLogisticRegLinearSvmPerceptronFRegressionLassoRegRidgeRegLinearRegMultiple ClassificationSoftmaxUnified representation: trainer, predictor, modelLoss FunctionRegularizationSurvivalRegParallel OptimizerGDSGDLBFGSOWLQNNEWTONLocal OptimizerGDSGDLBFGSOWLQNNEWTONqRdbkSBHEce AAd SiAk(DFSOSSLBcal……CatalBgAKCSVLibSVMTSV……File SystemXXSBHEceStEeamOCL..XXSiAkStEeamOCL..XXSBHEceBatchOCL..XXSiAkBatchOCL..CatalBgSBHEceStEeamOCCatalBgSiAkStEeamOCCatalBgSBHEceBatchOCCatalBgSiAkBatchOC������(iIeMKFDlDeEbK……Øg地wtMHFeLBcalEAIØyswtMHFeRemBteEAIfrom pyalink.alink import *useLocalEnv(2)# train itemCF modelitem_cf_model = ItemCfTrainBatchOp()\.setUserCol(USER_COL)\.setItemCol(ITEM_COL)\.setRateCol(RATING_COL)\.linkFrom(getSourceRatings())# save pipeline model to localPipelineModel(ItemCfItemsPerUserRecommender()\.setUserCol(USER_COL)\.setRecommCol(RECOMM_COL)\.setModelData(item_cf_model)).save(LOCAL_DIR + "pipeline_model.ak”)BatchOperator.execute()from pyalink.alink import *useRemoteEnv("10.101.**.**", 31805, 2)# train itemCF modelitem_cf_model = ItemCfTrainBatchOp()\.setUserCol(USER_COL)\.setItemCol(ITEM_COL)\.setRateCol(RATING_COL)\.linkFrom(getRemoteSourceRatings())fs = HadoopFileSystem("hdfs://10.*.*.*:9000/")# save pipeline model to hdfsPipelineModel(ItemCfItemsPerUserRecommender()\.setUserCol(USER_COL)\.setRecommCol(RECOMM_COL)\.setModelData(item_cf_model)).save(FilePath(fs, DATA_DIR + "pipeline_model.ak”))BatchOperator.execute().iCeliAeMBdel up���������https://raw.githubusercontent.com/SophonPlus/ChineseNlpCorpus/master/datasets/ChnSentiCorp_htl_all/ChnSentiCorp_htl_all.csv�����������������/��������������������������������������(Prepare data)�����(Text Pre-processing)�����(Text Vectorization)������Model Training)����(Evaluation)����(Prediction)�������HTTP�������������������Text Pre-processing�����Text Vectorization������Model TrainingPipeLine��(PipeLine Definition)�����/��/����������������������������Model Training����EvaluationConfusionMatrixRocCurveRecallPrecisionCurve����Prediction��PipeLine��������������������save��������Operator�������������������load�������������������Load������������������������������������oSf务nqPoScl)X布aysnqPi型up)eT_储nqPi型_储)如何部ri型到oSOCiCeliAe.fit( CiCeliAeMBdel.FaIe(F)LE_.AT( LBcal.EedictBE(F)LE_.AT( .maC(EBw LBcal.EedictBE h制.iCeliAe i型部roS• �����������������• �.���P�J��������A�����+����• �.���P�J��������A��������Alink 教程(即将出版)• ����+����������+�����/��.�������.���• ����+���������������)���/�����+���.����(��• �J��+���������������)���/�����+���.�������()• ����+�����������:+�+����/��)��.)��.��������+�Alink 相关资料欢vVmAliAk!

1、当您付费下载文档后,您只拥有了使用权限,并不意味着购买了版权,文档只能用于自身使用,不得用于其他商业用途(如 [转卖]进行直接盈利或[编辑后售卖]进行间接盈利)。
2、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。
3、如文档内容存在违规,或者侵犯商业秘密、侵犯著作权等,请点击“违规举报”。

碎片内容

构建流批一体的开源机器学习平台Alink-杨旭.pdf

您可能关注的文档

发表评论取消回复

参与评论可获取积分奖励  
确认删除?
回到顶部