设为首页收藏本站

软件技术联盟视频教程网

 找回密码
 立即注册

QQ登录

只需一步,快速开始

搜索
热搜: 活动 交友 discuz
1 2 3
查看: 366|回复: 21

[软件编程] 大数据-基于Spark的机器学习-智能客户系统项目实战

[复制链接]

1643

主题

1679

帖子

0

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
0

论坛元老

发表于 2018-1-3 15:10:36 | 显示全部楼层 |阅读模式


项目背景:
1、现在很多平台客户关系管理系统都是使用传统的CRM,所有的信息全靠手工录入,用户寻找上下游企业或者信息只能靠手工去查找并且标注。

2、大数据时代的到来,人工智能,云计算,先进的分析,用机器去替代人工的部分,从 2016 年趋势看,机器学习和人工智能 (AI) 将在未来几年内将会彻底改变 CRM。

因此我们对CRM进行了改造,主要有如下部分:
1、企业信息、商品信息来自互联网,机器学习去自动统计分析并且分类。
2、用户录入的商品信息和新从互联网爬来的商品信息全部通过机器学习计算的模型去分类。
3、机器学习自动计算企业和供求信息上下游。
4、机器学习每隔一段时间自动去优化计算模型。

根据图识,项目将分为三个部分。整个项目基本思路是如何通过爬虫爬取大量数据放到Hbase,然后通过ETL工具初步转化筛选将数据存到mongodb,抽取mongodb的数据进行清洗处理算出模型放到hdfs。后续进来数据通过模型运算出数据的类型。项目系统主要包括前端+后端+机器学习,前端采用React Native,Native,后端采用Dubbo+Spring+java,机器学习采用Spark进行实现,本项目机器学习-spark代码运行在mesos上。

本课程我们只针对以上图示的浅蓝色部分内容(即与机器学习相关的内容),通过用真实的智能客户项目系统作为案例(案例附带源码,可以直接做二次开发),主要根据项目实例穿讲机器学习以及相关知识,包括有:数据提取,数据清洗以及分词,数据特征值提取、机器学习模型计算、数据分类等等,进行详细讲解。

本课程所需掌握的技术:java、scala、IK、Hdfs、Spark ml、Spark Streaming、Spark SQL、Kafka、Zookeeper、Mongodb、Spring-Data-Mongodb,由于每个技术需要掌握的程度不一样,对于我们用到的一些开源技术,课程中将会是简单介绍如何使用,不会着重讲解。课程重点讲解spark ml、spark Streaming,以及如何使用这些技术进行项目的实战,贯穿项目系统并且最后串联所有技术。spark基于2.0.1版本讲解






购买主题 本主题需向作者支付 123 联盟币 才能浏览



上一篇:大数据实时流统计实战
下一篇:从无到有搭建中小型互联网公司后台服务架构与运维架构
回复

使用道具 举报

0

主题

106

帖子

0

积分

软件类VIP会员

积分
0

至尊VIP

发表于 2018-1-5 19:01:21 | 显示全部楼层
好,绝对给力,支持软件技术联盟
回复 支持 反对

使用道具 举报

0

主题

106

帖子

0

积分

软件类VIP会员

积分
0

至尊VIP

发表于 2018-1-5 19:01:22 | 显示全部楼层
好,绝对给力,支持软件技术联盟
回复 支持 反对

使用道具 举报

0

主题

79

帖子

0

积分

软件类VIP会员

积分
0

至尊VIP

发表于 2018-1-5 19:06:05 | 显示全部楼层
谢谢楼主的分享软件技术联盟非常不错
回复 支持 反对

使用道具 举报

0

主题

79

帖子

0

积分

软件类VIP会员

积分
0

至尊VIP

发表于 2018-1-5 19:06:06 | 显示全部楼层
谢谢楼主的分享软件技术联盟非常不错
回复 支持 反对

使用道具 举报

0

主题

183

帖子

0

积分

软件类VIP会员

积分
0

vip用户

发表于 2018-1-6 15:38:06 | 显示全部楼层
非常不错,期待软件技术联盟更多分享
回复 支持 反对

使用道具 举报

0

主题

183

帖子

0

积分

软件类VIP会员

积分
0

vip用户

发表于 2018-1-6 15:38:07 | 显示全部楼层
非常不错,期待软件技术联盟更多分享
回复 支持 反对

使用道具 举报

0

主题

183

帖子

0

积分

软件类VIP会员

积分
0

vip用户

发表于 2018-1-6 15:38:08 | 显示全部楼层
非常不错,期待软件技术联盟更多分享
回复 支持 反对

使用道具 举报

0

主题

117

帖子

0

积分

软件类VIP会员

积分
0

vip用户

发表于 2018-1-8 15:52:38 | 显示全部楼层
spark机器学习实战项目
回复 支持 反对

使用道具 举报

0

主题

20

帖子

0

积分

软件类VIP会员

积分
0
发表于 2018-1-15 21:35:05 | 显示全部楼层
大数据-基于Spark的机器学习-智能客户系统项目实
回复 支持 反对

使用道具 举报

0

主题

48

帖子

0

积分

软件类VIP会员

积分
0

vip用户

发表于 2018-2-9 00:06:41 | 显示全部楼层
谢谢楼主的分享软件技术联盟非常不错
回复 支持 反对

使用道具 举报

0

主题

3

帖子

0

积分

软件类VIP会员

积分
0
发表于 2018-2-9 10:22:02 | 显示全部楼层
大数据-基于Spark的机器学习-智能客户系统项目实战
回复 支持 反对

使用道具 举报

0

主题

13

帖子

0

积分

软件类VIP会员

积分
0

至尊VIP

发表于 2018-2-9 11:40:04 | 显示全部楼层

谢谢楼主的分享软件技术联盟非常不错
回复 支持 反对

使用道具 举报

0

主题

64

帖子

0

积分

软件类VIP会员

积分
0
发表于 2018-3-1 17:03:06 | 显示全部楼层
太给力了这么多好东西软件技术联盟
回复 支持 反对

使用道具 举报

0

主题

287

帖子

0

积分

软件类VIP会员

积分
0
发表于 2018-3-9 20:13:56 | 显示全部楼层
看了LZ的帖子,我只想说一句很好很强大软件技术联盟
回复 支持 反对

使用道具 举报

0

主题

61

帖子

0

积分

软件类VIP会员

积分
0
发表于 2018-3-10 15:45:53 | 显示全部楼层
你真的好不错
回复 支持 反对

使用道具 举报

0

主题

145

帖子

0

积分

软件类VIP会员

积分
0
发表于 2018-3-18 14:41:53 | 显示全部楼层
谢谢楼主的分享软件技术联盟非常不错
回复 支持 反对

使用道具 举报

0

主题

56

帖子

0

积分

软件类VIP会员

积分
0

vip用户

发表于 2018-5-3 14:43:26 | 显示全部楼层
哈哈,挺 不错的,
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|申请友链|Archiver|手机版|小黑屋|软件技术联盟视频教程网    

GMT+8, 2018-7-16 04:57 , Processed in 0.650754 second(s), 41 queries .

Powered by Discuz! X3.2 Licensed

© 2001-2013 Comsenz Inc.

快速回复 返回顶部 返回列表