联系客服
关注公众号
【数据挖掘】大数据的启蒙认知课百度网盘下载......
【数据挖掘】大数据的启蒙认知课百度网盘下载
【数据挖掘】大数据的启蒙认知课
讲师介绍
涂子沛
前阿里巴巴副总裁
涂子沛,本科毕业于华中科技大学计算机系。后在武警部队和政府部门工作十年,期间开发过全国第一个反偷渡遣返信息管理系统,担任过边防巡逻艇的指挥官。后辞去公职赴美读书,获卡内基梅隆大学公共管理硕士、信息科学硕士学位。在美期间,先后担任软件公司的数据仓库程序员、数据部门经理、数据中心主任、亚太事务总监、首席研究员等职务。
曾为《南方都市报》、《时代周报》、艾瑞网等多个报刊网站撰写专栏,着有《大数据》、《数据之巅》。
大数据 互联网 数据挖掘
数据和石油一样早就存在,但是人类开采使用石油后,才进入百年的石油时代;我们这个时代数据的采集、记录手段变多变廉价了,挖掘技术更加强大,数据的作用日益凸显,所以将要进入数据时代。
讲座:阿里巴巴涂子沛:大数据的启蒙认知课
1.1大数据的定义
1.2数据叠加可引发爆炸效果
1.3大数据帮助机器代替小二腐败
1.4业务数据化和数据业务
(1)数据调研
业务调研
整个阿里集团涉及的业务涵盖电商、数字娱乐、导航(高德)、 移动互联网服务等领域。各个领域又涵盖多个业务线,如电商领域就涵盖了 C 类(淘宝、天猫、天猫国际)与 B 类(阿里巴巴中文站、国际站 、速卖通)业务。数据仓库是要涵盖所有业务领域,还是各个业务领域独自建设,业务领域内的业务线也同样面临着这个问题。所以要构建大数据数据仓库,就需要了解各个业务领域、业务线的业务有什么共同点和不同点 ,以及各个业务线可以细分为哪几个业务模块,每个业务模块具体的业务流程又是怎样的。业务调研是否充分,将会直接决定数据仓库建设是否成功 。
需求调研
可以想象一下,在没有考虑分析师、业务运营人员的数据需求的情况下,根据业务调研建设的数据仓库无疑等于闭 门造车。了解了业务系统的业务后并不代表就可以进行实施了,此刻要做的就是收集数据使用者的需求,可以去找分析师、业务运营人员了解他们有什么数据诉求,此时更多的就是报表需求。需求调研的途径有两种: 一是根据与分析师、业务运营人员的沟通(邮件、 IM )获知需求: 二是对报表系统中现有的报表进行研究分析 。通过需求调研分析后,就清楚数据要做成什么样的。很多时候,都是由具体的数据需求驱动数据仓库团队去了解业务系统的业务数据,这两者并没有严格的先后顺序。举例 : 分析师需要了解大淘宝(淘宝、天猫、天猫国际) 一级类目的成交金额。当获知这个需求后,我们要分析根据什么(维度)汇总,以及汇总什么(度量),这里类目是维度,金额是度量:明细数据和汇总数据应该怎样设计?这是一个公用的报表吗?是需要沉淀到汇总表里面,还是在报表工具中进行汇总?
(2)架构设计
数据域划分
数据域是指面向业务分析,将业务过程或者维度进行抽象的集合。业务过程可以概括为一个个不可拆分的行为事件,如下单、支付、退款。为保障整个体系 的生命力,数据域需要抽象提炼,并且长期维护和更新,但不轻易变动。在划分数据域时,既能涵盖当前所有的业务需求,又能在新业务进入时无影响地被包含进已有的数据域中或者扩展新的数据域。
构建总线矩阵
在进行充分的业务调研和需求调研后,就要构建总线矩阵了。需要做两件事情 :明确每个数据域下有哪些业务过程;业务过程与哪些维度相关,并定义每个数据域下的业务过程和维度。
(3)规范定义
规范定义主要定义指标体系,包括原子指标、修饰词、时间周期和派生指标。
(4)模型设计
模型设计主要包括维度及属性的规范定义,维表、明细事实表和汇总事实表的模型设计。略。
(5)总结
OneData 的实施过程是一个高度迭代和动态的过程, 一般采用螺旋式实施方法。在总体架构设计完成之后,开始根据数据域进行迭代式模型设计和评审。在架构设计、规范定义和模型设计等模型实施过程中,都会引人评审机制,以确保模型实施过程的正确性。

网络营销 2020-07-14 49人浏览 13人下载

[PostgreSQL] PostgreSQL 9.3 DB......
PostgreSQL是以加州大学伯克利分校计算机系开发的 POSTGRES,现在已经更名为PostgreSQL,版本 4.2为基础的对象关系型数据库管理系统(ORDBMS)。PostgreSQL支持大部分 SQL标准并且提供了许多其他现代特性:复杂查询、外键、触发器、视图、事务完整性、MVCC。同样,PostgreSQL 可以用许多方法扩展,比如, 通过增加新的数据类型、函数、操作符、聚集函数、索引。免费使用、修改、和分发 PostgreSQL,不管是私用、商用、还是学术研究使用。-------------课程目录-------------1 PostgreSQL系统概述与编译安装.mp42 PostgreSQL 物理,逻辑,进程结构以及系统表系统函数.mp43 PostgreSQL psql的使用,SQL语法,数据类型,递归SQL用法.mp44 PostgreSQL 索引,全文检索,模糊匹配,近似度匹配.mp45 PostgreSQL 执行计划,成本公式解说,代价因子校准,自动跟踪SQL执行计划.mp46 PostgreSQL 连接池, 本地高速缓存, 异地高速缓存.mp47 PostgreSQL 物理备份和还原, 逻辑备份和还原.mp48 PostgreSQL 流复制搭建主从环境,同步和异步的解释,压力测试,主从角色切换.mp49 PostgreSQL 点对点多主表级复制-触发器篇.mp410 PostgreSQL 表级复制-物化视图篇,支持异地,异构如Oracle到pg的物化视图.mp411 PostgreSQL 表级复制-Londiste3安装以及使用.mp412 PostgreSQL 表级复制-Londiste3一对多的复制以及DDL排错.mp413 PostgreSQL 表级复制-Londiste3级联复制以及provider的切换.mp414 PostgreSQL 表级复制-Londiste3哈希数据分区复制.mp415 PostgreSQL 表级复制-Londiste3多节点数据同步合并到单节点.mp416 PostgreSQL 本地分区表的用法和优化.mp417 PostgreSQL shared nothing分布式用法讲解.mp418 PostgreSQL 事务隔离级别的实现和多版本并发控制.mp419 PostgreSQL 锁类型,锁模式,锁冲突,死锁检测的介绍.mp420 PostgreSQL 监控1 统计进程和统计信息的解读.mp421 PostgreSQL 监控2 趋势监控数据收集和分析, nagios实时监控部署和自定义监控.mp422 PostgreSQL 监控3 PostgreSQL性能快照和图形化分析工具pg_statsinfo的使用.mp423 PostgreSQL 监控4 动态内核跟踪stap篇.mp424 PostgreSQL 日常维护和巡检.mp4PostgreSQL 9.3 DBA1.jpgPostgreSQL 9.3 培训 - D1.pdfPostgreSQL 9.3 培训 - D2.pdfPostgreSQL 9.3 培训 - D3.pdfPostgreSQL 9.3 培训 - D4.pdfPostgreSQL 块增量备份.mp4

数据库 2019-03-08 331人浏览 12人下载

尚硅谷MySQL高级教程
MySQL 是目前最流行的关系型数据库管理系统,在 WEB 应用方面 MySQL 也是目前最好的 RDBMS 应用软件之一。随着淘宝去IOE(去除IBM小型机、Oracle数据库及EMC存储设备)化的推进,MySQL 数据库在当前的互联网应用中变得越来越重要,本教程主要讲授针对 Java 开发所需的 MySQL 高级知识,课程中会让大家快速掌握索引,如何避免索引失效,索引的优化策略,了解innodb和myisam存储引擎,熟悉MySQL锁机制,能熟练配置MySQL主从复制,熟练掌握explain、show profile、慢查询日志等日常SQL诊断和性能分析策略。【课程内容】课程简介MySQL简介RPM安装ROOT密码设置和开机自启动安装位置修改字符集MySQL配置文件MySQL逻辑架构简介存储引擎简介SQL性能下降原因SQL执行加载顺序七种JOIN理论七种JOIN的SQL编写索引是什么索引优势劣势索引分类和建索引命令语句索引结构与检索原理哪些情况适合建索引哪些情况不适合建索引性能分析前提知识explain使用简介explain之id介绍explain之select_type和table介绍explain之type介绍explain之possible_keys和key介绍explain之key_len介绍explain之ref介绍explain之rows介绍explain之Extra介绍explain之热身Case索引单表优化案例索引两表优化案例索引三表优化案例索引优化索引面试题分析索引优化答疑补充和总结口诀小表驱动大表in和exists为排序使用索引OrderBy优化慢查询日志批量插入数据脚本用Show Profile进行sql分析全局查询日志数据库锁理论概述读锁案例讲解行锁理论行锁案例讲解行锁演示答疑补充索引失效行锁变表锁间隙锁危害如何锁定一行行锁总结主从复制

数据库 2019-02-18 430人浏览 7人下载

MongoDB 3.2.8入门到精通视频教程......
【课程内容】 1.准备工作之下载centos,mongodb,GUI安装和介绍 2.Databases和Collections,Document概念分析 3.Capped Collections介绍及生产环境之疲劳度过滤,日志应用 4.Bson结构解析以及$type和_id原理详细分析 5.mongodb shell使用loadjs与mongodb高速交互分析 6.高频咨询之sql statement 和mongodb statement对照分析和记忆 7.mongodb之比较运算符详解($eq,$gt,$lt,$ne,$in,$nin) 8.mongodb之逻辑和运算运算符详解($or,$and,$not,$nor,$exists,$type) 9.mongodb之评估运算符($mod,$regex,$text,$where,$all,$elemMatch,$size) 10.mongodb之update运算符分析一($inc,$mul,$rename,$setOnInsert) 11.mongodb之update运算符分析二($set,$unset,$min,$max,$currentDate) 12.mongodb之数组操作运算符分析($,$addToSet,$pop,$pull,$pullAll,$pushAll,$push) 13.mongodb之数组操作运算符和位运算分析($each,$slice,$sort,$position,$bit) 14.mongodb之CURD众方法详解之Insert,Find[One,Many,Replace]分析 15.mongodb之CURD众方法详解之Bulk,Update,Delete[One,Many]分析 16.mongodb索引之Index索引原理分析之创建single field indexes分析 17.mongodb索引之使用multikey,hashIndex,paritalIndex索引分析 18.mongodb索引之使用sparseIndex及ttlIndex及我们生产二次营销场景分析 19.mongodb索引管理【create,Drop,ReBuild,GetAll】等操作分析 20.mongodb索引之Query plan及官方对index的策略分析 21.分布式文件存储利器之GridFS分析和mongofiles工具介绍 22.mongodb之重量级Aggregation Pipeline框架详细分析 23.mongodb之轻量级聚合框架之db.collections.group详解 24.mongodb之分布式计算框架MapReduce讲解 25.mongodb存储之WiredTiger,MMap,In-Memory三种存储引擎性能分析 26.mongodb分布式部署之使用Master-Slave集群 27.mongodb分布式部署之ReplicaSet集群(我们生产已经使用到的) 28.mongodb分布式部署之mongodb Sharding分片终极之海量数据部署 29.运维必备之mongostat,mongotop,HttpConsole实时监控mongodb 30.C#,Java驱动下载之连接我们的mongodb进行高效开发

数据库 2019-01-29 323人浏览 5人下载

万门大学:MySQL零基础特训班 百度云网盘下载......
万门大学:MySQL零基础特训班 百度云网盘下载
部分目录:
4、课程:聚合及进阶.13、代码实现 .mp4
4、课程:聚合及进阶.12、约束 .mp4
4、课程:聚合及进阶.11、FOREIGN KEY Constrains .mp4
4、课程:聚合及进阶.10、拆解成 .mp4
3、课程:添加数据.9、实例讲解(一) .mp4
3、课程:添加数据.8、点餐案例讲解(二) .mp4
3、课程:添加数据.6、作业讲解(二) .mp4
3、课程:添加数据.5、作业讲解(一) .mp4
3、课程:添加数据.4、案例讲解(三) .mp4
3、课程:添加数据.3、案例讲解(二) .mp4
3、课程:添加数据.2、案例讲解(一) .mp4
3、课程:添加数据.1、创建产品表单.mp4 .mp4
3、课程:添加数据.12、实例讲解(四) .mp4
3、课程:添加数据.11、实例讲解(三) .mp4
3、课程:添加数据.10、实例讲解(二) .mp4
2、课程:创建表单.8、常用的一些定义 .mp4
2、课程:创建表单.7、Year 2038 problem .mp4
2、课程:创建表单.6、CHAR vs VCHAR .mp4
2、课程:创建表单.5、浮点(二) .mp4
2、课程:创建表单.4、浮点(一) .mp4
2、课程:创建表单.3、代码实现(二) .mp4
2、课程:创建表单.2、代码实现(一) .mp4
2、课程:创建表单.1、创建数据表单 .mp4
1、课程:数据库概要.9、关系型数据库(二) .mp4
1、课程:数据库概要.8、关系型数据库(一) .mp4
1、课程:数据库概要.7、数据库相关数据 .mp4
1、课程:数据库概要.6、数据库的特点 .mp4
1、课程:数据库概要.5、数据存储及访问的问题 .mp4
1、课程:数据库概要.4、计算机应用案例 .mp4
1、课程:数据库概要.3、工具下载安装(二) .mp4
1、课程:数据库概要.2、工具下载安装(一) .mp4
1、课程:数据库概要.1、课程简介 .mp4
1、课程:数据库概要.15、数值型存储空间 .mp4
1、课程:数据库概要.14、数据类型 .mp4
1、课程:数据库概要.13、SELECT语句 .mp4
1、课程:数据库概要.12、创建 .mp4
1、课程:数据库概要.11、SQL语言 .mp4
1、课程:数据库概要.10、怎么使用数据库 .mp4
14、课程:基于RDS的维度数据模型.9、案例分析(二) .mp4
14、课程:基于RDS的维度数据模型.8、案例分析(一) .mp4
14、课程:基于RDS的维度数据模型.7、Slowly changing dimension SCD .mp4
14、课程:基于RDS的维度数据模型.6、促销事实 .mp4
14、课程:基于RDS的维度数据模型.5、选择业务过程 .mp4
14、课程:基于RDS的维度数据模型.4、如何设计维度模型 .mp4
14、课程:基于RDS的维度数据模型.3、星型模式与OLAP多维数据库 .mp4
14、课程:基于RDS的维度数据模型.2、数据分析的特点、各种OLAP的操作 .mp4
14、课程:基于RDS的维度数据模型.1、数据分析的场景 .mp4
14、课程:基于RDS的维度数据模型.18、答疑(六) .mp4
14、课程:基于RDS的维度数据模型.17、答疑(五) .mp4
14、课程:基于RDS的维度数据模型.16、答疑(四) .mp4
14、课程:基于RDS的维度数据模型.15、答疑(三) .mp4
14、课程:基于RDS的维度数据模型.14、答疑(二) .mp4
14、课程:基于RDS的维度数据模型.13、答疑(一) .mp4
14、课程:基于RDS的维度数据模型.12、商品属性 .mp4
14、课程:基于RDS的维度数据模型.11、物化视图 .mp4
14、课程:基于RDS的维度数据模型.10、案例分析(三) .mp4
13、课程:MySQL调优入门.7、架构上的调整SCALE .mp4
13、课程:MySQL调优入门.6、水平分区 .mp4
13、课程:MySQL调优入门.5、案例分析(三) .mp4
13、课程:MySQL调优入门.4、案例分析(二) .mp4
13、课程:MySQL调优入门.3、案例分析(一) .mp4
13、课程:MySQL调优入门.2、查询语句的优化 .mp4
13、课程:MySQL调优入门.1、MySQL查询过程 .mp4
12、课程:进阶数据类型(下).8、答疑(二) .mp4
12、课程:进阶数据类型(下).7、答疑(一) .mp4
12、课程:进阶数据类型(下).6、布尔模式 .mp4
12、课程:进阶数据类型(下).5、STOPWORDS .mp4
12、课程:进阶数据类型(下).4、全文索引代码实现 .mp4
12、课程:进阶数据类型(下).3、分词 .mp4

数据库 2020-03-25 79人浏览 4人下载