期末复习 简介 [x] 什么是大数据？ [x] 大数据的特征（4V,IBM） [x] 什么是数据挖掘？ [x] 知识发现的流程 数据挖掘的主要任务 [x] 关联规则挖掘 [x] 分类/回归 [x] 聚类分析 [x] 离群点检测 [x] 数据挖掘和其他学科的关系 认识数据和数据预处理 [x] 属性类型 [x] 数据类型 相似性度量 [x] 欧式距离 [x] 曼哈顿距离...

最优化问题 最优化问题值得四在一定约束条件下，求一个函数最大(小)值的过程； 由于极大极小问题可以互相转换,不失一般性，因此我们统一形式化描述如下： 一般而言，我们的目标是找到全局最小值。但是， 有些复杂的目标函数有多个局部最小值点。需要比较这些点处的目标函数值。 梯度下降 驻点的精确求解往往是困难的，在实践中我们往往通过迭代算法找到近似解：从一个初始点开始，基于某种规则，从移动到下一个点...

数理逻辑 命题 命题是指具有确切真值的判断语义； 原子命题：无法分解为更简单命题的命题； 复合命题：可以继续被分解的命题； 命题应该用大写的字母表示； 联结词 联结词 表示 真值 否定联结词 为真当且仅当为假 合取联结词 为真当且仅当均为真 析取联结词 为真当且仅当其一为真 蕴含联结词 为假当且仅当为真，为假 等价联结词 为真当且仅当同为真或者同为...

数据预处理 为什么要进行数据的预处理 现实世界的数据是“肮脏的” 不完整的：有些感兴趣的属性缺少属性值，或仅包含聚集数据 含噪声的：包含错误或者“孤立点” 不一致的：在编码或者命名上存在差异 没有高质量的数据，就没有高质量的挖掘结果 准确性 完整性 一致性 时效性：及时更新 可信性：数据是否被用户信赖 可解释性：数据是否容易理解 主要任务 数据清理 空缺值，噪声数据，...

Preface Content Problem Solution 树状数组、线段树、主席树 划分树 二叉搜索树、17ca8f1f-92a8-488d-99b2-ce09f9933fa4Treap3d22d550-4c99-4632-b2dd-fbb24196ae3a 8f629526-84ec-412b-bb96-d458325e46a3Splay2eb5b3c9-a4af-4d32-a11...

数据流挖掘 Background Content 数据流的三个特征 One by one Potentially Unbounded Concept Drift 数据流挖掘的四个挑战 单程处理Single Pass Handling 内存限制Memory Limitation 时间复杂度Low Time Complexity 概念漂移 Concept Drift 什么是概念漂移 In...

基本概念 常见的数据库产品有：关系型数据库MySQL，非关系型mongoDB，时序型InfluxDB,图型Neo4j； 这些数据库需要解决的共性问题如下： 数据模型、规范化理论：组织数据 数据定义和操作语言：存取数据 安全性控制：用户的操作数据的权限 并发性控制：多人操作同一数据 数据恢复：故障的补救 数据仓库、 数据挖掘 ：分析和发现有价值的数据 数据 数据是一种符号序列，它的内容是事...

概念 关系模式的五元组表示： R(U, D, DOM, F) R：关系名 U：组成该关系的属性名集合 D：属性组U中属性所来自的域 DOM：属性向域的映象集合 F：属性间数据的依赖关系集合 关系模式的简化三元组表示： R（U, F） 不好的数据库模式设计可鞥会导致如下问题： 数据冗余：浪费存储空间，引起异常。 操作异常：更新，删除，插入异常。 通常用模式分解的办法消除冗余和异常现象。...

SQL语言 对于SQL语言来说， 以同一种语法结构提供两种使用方法：既是自含式语言，又是嵌入式语言 语言简洁，易学易用，核心功能只需9个动词 DDL（数据定义语言）：CREATE、DROP、ALTER DML（数据操纵语言）： SELECT、INSERT、UPDATE、DELETE DCL（数据控制语言）：GRANT、REVOKE 以下式SQL Server的包含的数据类型： 数据...