avatar

路漫漫其修远兮

数据挖掘课程复习笔记

大纲 1.认识数据挖掘1、数据挖掘的定义 2、有指导学习和无指导学习 3、数据挖掘的过程 2.基本数据挖掘技术1、决策树概念和C 4.5算法的一般过程 2、决策树关键技术:最大增益率 3、决策树规则:决策树,产生式规则,正确率和覆盖率 4、Apriori算法的基本思想 5、关联规则及其置信度和支持度 6、K-means算法的基本思想 7、K-means聚类分析实例 3.数据库中的知识发现1、KDD的定义(了解) 2、数据预处理:直方图归约、数据规范化和数据平滑 5.评估技术1、评估分类类型输出模型:混淆矩阵和分类正确率、查

大数据存储课程笔记

第一章 产生背景横向拓展,水平拓展;用更多的节点支持更大量的请求。 纵向拓展,垂直拓展;扩展一个节点的能力支撑更大量的请求。 大数据的特点:volume,velocity,variety,value 横向拓展需求、系统可靠可用、一致性需求在传统的关系模型下无法有效解决 大数据需要怎样的存储大数据存储的集群系统,需要满足: 能够对集群内的计算机及存储资源进行统一管理、调度和监控 能够对集群内的数据进行分散存储和统一管理 集群内的计算机可以共同完成一个任务,分工协作、负载均衡 当集群中某一台计算机发生故障,集群可以保

大数据存储复习课

复习课 考试题型 论述题(30分) -论述自己对概念的理解 分布式数据库设计及查询优化(20) -分布式数据库的设计,分片的设计、定义、对应的查询优化 分布式存取优化(30) -物理上的特征指标、传输代价的计算 存储结构设计 (10) -HBase设计、布隆过滤器设计(PPT) 分布式事务 (10) -一致性、并发控制 三次作业分别对应了2、3、4项 章节回顾 第一章 大数据的由来(为什么会产生大数据存储系统?横向拓展需求、系统可靠可用、一致性需求在传统的关系模型下无法有效解决) 大数据的特点 大数据需要怎样的存储系统 第二章 客户/服

Docker导出与迁移

本文主要介绍docker迁移与备份的操作方式,以及docker save和docker export的区别。 docker savedocker save 将docker image 将docker container的所有层保存到一个tar文件中,命令如下: 1 2 docker save IMAGE -o 114.tar docker save IMAGE > 114.tar # 采用重定向的方式也能保存 docker save 对应的读取命令为docker load。 docker exportdocker export将docker container的当前状态(无论容器是在运行或是停止)保存到一个tar文件中,且保存的是一个扁平的层,命令如下: 1 2 docker export CONTAINER -o 114.tar docker export CONTAINER > 114.tar # 采用重定向的方式也能保存 `docker export` 对应的命令

服务监听地址

问题描述在ECS上搭建了MySQL服务端,防火墙安全组一切正常,却无法远程访问。 排查 检查连通性使用本地的电脑扫描服务器端口,得到结果如下: 1 2 3 4 5 6 7 8 9 10 ⚡yangz ❯❯ nmap -sS MD Starting Nmap 7.93 ( https://nmap.org ) at 2023-01-26 19:23 中国标准时间 Nmap scan report for MD Host is up (0.045s latency). Not shown: 996 filtered tcp ports (no-response) PORT STATE SERVICE 22/tcp open ssh 80/tcp open http 443/tcp closed https 3306/tcp closed mysql 结果说明3306的端口是放行的,但服务端未能正常工作。 检查端口在ECS上检查所有端口的使用情况: 1 2 3 4 root@minedl:~# netstat -lntp Active Internet connections (only servers) Proto Recv-Q Send-Q Local Address Foreign Address State PID/Program name tcp 0 0 127.0.0.1:3306 0.0.0.0:* LISTEN 24735/mysqld mysql绑定到了本地回环测试的地址上,所以无法对外提供服务。也就是问题

HSV调试工具

Opencv经常会读取hsv颜色空间的图片,在图片上使用颜色提取器往往不能得到准确结果;如果图像中有多个颜色的不同目标,颜色提取工作也是很麻烦的。 为了方便使用,于是我开发了一个小工具,此工具可以导入一张图片,通过6个进度条的拖动操作来实现HSV三个值的上下限设定,并将结果实时显示到mask和result层,从而缓解上述问题。 仅需拖动进度条,即可快速定位多个目标的HSV范围,甚至可以精确到某一个值。 代码如下: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 import cv2 import numpy as np
0%