Mysql分表操作+Case_When+PyMysql
分表操作为什么要分表,一个表不好吗?
这要从范式说起。
数据库系统概论里面是这样说的:
第一范式(1NF):字段不可分;
第二范式(2NF):有主键,非主键字段依赖主键;
第三范式(3NF):非主键字段不能相互依赖。
可能是我太菜了,看不懂,那就自己总结一下。
1NF(原子性)==> 所有字段不可再分
比如:
姓名
个人信息
张三
12岁,5年级,二班,男
这种就是不符合第一范式的,起码要将年级,班级,年龄,性别分为几个不同的字段。
2NF(唯一性)==> 一个表只能说明一个事物
比如:
学号
姓名
年龄
课程名称
成绩
学分
这个表就不符合第二范式,因为这个表明显说明了两个事务:学生信息, 课程信息。
这个不符合第二范式的表会导致如下问题:
数据冗余:每条记录都含有相同信息,比如课程名称相同,需要占用很多存储空间
删除异常:删除所有学生成绩,就把课程信息全删除了,这种就很难受
插入异常:学生未选课,数据库中的数据不完整会导致插入不进去
更新异常:调整课程学分,所有行都调整
3NF ==> 每列都与主键有直 ...
Linux常用命令(进阶)
Linux进阶命令Linux常用高级命令
1
top
查看内存
2
df -h
查看磁盘存储情况(并以人性化方式显示)
3
iotop
查看磁盘IO读写(yum install iotop安装)
4
iotop -o
直接查看比较高的磁盘读写程序
5
netstat -anp(-tunlp) | grep 端口号
查看端口占用情况
6
uptime
查看报告系统运行时长及平均负载
7
ps -aux
查看进程
8
echo
重定向,用于追加内容或者覆盖内容,输出内容到控制台
9
free
查看内存使用情况
10
ln (-s)
创建硬(软)链接
记得链式学习装虚拟机时一定要记住的命令:12345678910111213# 编辑虚拟机的网络vim /etc/sysconfig/network-scripts/ifcfg-ens33# 修改BOOTPROTO="none" # 看这里, 必须是none或者static, 不能是dhcpIPADDR="192.168.88.161"PREFIX=" ...
Kettle食用教程
我的博客园:https://www.cnblogs.com/liam-sliversucks/p/17389584.html
Kettle使用教程Kettle是什么
kettle原本是水壶的意思,是可以将一种类型的数据转换为另一种类型的数据,还可以对同种类型的数据进行筛选,分表操作。
对于企业或行业应用来说,经常会遇到各种数据的处理,转换,迁移,掌握一种ETL工具的使用,必不可少,这篇文章介绍的ETL工具是Kettle,现在已经更名为PDI。
可能我对于Kettle的了解还不是很深刻,但是先做好总结,为后续的ETL ==> 数据抽取(extract)、转换(transform)、加载(load)打好基础。
Kettle有什么用?ketlle可以在多种数据源之间进行快速转换。
kettle开发步骤:
新建转换
构建Kettle的数据流图
配置数据流图中的各个组件
保存并启动执行
Kettle的数据转换Txt数据转换ExcelExcel数据转换mysql数据MySQL数据表间转换插入-更新组件switch-case组件定时定次执行SQL脚本设 ...
集群配置前置VMware+Centos
本站由于部署在Github上,故很少上传图床。
为方便浏览,将一些带有图片的心得全部放在博客园
VMware for Mac出现版本过低问题
解决办法:在虚拟机解压文件夹中找到Windows 7 x64.vmx(比如node1.vmx都行)并用Notepad++打开,编辑ddb.virtualHWVersion = "18"将18改为14就解决了。这里我的Mac OS版本有点老了,新版的可以弄高点,免得出现一些莫名其妙的错误。
VMware安装VMware安装步骤for Windows
傻瓜式安装, 下一步下一步即可,再不会直接百度
细节: 优先装VM16, 其次VM15(如果开机蓝屏, 换版本即可), 本质没太大区别
验证成功去你的windows网络连接中, 能看到 VMNet1 和 VMNet8两个网卡即可
Vmware for Mac安装直接下一步就行,很人性化的,但是需要制定镜像。
注意这里的镜像是纯净版。
在VMware中安装虚拟机使用Linux时–两个常见问题
问题1: 装Linux系统的时候, IP忘记改了, 或者改错了怎么办?
123456 ...
FineBI食用教程
博客园地址:https://www.cnblogs.com/liam-sliversucks/p/17389178.html
FineBI食用教程FineBI有什么用?通过一个FineBI步骤来了解FineBI到底有什么用!
FineBI 功能模块
这里也是使用FineBI进行数据分析的一般步骤:
数据准备
数据加工(数据处理)
可视化分析(生成各种图表)
仪表板(把各种图表整合在一起)
分享仪表板
总结:FineBI是实现数据报表的工具
FineBI使用教程什么是FineBI
FineBI是一款数据可视化的软件,使用方式就是点点点。(好的,教程结束!/狗头)
其实,FineBI是一款免费的国内软件。图形化界面做的非常优秀,将数据进行可视化展示只需要拖拽,点击就可以轻松实现。
主要是说,以后用到图形化展示的场合肯定很多,用到FineBI也可能会很多,所以就有了这篇文章,方便以后进行再次学习。
如何使用FineBI
基本流程 简单口述一下,从FineBI的右边栏依次向上。
基本图形饼图钻取图柱状图加折线完结详见博客园
前端编程基础JavaScript
JavaScript基础JavaScript是什么
JavaScript是运行在浏览器端的脚本语言,它的作用就是负责网页和用户的交互效果。
JavaScript首先看到这个名字就知道跟Java肯定脱不开关系,这两种语言很像。JavaScript直译过来就是java脚本的意思,而语法上,JavaScript在定义变量时只用var。下面就看看这两种语言的具体差别吧!
JavaScript的引入方式具体有:行内式,内嵌式,外链式三种方式。
123456<!--js引入方式,行内式(主要用于事件)--><input type="button" name="" onclick="alert('ok!')"><!--js引入方式:内嵌式--><script type="text/javascript">alert("ok !")</script><!--js引入方式:外链式--><script t ...
前端编程基础Html+Css
Html基础
之前自学过不下两三次的HTML,大学也有前端课程,奈何两年没复习过就略有生疏了(额,其实是忘完了!)
我就想怎么能把这个前端给搞定呢,东西实在是忒多了!就有了今天这个笔记,稍稍带有总结的意思!
慢慢来吧!我头发还很多。
HTML中常用的标签常用的※123456789101112131415161718192021<!-- 1、成对出现的标签:--><!--注释方式--><h1>h1标题</h1><div>这是一个div标签</div><p>这个一个段落标签</p><!-- 2、单个出现的标签: --><br> <!--换行--><img src="images/pic.jpg" alt="图片"><hr> <!--在文档中创建一条水平线--><!-- 3、带属性的标签,如src、alt 和 href等都是属性 --><img src=" ...
Python进阶(Socket编程)
介绍:
面向Socket编程进阶(具体客户端,服务端语法)
使用线程使得服务端服务多个用户
用户之间的通信
面向Socket编程进阶服务端
创建Socket服务端的步骤
创建服务端端套接字对象 创建服务端socket对象 ==>so = socket.socket(AddressFamily, Type)
绑定端口号 bind((host, port)) 表示绑定端口号, host 是 ip 地址,port 是端口号
设置监听 listen (backlog) 表示设置监听,backlog参数表示最大等待建立连接的个数(128)
等待接受客户端的连接请求 accept() 表示等待接受客户端的连接请求
接收数据 recv(buffersize) 表示接收数据, buffersize 是每次接收数据的长度
发送数据 send(data) 表示发送数据,data 是二进制数据
关闭套接字 so.close()
服务端:
1234567891011121314151617import socketif __name ...
Hexo Butterfly Extension
Live2d+butterfly配置+valine在网上随处都可以搜到有关hexo的各种主题的文章,相关的教程数不胜数,可能有些从0开始的人就像我当初看了很多教程但是仍旧一样迷茫,而且有些人仍然对butterfly主题情有独钟,就像博主我一样。这篇文章将是一套完整的流程。(本篇文章是基于配置好了hexo和butterfly主题之后来进行后续的一系列操作的。若没有配置好可以参考上一篇文章)
看板娘配置看板娘是什么??
看板娘是一种动态的可互动的二维图像,采用目前最先进的live2d技术,Live2d是一种应用于电子游戏的绘图渲染技术,由日本Cybernoids公司开发,通过一系列的连续图像和人物建模来生成一种类似二维图像的三维模型,现阶段已用于web。
从github官网上看,目前星星最多的是这一位作者,在经过一番搜索发现,国内已经有很多相关对live2d web进行实践的先驱,但是追根溯源从资源来看,貌似都是出自一人之手。很多的作品都是基于这位作者进行的再创作,也可以叫魔改。
二次元都会懂。这里就不过多解释了。
1,从github上下载文件首先去作者的的网站下载看板娘部署文件,点击co ...
Python进阶(面向对象)
Class类学习
学习类,以及类的有关方法,都基本到了这门语言语法的末尾章节了。类相较于其他知识点也是比较难理解的。如构造方法,类的继承,多态。
1,类的构造方法
1,构建类的方法的时候会自动执行
2,构建类对象的传参会传递给构造方法
3,构造方法可以给类的成员变量赋值
写法1__init__(self):
Demo123456789101112131415class Student_info: #此处的定义可以不写,因为在self方法中self.name 既有赋值功能也有定义的功能 name = None age = None tel = None def __init__(self, name, age, tel): self.name = name self.age = age self.tel = tel print('Student类创建了一个类对象')student = Student_info('周杰伦',18,'1231232 ...

