All wisdom begins with memory.

Python中的一些东西如果不常用的话很容易混淆，比如说os.path.split和os.path.splitext这两个函数，看着很像，细分的话发现自己竟然有点搞不清了，只能测试跑个demo看一下，着实难受，为了方便之后的使用，这里还是记录一下。 但是一些很常用的还是要记住的嗷！ os.path.split() os.path.split()是用于将路径分割成目录和文件名两部分。 比如有路径如下 ‘/home/user/file.txt’，os.path.split(该路径)则会得到一个列表list list[0] 为/home/user/ list[1] 为file.txt 案例演示1234567import ospath = '/home/user/file.txt'directory, filename = os.path.split(path)print('Directory:', directory)print('Filename:', fi ...

6ac2da9eb9c99339ab30e930f8fa5bb78282a93c4eb667a4d5c5f81431394d3ae7627650390053293aaebb6b55da6d0134b7e1ae9117c74a5733085ad424e5b676e507bdcfde5e0934e439ab59f77a7821001a9a1396967a07bc5d7d4645554158595382fa94069229bdf00874307b0587cdccb51319506c5bb862218b78cc8a9e8d128b58074433b90fa5a643b03428e33a71331009e52bd0d41b0343bd393f82471f60b27e4925135d2c8d40d15a0d4dbd840b2c26316ba54890e254cca2a8b8e4c49e2fcbd5cca8964adceab8c190919388fec0fa9610f5b50b1cf9f306579e3b176be8059a97e2d3492784defe0f1011599a321f318ff ...

什么是Ranger Apache Ranger是一个Hadoop平台上的全方位数据安全管理框架，它可以为整个Hadoop生态系统提供全面的安全管理。 安装Apache的软件要注意一点，就是各个版本的兼容性问题。 Apache Sentry和Ranger优缺点 一般来说：CDH自带的是Sentry，HDP的是Ranger。 Sentry是由Cloudera公司内部开发而来的，所以Sentry对HDFS，Hive以及同样由Cloudera开发的Impala有着很好的支持性. Ranger则是由于另一家公司Hortonworks所主导。相比较于Sentry而言，它能支持更丰富的组件，包括于 HDFS, Hive, HBase, Yarn, Storm, Knox, Kafka, Solr ,NiFi。 早期CDH版本只提供sentry的权限管理方案，后期新版本提供ranger作为替换方案，而CDH只有商业版本提供sentry升级ranger的服务，开源社区版并未提供这样的能力，可以说Ranger是Sentry的一个升级版。 两个组件的比较如下： Apache Ranger 拥有自己的 W ...

一些命令常用的必须得记住，不常用的忘了后续再翻翻。 查看系统型号环境相关 lscpu 用来查看cpu底层架构，比如是否为x86和arm架构这些 还可以获取cpu核数 lsblk 用于查看当前服务器中挂载上以及没有挂载上的磁盘 free -h 用于查看当前系统的内存状况 df -h 用于查看当前系统硬盘情况 统计Linux中文件夹的大小1du -sh /path/to/folder 其中： du 是用于显示文件或文件夹的磁盘使用情况的命令。 -s 选项表示只显示总和。 -h 选项表示以人类可读的格式显示结果，例如以KB、MB、GB等单位。 将上述命令中的/path/to/folder替换为你要统计的文件夹的实际路径。 执行命令后，会显示该文件夹的总大小。例如，输出可能是 2.3G /path/to/folder，表示文件夹的总大小为2.3GB。 awk命令统计文件大小 其实通过awk命令可以实现按列求和的功能，但是如果将awk和du命令结合，不就可以统计的时候实现求和了吗 有如下a.txt文件 123123.53 demo.py125.54 d ...

6ac2da9eb9c99339ab30e930f8fa5bb78282a93c4eb667a4d5c5f81431394d3af1a31ebc7bcda677f4bc33478ae68ffa3dc840b67e405dcce4efa8c837bcac3496a4f775cbc35c63bffcdd33195638abd6f755d06bf51da494441d3f4922a522a6d5707a8b26b86831eccbd12bdbe6dc240b5459fe8308feb58080dd7fdfa72a00fbc74a2b34a67fafca3b23495ff74a500bd9371923c0a637e7d541098d2b24613c3d8f503fd695e8f45deed4e4de6826941f1f2598e7a53b6f27fa9599bee32728e55c8b698a8d47b821405cc7e0a8cb99abdaee3a8916da3134e590d487a18117e1c7c5f1c666458da7de84dc3677d8ad2a94eac2ac640 ...

6ac2da9eb9c99339ab30e930f8fa5bb78282a93c4eb667a4d5c5f81431394d3ab3b1f62a869f7fc4fc8b52be249a09d3a655d136fc3d2333d34a15abac21b44c305ce6008c96bc39e8ab945efbc5267be69826d2095a80fd2c8f702b728367423fd8b4c03517b2c1f640e48d730c2cc48d4047e78048c6635ead06867599a2e9ef09ce9ac0e0af30c25ae4a0f910b60e17a00cddfdc9f5fe43e7ba2e117fc1bfae932abc5e12b69ee55b9225666fa64fe6f3796c8ba20edbb7d742636b2366f40d9b0519f5783fdf32bb2d5cec84fa4e01a75bbbc6601414dfc62c2e6b90b6a1bc17f2390fe0a2172f60c01ca988714156ea99a226933092c ...

iptables是Linux中的控制端口开启与关闭的命令，防止服务器的端口对外暴露。 但是一定要慎用，如果不慎配置错误则会导致服务器访问不了， 如下是一些查看，清理规则的命令（稍微可以挽救一下） 查看规则&&恢复默认设置 1234567891011121314151617181920# 查看已经设置的规则sudo iptables --list# 默认策略设置为ACCEPT，否则后续操作会导致连接断开，无法再次连接sudo iptables -P INPUT ACCEPTsudo iptables -P FORWARD ACCEPTsudo iptables -P OUTPUT ACCEPTsudo iptables -t nat -P PREROUTING ACCEPTsudo iptables -t nat -P POSTROUTING ACCEPTsudo iptables -t nat -P OUTPUT ACCEPT# 清空所有规则sudo iptables -Fsudo iptables -t nat -F# 删除所有非系统默认的链sudo iptab ...

6ac2da9eb9c99339ab30e930f8fa5bb79cb83323049856f54502acb18bc767489c6ac76f84a6c21f650b260d4324050bd996627d0aed46b5be58a1692d06505e17e9eeefa6ce8a341a7094c6277d33c41e19070a1ff132817fb70e2b4d9f1bea7766d9c0ebb538d6a1cb697be875bf07426debc14530b00b8fa2c88e5a142401355e740e9f4bfc118cef231420d26a625544ee0428360ac9fd5946bd21c1f907b1bc402ea3c5f410e734d48705b40f568039492586f83911760f3923c95c9444787a1d03801ef288ea3f80db0904c04c3f009366c2e8a19934946095a55d2671d04b0442446b9454042c1781839d2f4eac60198dfe63e81c8 ...

说明：这是一个不太成熟的博客，Redis算是初次接触，很多东西都不会，路还很长，很多东西要学。 参考： Redis命令大全（超详细）博客园 Redis 常用操作命令，非常详细！ 知乎 启动和关闭12345678# 关闭Redis：/usr/local/bin/redis-cli shutdown# Redis 启动！: /usr/local/bin/redis-server /etc/redis.conf# 后台启动：nohup /usr/local/bin/redis-server /etc/redis.conf & 远程连接Redis12345# 连接Redi：redis-cli -h 主机ip -p 6379（端口是可以说设置的）# 登陆Redi：auth yourpassword key操作命令123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051# 获取所有键keys *# 获取键总数: 语法：dbsize127.0.0. ...

【文言文】一. Elasticsearch 的基本概念1. 什么是Elasticsearch： Elasticsearch 是基于 Lucene 的 Restful 的分布式实时全文搜索引擎，每个字段都被索引并可被搜索，可以快速存储、搜索、分析海量的数据。 全文检索是指对每一个词建立一个索引，指明该词在文章中出现的次数和位置。当查询时，根据事先建立的索引进行查找，并将查找的结果反馈给用户的检索方式。这个过程类似于通过字典中的检索字表查字的过程。 2. Elasticsearch 的基本概念： （1）index 索引：索引类似于mysql 中的数据库，Elasticesearch 中的索引是存在数据的地方，包含了一堆有相似结构的文档数据。 （2）type 类型：类型是用来定义数据结构，可以认为是 mysql 中的一张表，type 是 index 中的一个逻辑数据分类 （3）document 文档：类似于 MySQL 中的一行，不同之处在于 ES 中的每个文档可以有不同的字段，但是对于通用字段应该具有相同的数据类型，文档是es中的最小数据单元，可以认为一个文档就是一条记录。 （4）Fie ...