All wisdom begins with memory.

CDH集群搭建文档一、环境要求1.操作系统1.1 软件依赖 Python 2.7+，不支持Python 3（安装HUE需要） perl python-psycopg2 2.5.4+（安装HUE需要） iproute package RHEL7：iproute-3.10 RHEL6：iproute-2.6 说明：通常这部分依赖环境操作系统已经自带，不需要手动安装。 1.2 系统版本 RHEL系列：6.10，6.9，6.8，7.2，7.3，7.4，7.5 SELS：12 SP3,12 SP2 Ubuntu系列：16.04 LTS 1.3 文件系统 ext3 ext4 XFS S3 Kudu仅支持ext4和XFS文件系统。 不支持NFS和NAS存储。 1.4 文件访问记录（挂载磁盘需要配置） Cloudera建议禁用该项功能，可以提升磁盘性能。 配置/etc/fstab文件： 1/dev/sdb1 /data1 ext4 defaults,noatime 0 0 不重启即生效命令： 1mount -o remount /data1 1.5 nproc配置 配 ...

Elastic Stack Elastic Stack是一套构建在开源基础之上，可以让我们安全可靠地采集任何来源、任何格式的数据，并且实时地对数据进行搜索、分析和可视化工具链。 ELK技术栈从上面这段定义可以看出Elastic Stack的几个特点：采集、转换、搜索、分析、可视化，这些功能分别由ElasticSearch、Kibana、Beats、Logstash这几个组件来实现。 数据搜索 精准查询 查询数据表中name等于张三的数据 select * from user where name = ‘张三’ 模糊查询 查询数据表中name中包含张三 select * from user where name like ‘%张三%’ 关联查询 查询数据表中任何列中可能包含张三的数据 select * from user where name like ‘%张三%’ or address like ‘%张三%’ or …….. 搜索查询 想要查询任何列跟张三有关系的数据，张哥 三叔 张三哥哥 当你不确定查询条件时，我们会使用搜索 全文检索全文检索是指： 通 ...

DolphinScheduler任务调度器DS基本介绍 DolphinScheduler是apache旗下一款顶级的工作流调度系统, 早期是由国内易观公司开发, 在2019年贡献给apache, 并成为apache旗下顶级项目, 主要作用: 实现工作流的调度操作 与 oozie是同类型的软件, 只不过比ooize提供了更加友好的操作界面, 可以直接通过界面对工作流进行完整的配置 启动 监控等相关的工作 安装DS 1- 将提供的DS的安装包拷贝到项目环境的_04_software 目录下 2- 将安装包拖拽到node1的 /export/software下 3- 进行解压操作, 并配置软连接 12345cd /export/softwaretar -zxf apache-dolphinscheduler-incubating-1.3.5-dolphinscheduler-bin.tar.gz -C /export/server/cd /export/server/ln -s apache-dolphinscheduler-incubating-1.3 ...

:happy:消息队列什么是消息队列 队列：是一种先进先出的数据结构 消息队列：是由生产者将数据从一端放入消息队列，由消费者按顺序从另一端进行取出使用 消息队列的应用场景 消息队列在实际应用中包括如下四个场景： 应用解耦：多应用间通过消息队列对同一消息进行处理，避免调用接口失败导致整个过程失败； 异步处理：多应用对消息队列中同一消息进行处理，应用间并发处理消息，相比串行处理，减少处理时间； 限流削峰：广泛应用于秒杀或抢购活动中，避免流量过大导致应用系统挂掉的情况； 消息驱动的系统：系统分为消息队列、消息生产者、消息消费者，生产者负责产生消息，消费者(可能有多个)负责对消息进行处理 消息队列的两种模式点对点模式 每个消息只能被一个消费者消费，一个生产者相当于对应一个消费者 消息被消费之后就删除 一对一 发布订阅模式 每个消息可以被多个消费者消费 消息被消费后不会被删除 一对多 常见的消息队列产品 :happy:Kafka的简介Kafka的基本介绍 Apache Kafka is an open-source distributed event streaming ...

junit 概述 是第三方公司编写的一个用于帮助程序员测试代码的框架; 特点 可以直接运行带 @Test注解的方法;(相当于main方法的功能) 可以自动生成测试报告; 可以批量运行多个方法,且部分方法出异常不会影响其他的测试; 使用步骤 入门代码12345678910111213141516171819202122232425/* 练习junit入门 */public class MyTest { // 1: 导jar包 // 2: 编写被测试的方法 // 3: 在想测的方法上面添加固定的注解 @Test public void a(){ System.out.println("a方法执行了..."); } @Test public void b(){ System.out.println("b方法执行了..."); int i=1/0; } public void ...

UDP(User Datagram Protocol) UDP全称为：用户数据报协议。 特点 无需事先建立连接; 数据不安全,容易丢; 效率高;(耗费资源少) 发送的数据量有大小限制; 相关类&常用方法(※) 相关类： DatagramSocket: 表示一个端点(套接字);如果是发送端,往往采用空参数的构造方法,而接收端必须指定固定的端口号; DatagramPacket: 表示一个包装袋;如果是发送端,需要指定接收端的ip和端口号;如果是接收端,只需要指定保存数据的数组和可用长度即可; 常用方法： 构造方法(创建Socket对象)： Public DatagramSocket():创建客户端的Socket对象，系统会随机分配一个端口号 Public DatagramSocket(int port): 创建服务端的Socket对象，并指定端口号。 构造方法(创建DatagramPacket数据包对象)： public DatagramPacket(byte[] arr, int length, InetAddress address, int port) 创建发 ...

Kafka基本命令Kafka是一个分布式流处理平台，提供了高吞吐量的数据传输能力。通过Kafka命令行工具，你可以轻松地与Kafka集群进行交互，包括生产、消费数据以及查看和修改偏移量。以下是一份使用指南，帮助你掌握这些基本操作。 基本命令包含创建Topic，查看所有Topic，查看Topic详情，删除Topic，模拟生产者生产数据，模拟消费者消费数据。 这也是上个博客的一种广度上的一种延伸，后续还会接着在这里补充。 【Spark笔耕不辍(三)】Kafka生产者消费者API及核心原理 | SilverSucks (weiswift.github.io) 12345678910111213141516171819202122# 创建主题：指定分区数和副本数kafka-topics.sh --create --topic bigdata01 --partitions 3 --replication-factor 2 --bootstrap-server node1:9092,node2:9092,node3:9092# 创建主题：不指定分区数和副本数，默认是1个分区，1个副本kafka ...

Nginx部署使用准备安装环境Linux服务器操作系统：CentOs 7.6 Nginx版本：1.12.1（Linux） 安装步骤：1、安装GCC、automake、pcre、zlib和openssl 为了编译Nginx源码，我们需要标准的GCC编译器（GNU Compiler Collection,自由的类UNIX及Mac OS X操作系统的标准编译器），另外，我们需要通过Automake工具，完成自动创建Makefile的工作，除此以外，Nginx的一些模块还需要依赖其他第三方库，通常有pcre库（支持rewrite模块）、zlib库（支持gzip模块）和openssl库（支持ssl模块）。 可以通过如下指令去查看Linux服务器上是否已经安装pcre、zlib和openssl 12345678//查看opensslrpm -qa openssl//查看zlibrpm -qa zlib//查看pcrerpm -qa pcre 如果没有安装以上三个库，鉴于以上Nginx运行的需求，我们需要执行以下代码： 1yum -y install gcc gcc-c++ automake p ...

PostMan概述PostMan是常用的http接口测试工具，无论是开发人员进行接口调试，还是测试人员做接口测试，postman都是首选工具之一 。PostMan是一款支持http协议的接口调试与测试工具，其主要特点就是功能强大，使用简单且易用性好 。相较于PostMan，还有一些国内的竞品软件如APIPost、APIPost7等、简单的进行接口测试其实都没有太大差别。 使用方法使用PostMan测试POST接口（不带参数） 使用PostMan测试POST接口（带参数） 注意事项 当前软件仅在测试或者少量查询中使用，如果是批量查询，请使用脚本。 当请求API存在高并发现象，可以使用多线程进行处理。 脚本调用API12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455565758596061626364656667686970717273747576777879808182838485868788899091929394959697impo ...

网络编程概述 所谓的网络编程就是利用程序,可以让数据通过网络进行交互; 网络编程三要素(ip, 端口, 协议) IP 概述 是上网设备在网络中的唯一标识; 分类 ipv4 是早期的标识,采用4个字节表示,转成十进制数字后使用点分割,数量有限,因此目前仅用在局域网中了; ipv6 是目前现行的标识,采用16个字节表示,转成十六进制数字后使用冒号分割,共有2的96次方的ip; Java提供的类-InetAddress 该类的对象用于描述一个ip地址对象,可以通过对象获取上网设备的名称和字符串形式的ip地址; 常用方法 12345678910111213141516public class MyIP { public static void main(String[] args) throws Exception { // 1, 获取本机的IP对象 InetAddress host = InetAddress.getLocalHost(); // 本机IP地址 System ...