1、 下载zookeeper
1.1
下载地址 Apache
Downloads
1.1.1
解压 tar -zxvf apache-zookeeper-3.8.0-bin.tar.gz
2、 创建用于存放数据的文件夹data和传输数据的日志文件
2.1
mkdir data1 # data1全路径:/home/server/zookeeper/data1
mkdir data2
mkdir datalog1 #datalog1全路径 /home/server/zook...
1、 加压spark
tar -zxvf spark-3.3.0-bin-hadoop3.tgz
2、 修改配置文件
2.1 配置文件修改
mv spark-env.sh.template spark-env.sh
mv slaves.template slaves
2.2 修改spark-env.sh
2.2.1 修改命令
vi spark-env.sh
2.2.2 修改内容
export JAVA_HOME=/home/server/jdk1.8.0_33...
1、 确保已经配置了jdk
2、 解压scala
tar -zxvf scala-2.13.8.tgz
mv scala-2.13.8 scala
3、 配置环境变量
vim /etc/profile
export PATH=$PATH:/home/server/scala/bin
source /etc/profile
4、 验证环境搭建完成
scala 操作hudi
...
1、 创建mysql安装目录
mkdir mysql
2、 解压mysql压缩包到mysql安装目录
tar -xvf mysql-8.0.30-linux-glibc2.17-x86_64-minimal.tar
tar -xvf mysql-8.0.30-linux-glibc2.17-x86_64-minimal.tar.xz
3、 创建mysql用户 并授权
adduser mysql
4、 在mysql安装目录下创建目录并授权
mkdir data
...
一、下载的kafka,部署方式
1、 下载Apache Kafka
2、 安装
2.1解压 tar -zxvf kafka_2.13-3.2.1.tgz
注意解压后的目录需要更改名称 mv kafka-3.2.1-src kafka
2.2 创建数据存放目录
2.2.1先进入kafka 主目录 cd
/home/server/kafak
2.2.2 创建存放数据的目录
mkdir
-p zk/data
2....
1、 下载
1.1
下载地址
当前最新版本是apache-hive-4.0.0-appha-1,所以就下载当前版本,Index of
/hive/hive-4.0.0-alpha-1 (apache.org)
2、 安装
2.2 解压
tar -zxvf apache-hive-4.0.0-alpha-1-bin.tar.gz
2.3 重命名
mv apache-hive-4.0.0-alpha-1-bin hive
2.4 创建环境变量
2.5 更新环...
1、安装jdk
1.1 tar -zxvf server-jre-8u333-linux-x64.tar.gz
1.2 修改/etc/profile
export JAVA_HOME=/home/server/jdk1.8.0_333
2、安装hadoop
tar -zxvf hadoop-3.2.3.tar.gz
2.1、修改/home/server/hadoop/hadoop-3.2.3/etc/hadoop/hadoop-env.sh
配置文件中JAVA_HOME参数
...