Windows10系统下Hadoop和Hive开发环境搭建填坑方法
发布时间：2021-06-04 14:29:26 所属栏目：大数据 来源：互联网
导读：境准备 基于笔者的软件版本洁癖，所有选用的组件都会使用当前(2020-10-30)最高的版本。 软件 版本 备注 Windows 10 操作系统 JDK 8 暂时不要选用大于等于JDK9的版本，因为启动虚拟机会发生未知异常 MySQL 8.x 用于管理Hive的元数据 Apache Hadoop 3.3.0 - Ap
|
境准备
基于笔者的软件版本洁癖，所有选用的组件都会使用当前(2020-10-30)最高的版本。
软件 版本 备注
Windows 10 操作系统
JDK 8 暂时不要选用大于等于JDK9的版本，因为启动虚拟机会发生未知异常
MySQL 8.x 用于管理Hive的元数据
Apache Hadoop 3.3.0 -
Apache Hive 3.1.2 -
Apache Hive src 1.2.2 因为只有1.x版本的Hive源码提供了.bat启动脚本，有能力可以自己写脚本就不用下此源码包
winutils hadoop-3.3.0 Hadoop的Windows系统下的启动依赖
下面列举部分组件对应的下载地址：
Apache Hadoop 3.3.0：https://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.3.0/hadoop-3.3.0.tar.gz
Apache Hive 3.1.2：https://mirrors.bfsu.edu.cn/apache/hive/hive-3.1.2/apache-hive-3.1.2-bin.tar.gz
Apache Hive 1.2.2 src：https://mirrors.bfsu.edu.cn/apache/hive/hive-1.2.2/apache-hive-1.2.2-src.tar.gz
winutils：https://github.com/kontext-tech/winutils(如果下载速度慢，可以先把仓库导入gitee.com再下载，或者用笔者已经同步好的仓库https://gitee.com/throwableDoge/winutils)
下载完这一些列软件之后，MySQL正常安装为系统服务随系统自启。解压hadoop-3.3.0.tar.gz、apache-hive-3.1.2-bin.tar.gz、apache-hive-1.2.2-src.tar.gz和winutils到指定目录：
接着把源码包apache-hive-1.2.2-src.tar.gz解压后的bin目录下的文件拷贝到apache-hive-3.1.2-bin的bin目录中：
然后把winutils中的hadoop-3.3.0bin目录下的hadoop.dll和winutils.exe文件拷贝到Hadoop的解压目录的bin文件夹下：
 （编辑：甘孜站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
