跨境派

跨境派

跨境派,专注跨境行业新闻资讯、跨境电商知识分享!

当前位置:首页 > 卖家故事 > Ubuntu实现Hive与HBase的安装与配置(单机)

Ubuntu实现Hive与HBase的安装与配置(单机)

时间:2024-04-27 15:50:16 来源:网络cs 作者:言安琪 栏目:卖家故事 阅读:

标签: 配置  安装  实现 
阅读本书更多章节>>>>

(一)Hive的安装与配置

 Hive下载链接:

https://mirrors.bfsu.edu.cn/apache/hive/

(1)将下载好的Hive文件(版本:3.1.2)解压到/usr/local目录下

sudo tar -zxvf ./apache-hive-3.1.2-bin.tar.gz -C /usr/local

(2)切换至目录 /usr/local,将文件夹名改为hive,并且修改文件权限给本账户

cd /usr/local/sudo mv apache-hive-1.2.1-bin hivesudo chown -R yy:yy hive #自己的用户名

配置环境变量:为了方便使用,需把hive命令加入到环境变量中去,使用vim编辑器打开.bashrc文件,命令如下:

vim ~/.bashrc

在该文件最前面一行添加如下内容:

export HIVE_HOME=/usr/local/hive #自己的hive安装路径export PATH=$PATH:$HIVE_HOME/binexport HADOOP_HOME=/usr/local/hadoop #自己的hadoop安装路径

保存退出后,使用以下命令使配置生效:

source ~/.bashrc

(3)修改/usr/local/hive/conf下的配置文件:

首先将hive-default.xml.template重命名为hive-default.xml,命令:

cd /usr/local/hive/confmv hive-default.xml.template hive-default.xml

使用vim编辑器新建一个配置文件hive-site.xml,命令如下:

vim hive-site.xml

在hive-site.xml中添加如下配置信息:

<?xml version="1.0" encoding="UTF-8" standalone="no"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><configuration>  <property>    <name>javax.jdo.option.ConnectionURL</name>    <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value>    <description>JDBC connect string for a JDBC metastore</description>  </property>  <property>    <name>javax.jdo.option.ConnectionDriverName</name>    <value>com.mysql.jdbc.Driver</value>    <description>Driver class name for a JDBC metastore</description>  </property>  <property>    <name>javax.jdo.option.ConnectionUserName</name>    <value>hive</value>    <description>username to use against metastore database</description>  </property>  <property>    <name>javax.jdo.option.ConnectionPassword</name>    <value>hive</value>    <description>password to use against metastore database</description>  </property></configuration>

(4)进入/usr/local/hive/bin路径下,输入命令./hive,(注:一定要先启动hadoop,在hadoop路径下启动命令:sbin/start-dfs.sh)启动成功。

(二)HBase的安装与配置

(1)下载HBase

HBase的版本一定要和之前已经安装的Hadoop的版本保持兼容

参考官网的配置信息:
https://hbase.apache.org/book.html#hadoop

查看我的hadoop版本:

查阅官方文档,HBase-2.3.x可以与Hadoop3.3.1兼容

Hbase下载链接:
https://archive.apache.org/dist/hbase/

将压缩包解压并重命名:

sudo tar -zxvf ./hbase-2.3.1-bin.tar.gz -C /usr/localcd /usr/local/sudo mv hbase-2.3.1 hbasesudo chown -R yy:yy hbase 

(2)由于HBase依赖JAVA_HOME环境变量,所以要导入Java环境变量,编辑conf/hbase-env.sh文件,并取消注释以#export JAVA_HOME =开头的行,然后将其设置为Java安装路径

(3)配置环境,命令如下:

vim ~/.bashrc

在该文件最前面一行添加如下内容:

export HBASE_HOME=/usr/local/hbase #安装目录export PATH=$HBASE_HOME/bin:$PATH

(4)通过指令查看hbase是否安装成功同时也是查看HBase版本代码。出现一下信息即为成功。

(5)编辑hbase-env.sh文件,配置JAVA环境变量

vim /usr/local/hbase/conf/hbase-env.sh

在hbase-env.sh文件中添加

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 #自己的jdk安装目录export HBASE_MANAGES_ZK=true

(6)编辑hbase-site.xml

vim /usr/local/hbase/conf/hbase-site.xml

将以下代码添加到<configuration>。

<property>       <name>hbase.rootdir</name>       <value>file:///usr/local/hbase/hbase-tmp</value></property>

(7)测试是否配置成功

cd /usr/local/hbasebin/start-hbase.shbin/hbase shell

注:

如果启动hbase时报以下错误

启动hbase时报错: 2024-03-26 16:02:40,278 ERROR [main] conf.Configuration: error parsing conf hbase-site.xml com.ctc.wstx.exc.WstxParsingException: Illegal processing instruction target ("xml"); xml (case insensitive) is reserved by the specs. at [row,col,system-id]: [2,5,"file:/usr/local/hbase/conf/hbase-site.xml"]

解决方法:把hbase-site.xml中的红框部分删掉即可

参考博客:Hive&HBase部署

HBase单机配置

阅读本书更多章节>>>>

本文链接:https://www.kjpai.cn/gushi/2024-04-27/162940.html,文章来源:网络cs,作者:言安琪,版权归作者所有,如需转载请注明来源和作者,否则将追究法律责任!

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容,一经查实,本站将立刻删除。

文章评论