ubantu上搭建hive环境-白红宇

ubantu上搭建hive环境

阅读量：5928 次

发布时间：2019-06-19

本文共 3637 字，大约阅读时间需要 12 分钟。

上次我们在ubantu上安装了hadoop，那我们现在再进一步，开始我们的学习之旅--hive板块吧！

第一步：准备！

软件：

　　I、一个搭建好的hadoop环境

　　II、hive的bin文件（前往apache官网，参考链接：http://www.apache.org/dyn/closer.cgi/hive/）；

　　III、MySQL（在ubantu上通过apt-get命令下载，命令顺序：apt-get update >> apt-get install -y mysql-server）

　　IV、MySQL的jar包，下载mysql-connector-java-5.1.10-bin.jar（网上找找）

必要了解：

　　hive通过将hadoop结构化的数据文件映射成一张表，将SQL查询解析为mapreduce任务实现统计查询，在大数据中主要干的是数据仓库和离线分析的事儿。hive中的元数据（metastore）存储有多种方式，这里为本地MySQL（hive也有自带的Derby实现）。

第二步：MySQL配置

　　下载MySQL，安装时会要求你输入root密码（我们这里设置为1234）。我们需要做的事情有：创建hive访问MySQL的用户名和密码，hive的metastore存储数据库　

　　I、登录MySQL：mysql -uroot -p1234

　　II、创建hive元数据存放的数据库以及用户名并赋权限

mysql > create database hive;mysql > GRANT ALL PRIVILEGES ON hive.* TO 'hive'@'localhost' IDENTIFIED BY 'hive'; mysql > FLUSH PRIVILEGES;

　　III、将下载的MySQL的jar包(mysql-connector-java-5.1.10-bin.jar)放到/home/shj/hive/lib

第三步：配置HIVE

　　我们需要将配置系统文件和hive配置文件。这一步难点就在hive-site.xml文件

　　I、将下载的hive解压到指定目录。这里解压到：/home/shj/hive

　　II、使用root账号配置/etc/bash.bashrc文件（也可以用普通账号，作用域不同而已）

　　　sudo su （输入密码） >> vim /etc/bash.bashrc >>（添加信息）export HIVE_HOME=/home/shj/hive export PATH=$PATH：/home/shj/hive/bin:.

　　III、配置/home/shj/hive/conf/hive-site.xml和对应参数说明（新建该文件）

　　　part1：文件内容

　　　hive.metastore.warehouse.dir：数据在hdfs中的存储位置

　　　hive.exec.scratchdir：用于存储不同map/reduce阶段的执行计划和这些阶段的中间输出结果

　　　javax.jdo.option.CoonectionURL：元数据库的URL

　　　javax.jdo.option.ConnectionDriverName：JDBC的driver，默认org.apache.derby.jdbc.EmbeddedDriver。我们这里使用的MySQL的JDBC

　　　javax.jdo.option.ConnectionUserName：链接使用的账号，是我们之前在MySQL中创建的那个

　　　javax.jdo.option.ConnectionPassword：MySQL中对应账号指定的密码

　　　part2：路径补充+赋权限

　　　对于配置文件中的路劲要有，创建他们并赋予权限

　　　　hadoop fs -mkdir -p /usr/hive/warehouse >> hadoop fs -chmod 766 /usr/hive/warehouse

　　　　hadoop fs -mkdir -p /usr/hive/tmp >> hadoop fs -chmod 766 /usr/hive/tmp


       
       
       
          
       
        hive.metastore.warehouse.dir
           
       
        /usr/hive/warehouse
         
        
          
       
        hive.exec.scratchdir
           
       
        /usr/hive/tmp
           
       
        Scratch space for Hive jobs
       
      
          
       
        javax.jdo.option.ConnectionURL
           
       
        jdbc:mysql://localhost/hive?createDatabaseIfNotExist=true
         
        
          
       
        javax.jdo.option.ConnectionDriverName
           
       
        com.mysql.jdbc.Driver
         
           
          
       
        javax.jdo.option.ConnectionUserName
           
       
        hive
         
           
          
       
        javax.jdo.option.ConnectionPassword
           
       
        hive