sqoop安装与配置

It has been 1077 days since the last update, the content of the article may be outdated.

​ Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。

下载Sqoop

下载地址:http://archive.apache.org/dist/sqoop/

安装配置Sqoop

1. 解压至指定目录

   tar -zvxf sqoop-1.4.6-cdh5.7.0.tar.gz -C /export/servers

2. cd进入/export/servers目录

   cd /export/servers

3. 重命名sqoop(可忽略)

   mv sqoop-1.4.6-cdh5.7.0/ sqoop-1.4.6

   
4. 给个最高权限

   sudo chmod -R 777 /export

5. 修改configure-sqoop文件

   cd /export/servers/sqoop-1.4.6/bin

   

   vim configure-sqoop

6. 将其中关于Zookeep和HBase的行都注释掉，除非集群已经安装了Zookeep和Hbase
   
   
   
   
7. 添加/修改环境变量
   root用户,主节点执行，在/etc/profile文件末尾追加:

   sudo vim /etc/profile

   export SQOOP_HOME=/export/servers/sqoop-1.4.6
   export PATH=$PATH:$SQOOP_HOME/bin

8. 刷新配置

   source /etc/profile

9. 拷贝mysql的jdbc jar文件sqoop的lib目录
   

验证安装是否成功

1. 执行命令(以hadoop用户在主节点执行)

   sqoop version

2. 执行以下命令输入密码（密码为你数据库密码）完成后，屏幕上会显示MySQL数据库中所有数据库实例，例如前面章节新建的hive数据库

   sqoop list-databases --connect jdbc:mysql://master:3306/ --username root -P

   

关于报错

报错大部分的原因如下：

• 报错一
• 报错二

那么可能是mysql密码错误，如果不是密码错误请在mysql的登陆状态下执行:

grant all privileges on *.* to root@master identified by '密码';

flush privileges;

然后再执行sqoop命令

先说说这个错误，其实就是我们的MySQL不允许远程登录，所以远程登录失败了，解决方法如下：

1. 在装有MySQL的机器上登录MySQL

   mysql -u root -p密码 ;

2. 使用数据库

   use mysql

3. 执行这一句执行完可能会报错，不用管它。

   update user set host = '%' where user = 'root';

4. 刷新权限

   flush privileges;