shell命令執行hive指令碼(hive互動)

2022-02-25 19:01:34

Hive執行方式

Hive的hql命令執行方式有三種：

1、CLI 方式直接執行
2、作為字串通過shell呼叫hive –e執行（-S開啟靜默，去掉”OK”，”Time taken”）
3、作為獨立檔案，通過shell呼叫 hive –f或hive –i執行執行

方式1

鍵入「hive」，啟動hive的cli互動模式。Set可以檢視所有環境設定引數，並可以重設。其他命令如，
    Use database        選擇庫
    quit/exit   退出Hive的互動模式 
    set –v  顯示Hive中的所有變數
    set <key>=<value>       設定引數
    執行本地shell ：!<cmd>       互動模式下可執行shell命令，例如（檢視linux根目錄下檔案列表："!ls -l /;"）
    操作雲命令：dfs < command>        互動模式下直接操作hadoop命令如 dfs fs –ls
    Hql語句       執行查詢並輸出到標準輸出
    add [FILE|JAR|ARCHIVE] <value> [<value>]*       增加一個檔案到資源列表
    list FILE       列出所有已經新增的資源

方式二

Hql作為字串在shell指令碼中執行，如
    hive -e "use ${database};select * from tb"
查詢結果可以直接匯出到本地本件（預設分隔符為t）:
    hive -e "select * from tb" > tb.txt

如果需要檢視執行步驟，則在命令前面新增

set –x

另外，在shell指令碼中，字串有兩種定義方式:

1) 直接定義字串物件：sql=”字串”

2) 通過命令定義：sql=$(cat <<endtag 字串endtag)方式可以將字串複製給sql，執行hql命令的shell指令碼如下：

####### execute hive ######
sql=$(cat <<!EOF

USE pmp;
set mapred.queue.names=queue3;

drop table if exists people_targeted_delivery;
create table people_targeted_delivery
( special_tag_id int,
  cnt bigint
);

INSERT OVERWRITE LOCAL DIRECTORY '$cur_path/people_targeted_delivery'
ROW FORMAT DELIMITED FIELDS TERMINATED BY 't' 
select special_tag_id,count(1) 
from t_pmp_special_user_tags
group by special_tag_id;

!EOF)
############  execute begin   ###########
echo $sql
$HIVE_HOME/bin/hive -e "$sql"

exitCode=$?
if [ $exitCode -ne 0 ];then
         echo "[ERROR] hive execute failed!"
         exit $exitCode
fi

方式三

將hql語句儲存為獨立檔案，字尾名不限制，可以用.q或者.hql作為標識：
A，這個檔案在cli模式下，用source命令執行，如：source ./mytest.hql
B，在shell中執行命令，如：hive -f mytest.sql

Hive指定預執行檔案命令“hive –i”（或叫初始化檔案）

命令：hive -i hive-script.sql
在hive啟動cli之前，先執行指定檔案（hive-script.sql）中的命令。
也就是說，允許使用者在cli啟動時預先執行一個指定檔案，比如，有一些常用的環境引數設定，頻繁執行的命令，可以新增在初始化檔案中，比如，
    某些引數設定
        set mapred.queue.names=queue3;
        SET mapred.reduce.tasks=14;
    新增udf檔案
        add JAR ./playdata-hive-udf.jar;
    設定Hive的紀錄檔級別 
        hive -hiveconf hive.root.logger=INFO;

到此這篇關於shell命令執行hive指令碼(hive互動)的文章就介紹到這了,更多相關shell命令執行hive內容請搜尋it145.com以前的文章或繼續瀏覽下面的相關文章希望大家以後多多支援it145.com！

shell命令執行hive指令碼(hive互動)

目錄

Hive執行方式

方式1

方式二

方式三

熱門文章