由于數(shù)據(jù)存放在大數(shù)據(jù)平臺(tái)的Hive數(shù)據(jù)倉(cāng)庫(kù)中，我需要在Win10系統(tǒng)上利用Python3連接Hive，然后讀取數(shù)據(jù)，進(jìn)行探索、分析和挖掘工作。

我通過(guò)網(wǎng)上查找資料和實(shí)際測(cè)試，把Win10系統(tǒng)Python3成功連接Hive配置總結(jié)如下。

第一步：安裝依賴庫(kù)

pip install bitarraypip install bit_arraypip install thriftpip install thriftpypip install pure_saslpip install --no-deps thrift-sasl==0.2.1

提示：若是無(wú)法安裝，也可以點(diǎn)擊如下網(wǎng)址，

https://www.lfd.uci.edu/~gohlke/pythonlibs/

選擇合適庫(kù)的whl下載，然后進(jìn)行本地化安裝。

第二步：安裝impyla庫(kù)

我采用本地化安裝方式，先下載impyla庫(kù)的whl，如下圖：

再安裝

pip install E:/Python_Library/impyla-0.16.2-py2.py3-none-any.whl

提示：上面的絕對(duì)路徑根據(jù)你自己的情況而定

第三步：測(cè)試impyla庫(kù)是否可以使用

from impala.dbapi import connect #用來(lái)連接Hive的函數(shù)from impala.util import as_pandas #用來(lái)把數(shù)據(jù)結(jié)構(gòu)轉(zhuǎn)換為pandas

若是運(yùn)行通過(guò)，表示利用impala連接Hive配置成功。

簡(jiǎn)單示例：

從Hive的一張表讀取100條記錄，放到pandas的DataFrame里面。

參考代碼：

from impala.dbapi import connect #用來(lái)連接Hive的函數(shù)from impala.util import as_pandas #用來(lái)把數(shù)據(jù)結(jié)構(gòu)轉(zhuǎn)換為pandasconn = connect(host=’my.host.com’, port=21050)cursor = conn.cursor()cursor.execute(’SELECT * FROM mytable LIMIT 100’)df = as_pandas(cursor)cursor.close()

參考資料

https://github.com/cloudera/impyla

以上就是如何在Win10系統(tǒng)使用Python3連接Hive的詳細(xì)內(nèi)容，更多關(guān)于Python3連接Hive的資料請(qǐng)關(guān)注好吧啦網(wǎng)其它相關(guān)文章！