文章詳情頁(yè)
java - hadoop數(shù)據(jù)查找
瀏覽：210日期：2024-02-06 11:45:32
問題描述
使用hadoop查找文件中是否含有某些字符串，也就是要查找出set(string)中每個(gè)string對(duì)應(yīng)的那一行，每條數(shù)據(jù)都不重復(fù)，請(qǐng)問怎么可以快速的找到呢？我寫了簡(jiǎn)單的
# map.shawk -F '03' ’$3==xxx{print $0}’ -
結(jié)果慢的要死，一直動(dòng)不都不懂，請(qǐng)問有快點(diǎn)的辦法嗎？最好是可以一次性找出集合中所有的
問題解答
回答1：這個(gè)寫MR吧，如果你想省事就把數(shù)據(jù)導(dǎo)入到hive中，用sql 來解決
標(biāo)簽：
java
相關(guān)文章：
1. 測(cè)試自動(dòng)化html元素選擇器元素ID或DataAttribute [關(guān)閉]2. html5 - datatables 加載不出來數(shù)據(jù)。3. javascript - QQ第三方登錄的問題4. html5和Flash對(duì)抗是什么情況？5. 利用IPMI遠(yuǎn)程安裝centos報(bào)錯(cuò)！6. node.js - mongodb查找子對(duì)象的名稱為某個(gè)值的對(duì)象的方法7. 運(yùn)行python程序時(shí)出現(xiàn)“應(yīng)用程序發(fā)生異常”的內(nèi)存錯(cuò)誤？8. 在mac下出現(xiàn)了兩個(gè)docker環(huán)境9. 正在使用electron和node.js做桌面應(yīng)用，需要實(shí)時(shí)監(jiān)聽是否有網(wǎng)絡(luò)連接，node或者electron是否可以做到10. spring-mvc - spring-session-redis HttpSessionListener失效
排行榜
熱門標(biāo)簽
網(wǎng)公網(wǎng)安備