問題描述

想寫一個(gè)python分析統(tǒng)計(jì)apache 網(wǎng)站日志文件并將統(tǒng)計(jì)后的數(shù)據(jù)存入mysql中的的腳本，有沒有參考的，沒有思路主要是統(tǒng)計(jì) 哪些url被爬取了 及 被爬取次數(shù)，以及IP這兩個(gè)

問題解答

先把原始數(shù)據(jù) 規(guī)整化，然后 key 值自己定，然后用 collections 的 Counter 統(tǒng)計(jì)，然后再遍歷寫入 db， 大概代碼如下：

data = [’/a 1.2.1.2’, ’/b 2.2.2.2’, ’/c 1.1.1.1’, ’/d 2.2.2.2’, ’/d 2.2.2.2’]from collections import Counterc = Counter(data)print c

Counter({’/d 2.2.2.2’: 2, ’/b 2.2.2.2’: 1, ’/a 1.2.1.2’: 1, ’/c 1.1.1.1’: 1})

你也可以自己維護(hù)字典，鍵為：/PATH:IP 或者什么，自己定，然后一邊遍歷，一邊添加就好了