問題描述

背景： Python3 下使用 bs4 的 select 去獲取 ZOZO首頁上方的 coupon 信息中店鋪名字。 （國(guó)內(nèi)ip貌似看不到優(yōu)惠券信息，需要翻一下才能看到，最好是島國(guó)ip）

問題： 發(fā)現(xiàn)自己找不到他的店鋪名字在寫在什么地方，不知道怎么取，前端 js 不懂，請(qǐng)教諸位解答。謝謝。

自己的代碼如下：

import requests, bs4shopName = ’BEAUTY&YOUTH’url = ’http://zozo.jp/’def getZozoCoupon(): res = requests.get(url, headers={'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.110 Safari/537.36'}) res.raise_for_status() soup = bs4.BeautifulSoup(res.text, ’html.parser’) elems = soup.select(’.bnrName’) return elems[0].text.strip()

如下截圖中是想要獲取的文字，

發(fā)現(xiàn)查看源碼中卻沒有文字。

<p class='couponInfo'> <p class='bnrName'>說好的文字呢。。。</p> <p class='bnrText'></p></p>

請(qǐng)教他的文字是在哪實(shí)現(xiàn)的啊，要怎么用bs4 select才出來，謝謝。

問題解答

有可能用ajax從服務(wù)器獲取之后操作dom動(dòng)態(tài)添加的吧，在瀏覽器里執(zhí)行了js就文字也被添加進(jìn)來。而你用爬蟲爬的時(shí)候沒有執(zhí)行有關(guān)js所以也沒有添加文字。

要是真的這樣的話，你可以在瀏覽器的f12那里查看network，把獲取文字的那個(gè)http請(qǐng)求的url找出來，直接請(qǐng)求這個(gè)url獲取你需要的信息。

我在瀏覽器中打開http://zozo.jp/查看源代碼并沒有找到你所要找的bnrName

你在瀏覽器上右鍵“查看網(wǎng)頁源碼”看看能不能找得你那段文字，如果找不到，那網(wǎng)頁應(yīng)該是用js或者ajax動(dòng)態(tài)加載的，想要爬取這種動(dòng)態(tài)頁面，兩種方法，要么是自己手動(dòng)模擬請(qǐng)求，要么就用selenium去抓吧

確實(shí)是js生成的，已經(jīng)采用headless瀏覽器模擬抓取了，謝謝大家！