付騰達(dá) 李衛(wèi)勇 王士信 許佳 魯春燕

摘要：基于Python爬蟲(chóng)技術(shù)，實(shí)現(xiàn)了從BOSS直聘網(wǎng)爬取南昌市與IT行業(yè)相關(guān)招聘信息的過(guò)程。爬蟲(chóng)程序?qū)OSS直聘網(wǎng)爬取所需信息，并對(duì)爬取的數(shù)據(jù)進(jìn)行清洗、整理、分析等操作，確保數(shù)據(jù)的準(zhǔn)確性和一致性，隨后將數(shù)據(jù)存儲(chǔ)至MySQL數(shù)據(jù)庫(kù)中，供后續(xù)分析與使用。該系統(tǒng)后端采用基于Python的輕量級(jí)Flask框架，前端使用HTML5、CSS3、JQuery、Bootstrap5等技術(shù)，此外，還結(jié)合了基于JavaScript的Echarts數(shù)據(jù)可視化圖表庫(kù)，以實(shí)現(xiàn)數(shù)據(jù)到可視化效果的轉(zhuǎn)換。系統(tǒng)可以為廣大應(yīng)聘人員提供有利的決策支持，以幫助他們更輕松地找到合適的崗位信息。

關(guān)鍵詞：BOSS直聘；網(wǎng)絡(luò)爬蟲(chóng)；Flask；數(shù)據(jù)可視化；Echarts

中圖分類號(hào)：TP393.09? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2024）07-0077-06

開(kāi)放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID）

0 引言

隨著互聯(lián)網(wǎng)進(jìn)入大數(shù)據(jù)時(shí)代，數(shù)據(jù)呈指數(shù)級(jí)增長(zhǎng)，由于數(shù)據(jù)量龐大使查找信息時(shí)間周期長(zhǎng)、精準(zhǔn)度差、效率低，以致想通過(guò)網(wǎng)絡(luò)快速找到符合自己的崗位信息尤為困難。為此，很多研究者開(kāi)始對(duì)招聘數(shù)據(jù)進(jìn)行了相關(guān)研究，其中毛遂[1]以51job網(wǎng)為例對(duì)崗位占比和企業(yè)類型、薪資同學(xué)歷與地區(qū)之間的關(guān)系進(jìn)行了分析。丁文浩[2]以前程無(wú)憂網(wǎng)為例對(duì)城市和崗位平均薪資水平、工作經(jīng)驗(yàn)、學(xué)歷情況等進(jìn)行了分析。王福成[3]以拉勾網(wǎng)為例對(duì)高校程序設(shè)計(jì)語(yǔ)言類的招聘職位地域分布、職位與薪資、學(xué)歷與技能要求等進(jìn)行了分析；羅燕[4]對(duì)人工智能類的招聘崗位、招聘行業(yè)、招聘城市等進(jìn)行了分析。

本文基于Python爬蟲(chóng)技術(shù)，從BOSS直聘網(wǎng)采集南昌市IT行業(yè)相關(guān)的招聘信息，通過(guò)分析與數(shù)據(jù)可視化圖表的展示，為南昌本地應(yīng)聘者提供決策支持。

1 相關(guān)技術(shù)

1.1 網(wǎng)絡(luò)爬蟲(chóng)

網(wǎng)絡(luò)爬蟲(chóng)是一種自動(dòng)化程序或者腳本，用于在互聯(lián)網(wǎng)上自動(dòng)采集數(shù)據(jù)。原理是通過(guò)HTTP協(xié)議向目標(biāo)服務(wù)器發(fā)送URL請(qǐng)求，然后根據(jù)服務(wù)器響應(yīng)提取所需數(shù)據(jù)，通常以HTML或JSON等格式呈現(xiàn)。然后使用Python語(yǔ)言結(jié)合Pycharm集成開(kāi)發(fā)環(huán)境以及一系列庫(kù)，包括BeautifulSoup庫(kù)、正則表達(dá)式re庫(kù)、Jieba分詞庫(kù)、WordCloud 模塊、JSON模塊、lxml解析器及xlwt庫(kù)，來(lái)處理和存儲(chǔ)這些數(shù)據(jù)，以便后續(xù)分析。

1.2 Flask框架

Flask是一款輕量級(jí)而強(qiáng)大的Python Web框架，專門(mén)用于構(gòu)建Web應(yīng)用程序和RESTful API。盡管被視為是輕量級(jí)Web框架，但它卻提供了出色的靈活性和簡(jiǎn)潔性。Flask還允許開(kāi)發(fā)者自定義URL路由，將URL映射到不同的視圖函數(shù)，以便處理各種請(qǐng)求。此外，F(xiàn)lask還內(nèi)置了Jinja2模板引擎，使得HTML模板的渲染變得非常容易，因此備受開(kāi)發(fā)者青睞。

1.3 ECharts可視化庫(kù)

ECharts是一款開(kāi)源JavaScript庫(kù)，專注于創(chuàng)建高級(jí)數(shù)據(jù)圖表。它建立在輕量級(jí)的Canvas庫(kù)ZRender之上，提供了豐富多彩的圖表類型，主要有折線圖、柱狀圖、散點(diǎn)圖、餅圖等多種可視化圖表。ECharts的架構(gòu)分ZRender層和ECharts層，這為開(kāi)發(fā)者與數(shù)據(jù)分析人員提供了強(qiáng)大的可視化功能，使他們能夠輕松地在Web頁(yè)面中創(chuàng)造引人注目的數(shù)據(jù)可視化效果。因其強(qiáng)大的功能和易實(shí)用性，目前已被眾多知名公司廣泛采用。

1.4 Jieba分詞庫(kù)

Jieba分詞庫(kù)是一款流行的Python庫(kù)，專用于中文文本分詞。它因高效準(zhǔn)確的分詞性能而著名，支持多種分詞模式，包括精確模式、全模式和搜索引擎模式。此外，Jieba分詞庫(kù)還允許用戶自定義詞典，以適應(yīng)不同領(lǐng)域的文本分析需求。因此，它常被廣泛應(yīng)用于中文自然語(yǔ)言處理和文本挖掘任務(wù)中。

2 招聘數(shù)據(jù)爬取與預(yù)處理

2.1 招聘數(shù)據(jù)爬取

設(shè)計(jì)招聘數(shù)據(jù)爬蟲(chóng)系統(tǒng)的流程如下：

步驟1：分析URL。

步驟2：訪問(wèn)待爬取的招聘數(shù)據(jù)。該模塊使用requests庫(kù)請(qǐng)求數(shù)據(jù)，然后通過(guò)BeautifulSoup庫(kù)下載頁(yè)面信息，并利用lxml解析器解析數(shù)據(jù)。

步驟3：將數(shù)據(jù)存儲(chǔ)到CSV文件中。

步驟4：對(duì)爬取的數(shù)據(jù)進(jìn)行清洗、整理、分析等預(yù)處理操作。

步驟5：將經(jīng)過(guò)預(yù)處理得到的數(shù)據(jù)存儲(chǔ)到MySQL數(shù)據(jù)庫(kù)中。

步驟6：數(shù)據(jù)分析并可視化展示。

招聘信息爬蟲(chóng)系統(tǒng)流程圖如圖1所示。

2.2 招聘數(shù)據(jù)爬分析頁(yè)面結(jié)構(gòu)

在BOSS直聘網(wǎng)的搜索框中輸入“Web前端工程師”職位，頁(yè)面顯示與該職位相關(guān)的崗位信息。接著在源代碼調(diào)試界面中使用“審查”選項(xiàng)，發(fā)現(xiàn)待爬取的信息缺失，通過(guò)在Network選項(xiàng)界面下的Filter搜索框中輸入“JSON”，發(fā)現(xiàn)存在名為joblist.json格式的條目。經(jīng)查看發(fā)現(xiàn)，崗位數(shù)據(jù)存儲(chǔ)在該條目文件的“jobList”鍵對(duì)應(yīng)的值中，其存儲(chǔ)著每一頁(yè)30個(gè)職位信息，如圖2所示。

2.3 分析URL

通過(guò)對(duì)頁(yè)面結(jié)構(gòu)的分析，發(fā)現(xiàn)存儲(chǔ)真實(shí)崗位數(shù)據(jù)的joblist.json文件URL格式為：“https：//www.zhipin.com/wapi/zpgeek/search/joblist.json？scene=1&query=Web%E5%89%8D%E7%AB%AF%E5%B7%A5%E5%85%B7&city=101240100&experience=&payType=&partTime=°ree=&industry=&scale=&stage=&position=&jobType=&salary=&multiBusinessDistrict=&multiSubway=&page=1&pageSize=30”。通過(guò)翻頁(yè)對(duì)比分析，發(fā)現(xiàn)每頁(yè)URL中的page參數(shù)值隨頁(yè)面變化而變化。

因此，可以構(gòu)建一個(gè)循環(huán)來(lái)獲取與搜索崗位相關(guān)的不同頁(yè)面的URL，并將這些URL地址存儲(chǔ)在一個(gè)URL列表中，以便進(jìn)行網(wǎng)址請(qǐng)求和數(shù)據(jù)爬取操作。

2.4 爬取招聘數(shù)據(jù)

在進(jìn)行請(qǐng)求URL過(guò)程中，為繞開(kāi)反扒機(jī)制，需要在請(qǐng)求的Headers中添加一個(gè)“User-Agent”用戶代理，這樣代碼將會(huì)偽裝成瀏覽器的形式獲取數(shù)據(jù)。接著通過(guò)使用requesrts庫(kù)的get（）方法發(fā)送請(qǐng)求并獲取數(shù)據(jù)，然后使用BeautifulSoup庫(kù)以及l(fā)xml解析器解析數(shù)據(jù)，進(jìn)一步使用json.loads（）方法將獲取的數(shù)據(jù)轉(zhuǎn)化成JSON格式。經(jīng)分析發(fā)現(xiàn)，真實(shí)數(shù)據(jù)存儲(chǔ)在“jobList”鍵對(duì)應(yīng)的值中，通過(guò)以訪問(wèn)字典的方式獲取這些數(shù)據(jù)，即data["zpData"]["jobList"]。然而在“jobList”鍵中所需要待爬取的字段主要有jobName、brandName、cityName、areaDistrict、businessDistrict、jobExperience、jobDegree、salaryDesc、brandStageName、brandIndustry、brandScaleName、skills、welfareList，這些字段分別對(duì)應(yīng)為職位、公司名、城市、地區(qū)、商業(yè)區(qū)、工作經(jīng)驗(yàn)、教育水平、薪水、品牌舞臺(tái)、公司行業(yè)、規(guī)模人數(shù)、技能和福利等數(shù)據(jù)信息。

2.5 數(shù)據(jù)保存到CSV文件中

本文將爬取的數(shù)據(jù)存儲(chǔ)到CSV文件中。數(shù)據(jù)存儲(chǔ)過(guò)程是先使用xlwt庫(kù)中的Workbook（）方法創(chuàng)建一個(gè)工作簿，并且在該工作簿對(duì)象下使用add_sheet（）方法創(chuàng)建一個(gè)工作表，通過(guò)使用write（）方法將所需數(shù)據(jù)寫(xiě)入到該工作表中，最后調(diào)用save（'文件路徑'）將數(shù)據(jù)保存到CSV文件[5]中。存儲(chǔ)在CSV文件中的招聘數(shù)據(jù)如圖3所示。

2.6 預(yù)解析數(shù)據(jù)

由于從BOSS直聘網(wǎng)直接爬取的數(shù)據(jù)可能存在臟數(shù)據(jù)，直接使用會(huì)影響后續(xù)數(shù)據(jù)分析的準(zhǔn)確性和數(shù)據(jù)可視化效果。因此，使用前需要對(duì)這些數(shù)據(jù)進(jìn)行預(yù)解析操作，以將其轉(zhuǎn)化為有效可靠的數(shù)據(jù)。預(yù)解析數(shù)據(jù)操作主要包括數(shù)據(jù)去重、處理空值、數(shù)據(jù)變換、屬性格式化等操作，經(jīng)過(guò)預(yù)處理操作的數(shù)據(jù)可提高數(shù)據(jù)分析的精確性和可靠性。

1） 數(shù)據(jù)去重。企業(yè)可能會(huì)發(fā)布相同職位的招聘信息，因此需對(duì)重復(fù)的招聘信息進(jìn)行去重操作。通常情況下，一般將“公司名”與“職位”相同的數(shù)據(jù)視為重復(fù)數(shù)據(jù)，核心代碼如下：

df.drop_duplicates（inplace=True）

2） 空值處理。爬取的數(shù)據(jù)中存在許多空值（Nan）數(shù)據(jù)，為了確保數(shù)據(jù)的準(zhǔn)確性，采取的處理方法是直接刪除包含空值的行數(shù)據(jù)，核心代碼如下：

df.dropna（axis=0， how=”any”）

3） 數(shù)據(jù)變換。由于數(shù)據(jù)中“薪水”屬性列存在格式不統(tǒng)一的情況，如“***-***K”、“***-***K·***薪”與“***-***/天”。為方便數(shù)據(jù)管理，現(xiàn)對(duì)薪水列進(jìn)行數(shù)據(jù)變換[6-8]，統(tǒng)一成“***×1000/月”的數(shù)據(jù)格式。

原始“薪水”屬性列是以范圍值“a - b”或“a - b·c”的形式存在。因此，可以構(gòu)造三個(gè)新的屬性列“最低薪資”“最高薪資”和“平均工資”。在這些范圍值前提下，“最低工資”值為a，“最高工資”為b，其中c表示年底多發(fā)的薪資部分，即12個(gè)月工資+年底多發(fā)（c - 12）個(gè)月工資，如13薪，表示年底多發(fā)1個(gè)月的工資。對(duì)于按天計(jì)算薪水的情況，以一個(gè)月工作21天結(jié)算工資。對(duì)于按小時(shí)計(jì)算薪水的情況，由于數(shù)據(jù)量少且對(duì)數(shù)據(jù)分析影響較小，將其刪除。經(jīng)過(guò)數(shù)據(jù)變換有助于標(biāo)準(zhǔn)化薪水?dāng)?shù)據(jù)，以便后續(xù)分析。

4） 屬性格式化。在joblist.json文件中， 存在名為“技能”和“福利”的屬性列，它們以列表的方式存儲(chǔ)數(shù)據(jù)。以“福利”屬性列為例，由于不同公司提供不同的福利待遇，導(dǎo)致“福利”長(zhǎng)度各不相同，這種不規(guī)則性給數(shù)據(jù)分析帶來(lái)了一些挑戰(zhàn)。因此，需要對(duì)“福利”屬性列進(jìn)行數(shù)據(jù)的規(guī)范化處理，以將其轉(zhuǎn)化為更適合進(jìn)行數(shù)據(jù)分析的數(shù)據(jù)格式。

“福利”列屬性格式化前，形式如下：

lst = ['員工旅游'，'定期體檢'， '餐補(bǔ)'，'年終獎(jiǎng)'，'住房補(bǔ)貼'，'節(jié)日福利'，'帶薪年假'， '免費(fèi)班車(chē)'，'交通補(bǔ)助'，'五險(xiǎn)一金']

“福利”列屬性格式化后，形式如下：

lst = ['員工旅游、定期體檢、餐補(bǔ)、年終獎(jiǎng)、住房補(bǔ)貼、節(jié)日福利、帶薪年假、免費(fèi)班車(chē)、交通補(bǔ)助、五險(xiǎn)一金']

預(yù)解析得到的最終數(shù)據(jù)如圖4所示。

5） 數(shù)據(jù)保存到MySQL中。系統(tǒng)使用MySQL數(shù)據(jù)庫(kù)存儲(chǔ)預(yù)解析后的數(shù)據(jù)，創(chuàng)建一個(gè)名為“boss”的數(shù)據(jù)庫(kù)，用于存儲(chǔ)招聘信息，數(shù)據(jù)庫(kù)結(jié)構(gòu)見(jiàn)表1。

3 數(shù)據(jù)可視化

系統(tǒng)最后實(shí)現(xiàn)了對(duì)BOSS直聘網(wǎng)南昌市與IT類招聘數(shù)據(jù)的可視化，并將分析結(jié)果以圖表的形式在前端頁(yè)面上進(jìn)行展示。本系統(tǒng)的主要工具包括基于Python Web框架Flask以及開(kāi)源可視化庫(kù)Echarts，通過(guò)該系統(tǒng)觀察招聘數(shù)據(jù)的相關(guān)可視化圖表，應(yīng)聘者可以更加方便瀏覽招聘信息，為求職者提供了更好的招聘信息可視化平臺(tái)。

3.1 區(qū)域數(shù)據(jù)分析

通過(guò)對(duì)南昌市各行政區(qū)和這些行政區(qū)內(nèi)各區(qū)域的公司數(shù)量進(jìn)行了詳細(xì)分析，發(fā)現(xiàn)一些引人注目的趨勢(shì)。首先，較為繁華的行政區(qū)往往擁有更多的企業(yè)，反之企業(yè)數(shù)量較少。其次，由于交通便捷程度、距離市中心的遠(yuǎn)近等因素，如進(jìn)賢縣、安義縣的公司數(shù)量相對(duì)較少。

基于上述發(fā)現(xiàn)，可以得知，若應(yīng)聘者選擇在繁華的區(qū)域或者離市中心較近區(qū)域的企業(yè)投遞簡(jiǎn)歷，擁有更多的機(jī)會(huì)獲得面試資格，并且被錄用的概率也會(huì)大大增加。該分析結(jié)果可以幫助求職者更有針對(duì)性地選擇投遞位置，提高他們的就業(yè)機(jī)會(huì)。如圖5所示。

3.2 學(xué)歷數(shù)據(jù)分析

通過(guò)對(duì)青山湖區(qū)各個(gè)區(qū)學(xué)歷要求的數(shù)量分析，可知青山湖區(qū)企業(yè)對(duì)求職者學(xué)歷層次的需求情況。分析結(jié)果顯示，對(duì)學(xué)歷要求最多的是大專與本科學(xué)歷，主要原因是大專與本科生的數(shù)量相對(duì)較多，企業(yè)有更多的選擇余地。其次，大專與本科生對(duì)薪資要求相對(duì)較低，企業(yè)可節(jié)約一定的投入成本。

此外，企業(yè)非常重視求職者的專業(yè)技能和實(shí)際操作能力，而初中及以下學(xué)歷的人很難滿足相關(guān)需求。對(duì)于碩士、博士學(xué)歷的人要求相對(duì)較高，企業(yè)難以滿足這些要求，因此，對(duì)高學(xué)歷要求的企業(yè)數(shù)量也相對(duì)較少。

分析結(jié)果有助于求職者更好地了解企業(yè)對(duì)學(xué)歷的要求，從而更有針對(duì)性地提升自己的就業(yè)競(jìng)爭(zhēng)力。具體如圖6所示。

3.3 工資數(shù)據(jù)分析

1） 青山湖區(qū)企業(yè)最低工資統(tǒng)計(jì)數(shù)量分析。通過(guò)圖7數(shù)據(jù)分析可知，可知在該區(qū)域，提供最低月薪在3K到8K之間的企業(yè)數(shù)量相對(duì)較多，而提供10K以上月薪的企業(yè)數(shù)量占比相對(duì)較少。其原因可能是企業(yè)控制投入成本考慮、市場(chǎng)因素、行業(yè)標(biāo)準(zhǔn)、經(jīng)濟(jì)狀況以及員工的教育和技能水平等因素的影響。這些因素共同作用下，導(dǎo)致不同薪資水平的企業(yè)數(shù)量分布不均。

2） 青山湖區(qū)企業(yè)最高工資統(tǒng)計(jì)數(shù)量分析。通過(guò)圖8中數(shù)據(jù)分析可知，該區(qū)提供最高月薪在8K到12K之間的企業(yè)數(shù)量占比相對(duì)較大?？赡苁且?yàn)檫@些企業(yè)希望吸引行業(yè)頂級(jí)人才，因此愿提供較高的薪資待遇。此外，某些崗位可能需要特定的專業(yè)技能、豐富的經(jīng)驗(yàn)或高學(xué)歷背景的人才，這些因素也會(huì)導(dǎo)致薪資水平相對(duì)較高。因此，這些企業(yè)提供了較高薪資的工作機(jī)會(huì)，吸引了有著較高技能水平和經(jīng)驗(yàn)的求職者。

3.4 詞云分析

詞云是一種用來(lái)展示詞匯出現(xiàn)頻率的圖形，先使用Jieba庫(kù)對(duì)商業(yè)區(qū)、公司行業(yè)、福利進(jìn)行分詞，以了解它們?cè)跀?shù)據(jù)中的使用頻率。接著使用WordCloud庫(kù)創(chuàng)建詞云圖呈現(xiàn)詞匯統(tǒng)計(jì)結(jié)果，以更清晰地觀察數(shù)據(jù)。通過(guò)對(duì)圖9的詞云分析發(fā)現(xiàn)，在求職過(guò)程中，應(yīng)聘者特別關(guān)注一些因素，如城市區(qū)域、所屬行業(yè)以及公司待遇。南昌市因其高吸引力而備受青睞，尤其在計(jì)算機(jī)軟件、集成電路和半導(dǎo)體行業(yè)。此外，一些新興地區(qū)，如艾溪湖、紅角洲和瑤湖也備受關(guān)注。福利待遇也是應(yīng)聘者重點(diǎn)考慮的內(nèi)容，包括節(jié)假日、福利和五險(xiǎn)一金等。這些因素在求職中發(fā)揮著重要作用，應(yīng)聘者通過(guò)層層篩選，最終找到符合自己需求和興趣的職位。

4 結(jié)論

本文運(yùn)用Python的Flask框架，構(gòu)建了一個(gè)可視化平臺(tái)，用于展示從BOSS直聘網(wǎng)獲取南昌市與IT行業(yè)相關(guān)的招聘信息，并進(jìn)行深入的數(shù)據(jù)分析。這次分析包括了南昌市各個(gè)區(qū)域的企業(yè)數(shù)量、青山湖區(qū)各區(qū)對(duì)學(xué)歷的要求、最高和最低工資水平、企業(yè)所屬行業(yè)以及提供的福利待遇等多個(gè)方面。最終，通過(guò)可視化手段將這些分析結(jié)果生動(dòng)地展示，為南昌市IT行業(yè)的求職者提供了一個(gè)便捷的平臺(tái)，以幫助他們更輕松地找到適合自己的職位。

參考文獻(xiàn)：

[1] 毛遂，毛紅霞.基于51job網(wǎng)站招聘信息的爬取與分析——以Python技術(shù)崗位為例[J].網(wǎng)絡(luò)安全技術(shù)與應(yīng)用，2021（4）：47-49.

[2] 丁文浩，朱齊亮.基于Python的招聘數(shù)據(jù)爬取與分析[J].網(wǎng)絡(luò)安全技術(shù)與應(yīng)用，2022（1）：43-45.

[3] 王福成，齊平.基于招聘數(shù)據(jù)的高校程序設(shè)計(jì)語(yǔ)言類教育研究[J].池州學(xué)院學(xué)報(bào)，2020，34（6）：147-149.

[4] 羅燕.基于Python對(duì)人工智能類招聘信息的爬取與分析[J].石家莊職業(yè)技術(shù)學(xué)院學(xué)報(bào)，2022，34（6）：9-17.

[5] 馬寧，陳曦，張李銘.基于Selenium與Openpyxl的Web腳本自動(dòng)化設(shè)計(jì)研究[J].電腦知識(shí)與術(shù)，2020，16（1）：51-53，70.

[6] 殷麗鳳，張浩然.基于Python網(wǎng)上招聘信息的爬取和分析[J].電子設(shè)計(jì)工程，2019，27（20）：22-26.

[7] 張嘉威，關(guān)成斌.基于Python和Selenium的智聯(lián)招聘數(shù)據(jù)的爬取與分析[J].軟件，2022，43（8）：170-175.

[8] 程俊英.基于Python語(yǔ)言的數(shù)據(jù)分析處理研究[J].電子技術(shù)與軟件工程，2022（15）：236-239.

【通聯(lián)編輯：王 力】