劉琪琪

（四川大學(xué)計(jì)算機(jī)學(xué)院，成都 610065）

0 引言

在今天的數(shù)字世界中，開源軟件幾乎是現(xiàn)代社會(huì)和經(jīng)濟(jì)的全部賦能。任何對于開源社區(qū)項(xiàng)目的貢獻(xiàn)都是至關(guān)重要的，尤其是依賴于開源社區(qū)所提供的關(guān)鍵服務(wù)以及技術(shù)支持的用戶群體。

GitHub是一個(gè)面向開源及私有軟件項(xiàng)目的托管平臺(tái)，因?yàn)閮H支持Git作為唯一的版本庫格式進(jìn)行托管，故名GitHub。其作為全球最大的代碼托管平臺(tái)，平均每小時(shí)都有成千上萬個(gè)項(xiàng)目產(chǎn)生，它為開源社區(qū)做出了不可磨滅的貢獻(xiàn)。已經(jīng)有研究人員開始嘗試挖掘GitHub上龐大的數(shù)據(jù)信息，試圖理解GitHub用戶群體如何使用GitHub開發(fā)開源軟件。GitHub引入了一個(gè)“fork&pull”模型,開發(fā)人員可以通過fork創(chuàng)建自己的拷貝存儲(chǔ)庫，當(dāng)他們想要在項(xiàng)目修改后可以并入主分支時(shí)，便可以通過pull提交一個(gè)請求。除了代碼托管、協(xié)作代碼審查和集成問題跟蹤之外，GitHub還集成了社交功能。用戶可以關(guān)注某個(gè)用戶，隨時(shí)關(guān)注其關(guān)注用戶的項(xiàng)目,及時(shí)將用戶感興趣的信息推送給用戶。用戶還可以擁有自己的站點(diǎn)，通過自動(dòng)識(shí)別可以顯示出他們最近的活動(dòng)。GitHub已經(jīng)變得越來越受歡迎，目前已經(jīng)有超過3500萬的項(xiàng)目。如此受歡迎程度、社會(huì)和協(xié)作功能以及其源數(shù)據(jù)的可用性使得數(shù)據(jù)挖掘領(lǐng)域的研究人員把GitHub作為一個(gè)完美的數(shù)據(jù)挖掘?qū)ο蟆?/p>

開源軟件項(xiàng)目的成功很大程度上依賴于積極的團(tuán)隊(duì)參與，包括計(jì)劃、開發(fā)、維護(hù)和文檔化。參與者通常使用一個(gè)或多個(gè)共享軟件存儲(chǔ)庫進(jìn)行協(xié)作，以存儲(chǔ)和管理源代碼、文檔和bug報(bào)告。GitHub平臺(tái)的開源軟件項(xiàng)目的完成主要是來自團(tuán)隊(duì)的貢獻(xiàn)，然而對于此類項(xiàng)目的軟件資源庫訪問通常是嚴(yán)格控制的，GitHub上這些項(xiàng)目的合作更傾向于以修復(fù)程序或者pull request的形式請求外部參與[1]。

學(xué)術(shù)界是指學(xué)術(shù)或?qū)W院式的環(huán)境。在GitHub中超過千萬的項(xiàng)目中，有很大一部分來自于學(xué)術(shù)界，這些項(xiàng)目與科研工作者的研究息息相關(guān)。而且，使用數(shù)據(jù)挖掘技術(shù)能夠從GitHub龐大的數(shù)據(jù)中挖掘并分析這類信息。將GitHub用戶群體進(jìn)行分類，其中隱含著學(xué)術(shù)界、工業(yè)界以及個(gè)人用戶的數(shù)量及其所占比例。通過分析挖掘的信息，能夠知曉用戶使用這個(gè)產(chǎn)品的目的和習(xí)慣，從而得出開源項(xiàng)目的發(fā)展趨勢。

本文首次提出分析學(xué)術(shù)界對開源社區(qū)所做的貢獻(xiàn)，結(jié)合現(xiàn)在最受歡迎的開源項(xiàng)目平臺(tái)GitHub，通過平臺(tái)提供的API挖掘到的一定量的大數(shù)據(jù)進(jìn)行整理分析，從學(xué)術(shù)界人員所占比例、人員的分布、所參與的項(xiàng)目以及使用語言的偏好著手，通過運(yùn)用對比分析法、結(jié)構(gòu)分析法等對數(shù)據(jù)進(jìn)行分析，再運(yùn)用杜邦分析法分析原因，實(shí)驗(yàn)結(jié)果反映出了學(xué)術(shù)界對于開源平臺(tái)重視程度以及開源平臺(tái)在一定程度上對科學(xué)研究有引領(lǐng)作用。

1 數(shù)據(jù)收集

GitHub對外提供開放應(yīng)用編程接口（API），可以使用其獲取整個(gè)平臺(tái)的數(shù)據(jù)，借助GitHubarchive和GHTorrent工具以及GoogleBigquery查詢到自己需要的數(shù)據(jù)。也可從現(xiàn)有各個(gè)渠道搜索查找相關(guān)數(shù)據(jù)，例如中文網(wǎng)站GitHuber。

1.1 GitHubarchive

GitHub Archive網(wǎng)站是通過GitHub的API，定期抓取GitHub的事件數(shù)據(jù)，并上傳到Google Big Query進(jìn)行分析。GitHubarchive中根據(jù)時(shí)間線存儲(chǔ)著從GitHub上獲取的數(shù)據(jù)，數(shù)據(jù)分為 yeardataset，monthdataset，daydataset。通過查詢GitHub的API文檔，我們了解到用戶star一個(gè)項(xiàng)目時(shí)會(huì)觸發(fā)一個(gè)WatchEvent。因此，程序可以遍歷去年所有的WatchEvent事件，按repo_name進(jìn)行分組，計(jì)算每組的數(shù)目。最終截取前7000條數(shù)據(jù)，用來分析去年最受關(guān)注的項(xiàng)目。

SELECT COUNT（*）AS star,repo.name

FROM[GitHubarchive:year.2016]

WHERE type='WatchEvent'

GROUP BY repo.name ORDER BY star DESC LIMIT 7000

由此可挑選出去年最受歡迎的100個(gè)項(xiàng)目，從而篩選出這些項(xiàng)目中的參與用戶，有多少來自學(xué)術(shù)界，評比學(xué)術(shù)界在這些項(xiàng)目中的貢獻(xiàn)。

表1 按star值排名靠前的部分項(xiàng)目

2.2 GHTorrent

GHTorrent中的數(shù)據(jù)也是源于GitHub API獲取的JSON數(shù)據(jù)，數(shù)據(jù)以bson的形式保存在MongoDB里，在解析后得到Schema不僅可以將其保存在MySQL里還可以導(dǎo)出SQL[3]。使用GoogleBigQuery即可進(jìn)行SQL查詢。篩選數(shù)據(jù)庫中表users里的company，可以得到包 含 有“university”，“institute”，“college”，“school”，“academy”，“學(xué)院”，“大學(xué)”，“學(xué)校”，“研究所”，“研究院”，“中科院”的用戶。意味著這些用戶隸屬于學(xué)術(shù)界。通過projects表，可查出相關(guān)用戶所做的項(xiàng)目情況。

圖1 GHTorrent數(shù)據(jù)庫表

對所得數(shù)據(jù)進(jìn)行預(yù)處理整合，去除重復(fù)項(xiàng)，共3543人的company來自于學(xué)術(shù)界。經(jīng)過學(xué)術(shù)界的用戶匹配項(xiàng)目后，可以得到一共4983個(gè)項(xiàng)目。

圖2 部分學(xué)術(shù)界用戶的公司和地理位置

圖3 部分學(xué)術(shù)界用戶的項(xiàng)目和項(xiàng)目描述

1.3 GitHuber

GitHuber是基于GitHub數(shù)據(jù)平臺(tái)的一個(gè)中文網(wǎng)站，可直接通過關(guān)鍵字搜索相關(guān)機(jī)構(gòu)的用戶，選擇關(guān)鍵字“學(xué)院”，即可查出所有中國的學(xué)術(shù)界用戶。部分?jǐn)?shù)據(jù)如下：

圖4 中國學(xué)術(shù)界按聲望排行榜

1.4 其他

通過調(diào)用 GitHub的 API，抓取 followers排名前1000的用戶，再使用如下公式計(jì)算Score值。本文提出的計(jì)算公式是受到了業(yè)界對followers的排名認(rèn)可度的啟發(fā)。業(yè)界普遍認(rèn)為followers在前期的增長含金量比較高，而之后的增加主要是影響力因素。

通過計(jì)算，分別找到了中國地區(qū)和世界地區(qū)排名前1000的人。部分排名如下：

圖5 GitHub用戶聲望計(jì)算方式

圖6 中國地區(qū)排名

圖7 世界地區(qū)排名

2 數(shù)據(jù)處理

數(shù)據(jù)處理包含數(shù)據(jù)清洗、數(shù)據(jù)轉(zhuǎn)化、數(shù)據(jù)提取、數(shù)據(jù)計(jì)算等過程。

2.1 數(shù)據(jù)清洗

數(shù)據(jù)清洗主要包含刪除重復(fù)項(xiàng)，填充缺失項(xiàng)以及檢測邏輯錯(cuò)誤項(xiàng)等。由于公司名字存在多個(gè)模糊匹配字段，所以在數(shù)據(jù)量足夠多的情況下，得到的總?cè)藬?shù)中必然有重復(fù)存在的數(shù)據(jù)，因此需要將重復(fù)項(xiàng)刪除。在3543名學(xué)術(shù)界的用戶信息中，去除location填寫為空的用戶，有2559名用戶顯示了其地理位置。而匹配的目標(biāo)字段存在很多空白的缺失數(shù)據(jù)，需將其補(bǔ)齊。當(dāng)缺失值是以錯(cuò)誤標(biāo)識(shí)符形式出現(xiàn)的時(shí)候，本文的做法是將其全部替換成0。

2.2 數(shù)據(jù)加工

當(dāng)數(shù)據(jù)表現(xiàn)為某些數(shù)據(jù)字段不滿足我們的數(shù)據(jù)分析需求時(shí)，需要對現(xiàn)有字段進(jìn)行抽取、計(jì)算或者轉(zhuǎn)換等處理，生成符合本文分析所需要的一系列新數(shù)據(jù)字段。如抽取的項(xiàng)目參與人員commit次數(shù)的數(shù)據(jù)，得到的是數(shù)字加上人名的形式，而本文只需要參與人員姓名即可，則通過檢測空格把數(shù)據(jù)進(jìn)行字段分列，去除掉commit字段后，再將人名用“&”進(jìn)行字段合并。

從Bigquery上直接導(dǎo)出的數(shù)據(jù)中文字段會(huì)存在亂碼情況，是由于CSV文件編碼引起的。因而需要進(jìn)行數(shù)據(jù)轉(zhuǎn)換而得到相應(yīng)的字段。

3 數(shù)據(jù)分析

3.1 學(xué)術(shù)界的用戶分布分析

在3543名學(xué)術(shù)界的用戶信息中，去除location填寫為空的用戶，得到了帶有明確地理位置信息的2559名用戶。利用ArcGIS軟件導(dǎo)入位置數(shù)據(jù)，可以得到一個(gè)如下圖的學(xué)術(shù)界用戶群體分布圖。

圖8 學(xué)術(shù)界地理位置分布圖

由圖可知，GitHub上的學(xué)術(shù)界用戶群體大多分布在美國、英國、中國、印度、韓國等國家，且一線城市的居多。

3.2 學(xué)術(shù)界的項(xiàng)目分析

通過獲取的2016年最火的前100個(gè)項(xiàng)目，使用基于git的后臺(tái)并配置ssh key可下載獲得這些項(xiàng)目的源代碼。在命令窗輸入git log--pretty='%aN'|sort|uniq-c|sort-k1-n-r，可以獲得每個(gè)項(xiàng)目的參與人員commit的次數(shù)。

圖9 學(xué)術(shù)界所在城市排名

圖10 獲取參與人員commit詳情

選取學(xué)術(shù)界前10的項(xiàng)目一一進(jìn)行研究分析后，將所有用戶匯總到同一個(gè)表格內(nèi)，去重處理后可知共有3179名用戶參與，再與先前獲取的學(xué)術(shù)界用戶群體數(shù)據(jù)進(jìn)行比對可知，學(xué)術(shù)界人員有15名，占總?cè)藬?shù)的0.5%。

學(xué)術(shù)界的項(xiàng)目類型主要分為三大類，一是龐大人群共同參與的工程類項(xiàng)目開發(fā)，二是個(gè)人所在科研項(xiàng)目的研發(fā)討論，三是個(gè)人生活學(xué)習(xí)類的小型項(xiàng)目。

3.3 學(xué)術(shù)界所使用的編程語言偏好分析

通過對學(xué)術(shù)界項(xiàng)目的抽樣調(diào)查，可得到所有項(xiàng)目使用的語言詳情。

圖11 學(xué)術(shù)界所做項(xiàng)目分類

圖12 項(xiàng)目語言詳情

由此可得偏好語言的排序：

圖13 項(xiàng)目語言排行

4 結(jié)語

開源社區(qū)有近一半的貢獻(xiàn)者表示，他們關(guān)于開源社區(qū)所做的一些工作對于他們當(dāng)前所從事的工作有或多或少的幫助，甚至有一些具有重大意義的工作也放在開源社區(qū)的平臺(tái)上。開源工作有助于開發(fā)者建立自己的專業(yè)信譽(yù)。

從參與的總?cè)藬?shù)和總項(xiàng)目來看，學(xué)術(shù)界的用戶在開源平臺(tái)的用戶群體中所占的比例不大。通過分析排名靠前的用戶信息所知，這些用戶幾乎都是國內(nèi)外頂尖的互聯(lián)網(wǎng)公司人才。但是通過學(xué)術(shù)界所做的項(xiàng)目數(shù)據(jù)信息進(jìn)行分析可知，大部分學(xué)者在開源平臺(tái)的項(xiàng)目大都和自己研究方向相關(guān)。

參考文獻(xiàn)：

[1]Padhye R,Mani S,Sinha V S.A Study of External Community Contribution to Open-Source Projects on GitHub[C].Proceedings of the 11th Working Conference on Mining Software Repositories.ACM,2014:332-335.

[2]Gousios G,Pinzger M,Deursen A.An Exploratory Study of the Pull-Based Software Development Model[C].Proceedings of the 36th International Conference on Software Engineering.ACM,2014:345-355.

[3]Gousios G.The GHTorent Dataset and Tool Suite[C].Proceedings of the 10th Working Conference on Mining Software Repositories.IEEE Press,2013:233-236.

[4]Cosentino V,Izquierdo J L C,Cabot J.Findings from GitHub:Methods,Datasets and Limitations[C].Mining Software Repositories（MSR）,2016 IEEE/ACM 13th Working Conference on.IEEE,2016:137-141.

[5]Dyer R,Nguyen H A,Rajan H,et al.Boa:A Language and Infrastructure for Analyzing Ultra-Large-Scale Software Repositories[C].Proceedings of the 2013 International Conference on Software Engineering.IEEE Press,2013:422-431.