在智利北部安第斯山脈高達2700米的塞隆·帕切翁山巔，美國的“大型綜合巡天望遠鏡”（LSST）正在緊鑼密鼓地施工著。到2022年，也就是LSST正式投入使用的時候，它將把30億像素的相機對準太空，每晚完成30千兆的拍攝任務，這會是人類研究宇宙暗物質(zhì)的一大基礎.

而為了處理望遠鏡每天自動生成的TB級數(shù)據(jù)，天文學家們開始轉(zhuǎn)向數(shù)據(jù)科學，把數(shù)據(jù)科學家們熟悉且常用的一種工具——Jupyter notebook，納入天文學研究。

Jupyter是一個免費的、開源的、交互式的網(wǎng)絡工具，它是一個計算筆記本，允許研究人員把軟件代碼、計算輸出、注釋性文本和多媒體資源集中在一個文檔中。就歷史來看，計算筆記本已經(jīng)在世上存在了幾十年，但是直到幾年前，以Jupyter為代表的notebook才開始被技術人員廣泛使用，并大受歡迎。

當然，Jupyter的流行離不開用戶和開發(fā)者社區(qū)的共同努力。經(jīng)過架構(gòu)的重新設計和其他優(yōu)化，現(xiàn)在它已經(jīng)支持幾十種編程語言——這也反映在名稱變化上（Jupyter notebook原名IPython Notebook）。根據(jù)公司聯(lián)合創(chuàng)始人Fernando Pérez的說法，現(xiàn)在的名字Jupyter是數(shù)據(jù)科學常用的3種語言的組合：Julia（Ju）、Python（Py）和R。

上個月，代碼托管平臺GitHub發(fā)布了一份分析，指出當前公開的Jupyter notebook數(shù)量大約在250萬份，而在2015年，這個數(shù)字只有不到20萬份。Pérez認為這里面有應用程序、網(wǎng)絡軟件經(jīng)過不斷升級迭代，性能超越競品的原因，但更多應該歸功于Python在科研領域的大面積應用和數(shù)據(jù)科學的成熟——尤其是當人們進行科學研究和數(shù)據(jù)分析時，發(fā)現(xiàn)遠程數(shù)據(jù)過于龐大，超出了筆記本電腦的訪問上限，如LSST。

在很多情況下，把計算機接入數(shù)據(jù)比把數(shù)據(jù)輸入計算機要容易得多。Jupyter是基于云的，只要你告訴我你的數(shù)據(jù)在哪里，我就馬上能在那兒給你臺計算機?！狥ernando Pérez

對于數(shù)據(jù)科學家來說，Jupyter已經(jīng)成為事實上的標配。而在見識了這種工具之后，華盛頓大學的天文學家、負責協(xié)調(diào)LSST數(shù)據(jù)管理團隊的馬里奧·尤里奇也表示：“我從未見過這么快的遷移，真的是太棒了！”

數(shù)據(jù)探索

類比來看，計算筆記本實際上就是用于科學計算的實驗室筆記本，只不過上面寫的既不是用凝膠電泳分離DNA，也不是實驗室指南，而是嵌入代碼、數(shù)據(jù)和文本來記錄“實驗者”的計算方法。公司聯(lián)合創(chuàng)始人Brian Granger把它稱為“計算敘事”——一個允許研究人員用分析、假設和猜想來補充代碼和數(shù)據(jù)的文件。

這種工具能幫數(shù)據(jù)科學家極大地推進數(shù)據(jù)探索。notebook是交互式的，用戶可以在這種環(huán)境中運行代碼、查看發(fā)生的情況，然后重復這種發(fā)生在數(shù)據(jù)和研究人員之間的循環(huán)和迭代。這是人和數(shù)據(jù)對話的一種途徑，它允許用戶記錄這些對話，建立起與主題、理論，數(shù)據(jù)和結(jié)果之間更強大的聯(lián)系。當然，Jupyter不是承載對話的唯一平臺——它的前身IPython Notebook是一種交互式Python解釋器，也可以充當對話平臺。

此外，研究人員還可以用notebook為他們的軟件創(chuàng)建教程或交互式手冊，這也是哈佛大學系統(tǒng)神經(jīng)科學家Mackenzie Mathis所做的嘗試。她和她的團隊曾為神經(jīng)科學研究開發(fā)了一個代碼庫，這允許他們把notebook作為手稿和教具用于教學。而根據(jù)Barba——一名從2013年起就在每門課程中都用notebook教學的教授——的體驗，她認為IPython Notebook是用于教授科學和工程計算的殺手級應用程序，使她的學生能從中高效汲取課程知識。

愛我所愛

提到編程，編程語言最能挑動技術人員神經(jīng)。Jupyter notebook有兩個組件。用戶在前端網(wǎng)頁中的矩形單元格輸入編程代碼或文本，然后，瀏覽器會將該代碼傳遞給后端“內(nèi)核”，由后端運行代碼并返回結(jié)果。根據(jù)Pérez的統(tǒng)計，現(xiàn)在Jupyter內(nèi)核的數(shù)量已經(jīng)達到100多個，支持上百種編程語言。這是個極大的優(yōu)勢，因為通常情況下，每個notebook只能運行一個內(nèi)核和一種語言，即便存在變通的方法，也只局限在Python、Julia、R和Fortran這4種之間。

重要的是，Jupyter的內(nèi)核不需要駐留在用戶的計算機上。未來，當LSST的天文學家用Jupyter notebook分析數(shù)據(jù)時，他們的代碼會在伊利諾伊州運行，由超級計算機提供普通臺式機無法比擬的龐大算力。notebook也可以在云中運行，例如谷歌的Colaboratory項目就為Jupyter提供了一個以谷歌為主題的前端，它允許用戶進行協(xié)作、利用Google Cloud的代碼，并將文檔保存在Google Drive上。

今年1月，Jupyter推出下一代產(chǎn)品JupyterLab，可作為獨立軟件包或作為免費的Anaconda科學計算環(huán)境的一部分。

Jason Grout是彭博社的軟件工程師，也是JupyterLab團隊的成員之一。在他眼里，JupyterLab是Jupyter notebook的“下一代Web界面” ——它擴展了原先notebook的概念，把文本編輯器、瀏覽器、數(shù)據(jù)文件查看器、文本編輯器、命令控制臺及其他自定義的內(nèi)容以標簽的形式排列在工作區(qū)中。一般Jupyter notebook會為每個notebook分配了各自的內(nèi)核，而JupyterLab則是創(chuàng)建了一個允許共享這些組件的計算環(huán)境。這意味著用戶可以在一個窗口中查看notebook，在另一個窗口中編輯所需的數(shù)據(jù)文件，并在第三個窗口中記錄所有運行的命令 ——所有這些都在一個Web瀏覽器界面中進行。

用戶還可以自定義JupyterLab以適應他們的工作流。它建立在可擴展系統(tǒng)之上，能提供新的主題、文件編輯器和查看器，甚至可以顯示基因組比對或地理空間數(shù)據(jù)等內(nèi)容。為了方便用戶自定義擴展，Pérez還自制了一個教學視頻，演示了如何創(chuàng)建了一個能顯示3D大腦成像數(shù)據(jù)的組件。

這是一個完全[神經(jīng)科學]領域的特定工具，顯然，Jupyter團隊不需要編寫這些東西，但我們提供了正確的標準，然后社區(qū)可以在24小時內(nèi)學會怎么做并自己寫一個。

此外，依靠另兩個工具，Jupyter的可用性也得到了大大加強。其中一個是JupyterHub，這項服務允許機構(gòu)向大量用戶提供Jupyter notebook。比如加州大學伯克利分校就用這種方法確保所有學生在所有課程下都擁有相同的計算環(huán)境?！拔覀儾豢赡転?00名學生一一提供IT支持，幫助他們在安裝失敗時debug，這是不可行的。”

另一個是Binder，一種允許用戶在瀏覽器中使用GitHub上的Jupyter notebook、無需安裝軟件或任何編程庫的開源服務。

值得關注的問題

盡管Jupyter notebook通過簡化代碼促進代碼復現(xiàn)，但作為使用者，掌握 notebook的正確用法還是很重要的。

今年早些時候，艾倫人工智能研究所的研究工程師Joel Grus在Jupyter開發(fā)者大會上發(fā)表了題為“I don’t like notebooks”的演講。他指出，當 notebook沒有按預期運行時，程序員們往往會感到手足無措，但出現(xiàn)這個問題的原因很可能是他們沒有按順序去運行代碼塊。Jupyter notebook的簡便從某種程度上來說是助紂為虐，它難以邏輯地組織代碼，將其分解為可重用的模塊并進行開發(fā)測試，以確保代碼正常工作。所以被慣壞的用戶寫出來的代碼也越來越混亂不清。

Grus承認，雖然這些都不是難以解決的問題，但 notebook在執(zhí)行代碼時確實應該注意遵守規(guī)則，比如 把分析代碼移動到可以從 notebook中調(diào)用的外部文件、在notebook頂部定義關鍵變量以及 定期重新啟動內(nèi)核并從頭開始運行notebook。就像一名網(wǎng)友在Twitter上的打趣：“要么重新跑一遍，要么假裝什么都沒發(fā)生?！?/p>

這也是Barba每次用notebook給學生上課時會提醒的一點：“從第一天起，我就對學生們說，你們可以用非線性的方式使用notebook，這能方便你們進行探索，但強大功能背后是要打下更扎實的基礎?！?/p>

為了解決這個問題，一個可能有用的工具是Verdant，這是個能捕捉用戶歷史行為的插件?！白髡邩?gòu)建了一個擴展，它允許用戶在里面部署靈活的工作流，同時捕獲用戶運行的特定代碼、運行順序和具體數(shù)據(jù)?！?/p>

谷歌軟件工程師兼Colaboratory團隊成員Jake VanderPlas表示，Jupyter notebook就像錘子，它們很可能被誤用，也不適合所有領域，但對于數(shù)據(jù)探索和通信來說，notebook確實是個好工具。天文學界似乎非常認同這個觀點：“6年前，我們的計算機里完全不存在什么Jupyter notebook，但現(xiàn)在，每個人都愛它。”