Zi 字媒體

2021 年最佳開源軟體榜單｜InfoWorld 資料來源: https://mp.weixin.qq.com/s/1v48MCFjtxD6D5NDHK6cqA     作為一家資訊技術媒體公司，InfoWorld 成立於 1978 年，目前隸屬於 IDG。     每年InfoWorld 都會根據軟體對開源界的貢獻，以及在業界的影響力評選出當年的 “最佳開源軟體” (BOSSIE)，該獎項評選已經延續了十多年。     本次獲獎的 29 個開源項目包括：軟體發展、開發、雲原生計算、機器學習等類型，下面我們一起來看看，有沒有熟悉的面孔！ 01、Svelte 和 SvelteKit     在眾多創新的、開源的、前端的 JavaScript 框架中，Svelte 及其全棧對應的 SvelteKit 可能是最有野心和遠見的。     Svelte 一開始就通過採用編譯時策略來顛覆現狀，並以出色的性能、持續的發展和卓越的開發者體驗向前邁進。     SvelteKit 現已進入公測階段，它延續了 Svelte 的傳統，通過採用最新的工具，並將部署到無伺服器環境作為一項內置功能來實現飛躍。     地址：https://github.com/sveltejs/svelte      02、Minikube     Minikube 是一個易於在本地運行 Kubernetes 的工具，可在你的筆記型電腦上的虛擬機器內輕鬆創建單機版 Kubernetes 集群。便於嘗試 Kubernetes 或使用 Kubernetes 日常開發。     地址：https://github.com/kubernetes/minikube      03、Pixie     Pixie 是 Kubernetes 應用的可觀察性工具，它可以查看集群的高級狀態，如服務地圖、集群資源和應用流量；還可以深入到更詳細的視圖，如 pod 狀態、火焰圖和單個 full-body 應用請求。     Pixie 使用 eBPF 自動收集遙測資料，它在集群本地收集、存儲和查詢所有的遙測資料，使用不到 5% 的集群 CPU。Pixie 的用例包括集群內的網路監控、基礎設施健康、服務性能和資料庫查詢剖析。     地址：https://github.com/pixie-io/pixie      04、FastAPI FastAPI 是一個高性能 Web 框架，用於構建 API。主要特性：     快速：非常高的性能，與 NodeJS 和 Go 相當     快速編碼：將功能開發速度提高約 200％ 至 300％     更少的錯誤：減少約 40％ 的人為錯誤     直觀：強大的編輯器支援，自動補全無處不在，調試時間更少     簡易：旨在易於使用和學習，減少閱讀文檔的時間。     簡短：減少代碼重複。     穩健：獲取可用於生產環境的代碼，具有自動互動式文檔     基於標準：基於並完全相容 API 的開放標準 OpenAPI 和 JSON Schema     地址：https://github.com/tiangolo/fastapi      05、Crystal       作為一個提供具有 C 語言的速度和 Ruby 語言的表現力的程式設計語言的專案，Crystal 已經開發了好幾年了。隨著今年年初 Crystal 1.0 的發佈，該語言現在已經足夠穩定到可以用於一般工作負載。     Crystal 使用靜態類型和 LLVM 編譯器來實現高速度，並避免在運行時出現空引用等常見問題。Crystal 可以與現有的 C 代碼介面，以進一步提高速度和便利性，它還可以使用編譯時巨集來擴展基礎語言的語法。     地址：https://github.com/crystal-lang/crystal      06、Windows Terminal     Windows Terminal 是一個全新的、流行的、功能強大的命令列終端工具。     包含很多來社區呼聲很高的特性，例如：多 Tab 支援、富文本、多語言支援、可配置、主題和樣式，支援 emoji 和基於 GPU 運算的文本渲染等等。同時該終端依然符合我們的目標和要求，以確保它保持快速、高效，並且不會消耗大量記憶體和電源。     地址：https://github.com/Microsoft/Terminal      07、OBS Studio     OBS Studio 是一款用於即時流媒體和螢幕錄製的軟體，為高效捕獲，合成，編碼，記錄和流傳輸視頻內容而設計，支援所有流媒體平臺。     高性能即時視頻 / 音訊捕獲和混合。創建由多種來源組成的場景，包括視窗捕獲、圖像、文本、流覽器視窗、網路攝像頭、捕獲卡等。     設置無限數量的場景，用戶可以通過自訂過渡無縫切換。     帶有每個源濾波器的直觀音訊混合器，例如雜訊門，雜訊抑制和增益。全面控制 VST 外掛程式支持。     強大且易於使用的配置選項。添加新源，複製現有源，並輕鬆調整其屬性。     精簡的設置面板使使用者可以訪問各種配置選項，以調整廣播或錄製的各個方面。     模組化的 “Dock” UI 允許使用者完全根據需要重新排列佈局。用戶甚至可以將每個單獨的 Dock 彈出到自己的視窗中。     地址：https://github.com/obsproject/obs-studio      08、Shotcut     Shotcut 是一款跨平臺的視頻編輯(影片編輯)工具，允許人們在應用效果和分層的同時，對音訊和視頻軌道進行所有的標準修正。Shotcut 有一個非常活躍的社區，並提供大量的操作視頻和指導，以説明新手和高級攝像師。     它可以在 Mac、Linux、BSD 和 Windows 上運行 — 儘管是跨平臺的，但與同類工具相比，它的介面很敏捷，使用起來也相對簡單。     地址：https://github.com/mltframework/shotcut      09、Weave GitOps Core     Weave GitOps 支援有效的 GitOps 工作流，以將應用程式持續交付到 Kubernetes 集群中。它基於領先的 GitOps 引擎 CNCF Flux。     地址：https://github.com/weaveworks/weave-gitops      10、Apache Solr     Apache Solr  是基於 Lucene 的全文檢索搜尋伺服器，也是最流行的企業級搜尋引擎。Apache Lucene 是你所使用的大部分軟體的搜索功能背後的基礎搜索技術 — 包括其他搜尋引擎，如 Elasticsearch。     與 Elasticsearch 不同的是，Solr 放棄了它的開源許可，不過它仍然是免費的。Solr 是可集群的、可在雲端部署的，並且強大到足以建立雲端級的搜索服務。它甚至包括 LTR 演算法，以説明自動調整和加權結果。     地址：https://github.com/apache/solr      11、MLflow     MLflow 由 Databricks 創建，並由 Linux 基金會託管，是一個 MLOps 平臺，可以讓人跟蹤、管理和維護各種機器學習模型、實驗及其部署。它為你提供了記錄和查詢實驗（代碼、資料、配置、結果）的工具，將資料科學代碼打包成專案，並將這些專案鏈入工作流程。     地址：https://github.com/mlflow/mlflow      12、Orange     Orange 旨在使將資料採擷 “富有成效且有趣”。Orange 允許使用者創建一個資料分析工作流程，執行各種機器學習和分析功能以及視覺化。     與 R Studio 和 Jupyter 等程式化或文本工具相比，Orange 是非常直觀的。你可以將小部件拖到畫布上以載入檔，用模型分析資料並將結果視覺化。     地址：https://github.com/biolab/orange3      13、Flutter     Flutter 由 Google 的工程師團隊打造，用於創建高性能、跨平臺的移動應用。Flutter 針對當下以及未來的移動設備進行優化，專注於 Android and iOS 低延遲的輸入和高幀率。     它可以給開發者提供簡單、高效的方式來構建和部署跨平臺、高性能移動應用；給用戶提供漂亮、快速、jitter-free 的 app 體驗。     地址：https://github.com/flutter      14、Apache Superset     Apache Superset 是 Airbnb （知名線上房屋短租公司）開源的資料探查與視覺化平臺（曾用名 Panoramix、Caravel ），該工具在視覺化、易用性和交互性上非常有特色，使用者可以輕鬆對資料進行視覺化分析。Apache Superset 也是一款企業級商業智慧 Web 應用程式。     地址：https://github.com/apache/superset      15、Presto     Presto 是一個開源的分散式 SQL 引擎，用於線上分析處理，在集群中運行。     Presto 可以查詢各種各樣的資料來源，從檔到資料庫，並將結果返回到許多商業智慧和分析環境。更重要的是，Presto 允許查詢資料所在的地方，包括 Hive、Cassandra、關係型數據庫和專有資料存儲。     一個 Presto 查詢可以結合多個來源的資料。Facebook 使用 Presto 對幾個內部資料存儲進行互動查詢，包括他們的 300PB 資料倉庫。     地址：https://github.com/prestodb/presto      16、Apache Arrow     Apache Arrow 為平面和分層資料定義了一種獨立於語言的柱狀記憶體格式，為現代 CPU 和 GPU 上的高效分析操作而組織。     Arrow 記憶體格式還支援零拷貝讀取，以便在沒有序列化開銷的情況下進行閃電式的資料訪問。Arrow 庫可用於 C、C++、C#、Go、Java、JavaScript、Julia、MATLAB、Python、R、Ruby 和 Rust。     地址：https://github.com/apache/arrow 17、InterpretML     InterpretML 是一個開源的 Explainable AI（XAI）包，其中包含了幾個最先進的機器學習可解釋性技術。     InterpretML 讓你訓練可解釋的 glassbox 模型並解釋黑盒系統。InterpretML 可説明你瞭解模型的全域行為，或瞭解個別預測背後的原因。     在它的許多功能中，InterpretML 有一個來自 Microsoft Research 的 “glass box” 模型，稱為 Explainable Boosting Machine，它支援用黑盒模型的近似值進行 post-hoc 解釋的 Lime。     地址：https://github.com/interpretml/interpret      18、Lime     Lime（local interpretable model-agnostic explanations 的簡稱）是一種 post-hoc 技術，通過擾動輸入的特徵並檢查預測結果來解釋任何機器學習分類器的預測。     Lime 能夠解釋任何具有兩個或更多類的黑盒分類器，其同時適用于文本和圖像領域。Lime 也被包含在 InterpretML 中。     地址：https://github.com/marcotcr/lime      19、Dask     Dask 是一個用於平行計算的開源庫，可以將 Python 包擴展到多台機器上。Dask 可以將資料和計算分佈在多個 GPU 上，無論是在同一個系統中還是在一個多節點集群中。     Dask 與 Rapids cuDF、XGBoost 和 Rapids cuML 集成，用於 GPU 加速的資料分析和機器學習。它還與 NumPy、Pandas 和 Scikit-learn 集成，以並行化其工作流程     地址：https://github.com/dask/dask 20、BlazingSQL     BlazingSQL 是一個基於 RAPIDS 生態系統構建的 GPU 加速 SQL 引擎。RAPIDS 基於 Apache Arrow 柱狀記憶體格式，cuDF 是一個 GPU DataFrame 庫，用於載入、連接、聚合、過濾和運算元據。它是 cuDF 的 SQL 介面，具有支援大規模資料科學工作流和企業資料集的各種功能。     地址：https://github.com/BlazingDB/blazingsql 21、Rapids     Nvidia 的 Rapids 開源軟體庫和 API 套件讓你有能力完全在 GPU 上執行端到端的資料科學和分析管道。     Rapids 使用 Nvidia CUDA 基元進行底層計算優化，並通過使用者友好的 Python 介面暴露了 GPU 的並行性和高頻寬記憶體速度。Rapids 依賴於 Apache Arrow 柱狀記憶體格式，包括 cuDF，一個類似 Pandas 的 DataFrame 庫；cuML，一個機器學習庫集合，提供 Scikit-learn 中大多數演算法的 GPU 版本；以及 cuGraph，一個類似 NetworkX 的加速圖分析庫     地址：https://github.com/rapidsai/cudf      22、PostHog     PostHog 是一個為開發人員構建的開源產品分析平臺。自動收集你網站或應用程式上的每個事件，無需向協力廠商發送資料。它在用戶級別提供基於事件的分析，捕獲你產品的使用資料以查看哪些使用者在你的應用程式中執行了哪些操作。它會自動捕獲點擊次數和綜合流覽量，以分析你的用戶在做什麼，而無需手動推送事件。     地址：https://github.com/PostHog/posthog      23、LakeFS     LakeFS 提供了一種 “以管理代碼的方式管理你的資料湖” 的方法，為物件存儲增加了一層類似於 Git 的版本控制。     這種對 Git 語義的應用讓用戶可以創建自己的隔離的、零拷貝的資料分支，在上面工作、實驗和建模分析，而沒有破壞共用物件的風險。LakeFS 為你的資料帶來了有用的 commit notes、中繼資料欄位和 rollback 選項，同時也帶來了維護資料完整性和品質的驗證 hooks– 在一個未提交的分支被意外地合併回生產中之前，運行格式和模式檢查。     通過 LakeFS，管理和保護代碼庫的熟悉技術可以擴展到現代資料庫，如 Amazon S3 和 Azure Blob 存儲。     地址：https://github.com/treeverse/lakeFS 24、Meltano     Meltano 是今年從 GitLab 中分離出來的，一個免費的開源 DataOps 替代傳統 ELT（提取、載入、轉換）的工具鏈。Meltano 的資料倉庫框架使得為你的專案建模、提取和轉換資料變得容易，並通過內置的分析工具和簡化報告的儀錶盤來補充集成和轉換管道。     Meltano 提供了一個可靠的提取器和載入器庫，以及對 Singer 標準的 data extracting taps 和 data loading targets 的支持，Meltano 已經是一個資料編排的動力源。 25、Trino     Trino（原名 PrestoSQL）是一個分散式 SQL 分析引擎，能夠對大型分散式資料來源運行極快的查詢。     Trino 允許你同時對資料湖、關聯式存儲或多個不同來源執行查詢，而不需要複製或移動資料進行處理。而且 Trino 與你的資料科學家可能使用的任何商業智慧和分析工具配合得很好，無論是互動式的還是臨時性的，最大限度地減少了學習曲線。     隨著資料工程師努力支援越來越多的資料來源的複雜分析，Trino 提供了一種優化查詢執行和加速不同來源的結果的方法。     地址：https://github.com/trinodb/trino      26、StreamNative     StreamNative 是一個高度可擴展的消息和事件流平臺，大大簡化了即時報告和分析工具以及企業應用流的資料管道鋪設。     StreamNative 將 Apache Pulsar 強大的分散式流處理架構與 Kubernetes 和混合雲支持等企業額外功能、大型資料連接器庫、簡易認證和授權以及用於健康和性能監控的專用工具相結合，既簡化了基於 Pulsar 的即時應用程式的開發，又簡化了大規模消息傳遞背板的部署和管理。     地址：https://github.com/streamnative 27、Hugging Face     Hugging Face 提供了最重要的開源深度學習資源庫，它本身並不是一個深度學習框架。Hugging Face 的目標是擴展到文本之外，支援圖像、音訊、視頻、物體檢測等。Infoworld 指出，深度學習從業者應在未來幾年內密切關注這個 repo。     地址：https://github.com/huggingface/transformers 28、EleutherAI     EleutherAI 是一個由機器學習研究人員組成的分散式小組，旨在將 GPT-3 帶給所有人。     2021 年伊始，EleutherAI 發佈了 The Pile，是一個 825 GB 的用於訓練的多樣化文本資料集；並在 6 月公佈了 GPT-J，一個 60 億參數的模型，大致相當於 OpenAI 的 GPT-3 的 Curie variant。     隨著 GPT-NeoX 的出現，EleutherAI 計畫將參數一直提高到 1750 億，以與目前最廣泛的 GPT-3 模型競爭。     地址：https://github.com/EleutherAI/gpt-neo 29、Colab notebooks for generative art     首先是 OpenAI 的 CLIP（對比語言 – 圖像預訓練）模型，一個用於生成文本和圖像向量嵌入的多模態模型。雖然 CLIP 是完全開源的，但 OpenAI 的生成性神經網路 DALL-E 卻不是。     為了填補這一空白，Ryan Murdoch 和 Katherine Crowson 開發了 Colab notebooks， CLIP 與其他開源模型（如 BigGAN 和 VQGAN）結合起來，製作 prompt-based 生成性藝術作品。     這些 notebooks 基於 MIT 許可，於過去幾十年間在互聯網上進行了廣泛傳播，被重新混合、改變、翻譯，並被用來生成了驚人的藝術作品。     地址：https://github.com/openai/CLIP