預訓練模型創業漸入佳境

2月10日，創新工場在京宣布，北京瀾舟科技公司已完成近億元Pre-A輪融資，此次融資由聯想創投、斯道資本共同領投，創新工場跟投。本輪融資瀾舟科技將主要用于自然語言處理（NLP）核心產品的開發和前瞻性研究。

瀾舟科技的新一輪融資，是時下圍繞人工智能預訓練大模型的創新創業漸入佳境的生動體現。在瀾舟科技創始人兼CEO周明看來，當前，無論從預訓練模型的重大技術突破，還是國家創新創業的鼓勵政策來看，硬核科技創業都展現出蓬勃發展的勢頭，可謂“硬科技創業正當時”。周明說：“從感知智能到認知智能，這里蘊藏著巨大商機。”

預訓練大模型的新進展新趨勢，也為資本帶來了新賽道。創新工場董事長兼CEO李開復表示：“創新工場挖掘并協助了這個領域的世界級科學家周明博士，從0到1多方位立體賦能孵化了瀾舟科技。”

瀾舟科技已獲得三輪融資。創新工場供圖

從大練模型到練大模型

預訓練模型（pre-trained model）是前人為了解決問題所創造出來的模型。后人在解決類似問題的時候，無需再從零開始訓練一個新模型，而是可以利用此前在類似問題中訓練過的模型來解決現有問題。

比如說，如果你想開發自動駕駛汽車的圖像識別功能，你可以從零開始構建一個性能優良的圖像識別算法模型，但這往往需要花數年的時間；預訓練模型則可極大縮短這樣的研發周期，你可以利用谷歌公司在ImageNet數據集上訓練得到的類似模型，通過調參、完善后，來實現汽車的圖像識別功能。

這就好比小說《倚天屠龍記》里的張無忌，在習得內功“九陽真經”之后，再學“乾坤大挪移”、“太極拳”等招式就簡單易行、進步神速了。研發預訓練模型，就類似小說中的“修煉內功”。

正是因為預訓練模型的極大應用潛力，國內外形成了“大練模型”和“練大模型”的熱潮。

2020年，OpenAI發布了擁有 1750 億參數量的預訓練模型 GPT-3，它不僅能夠寫文章、答題、翻譯，還具備多輪對話、敲代碼、數學計算等能力。

2021年底，麻省理工大學與哥倫比亞大學、哈佛大學、滑鐵盧大學的聯合研究團隊提出了一個可以大規模自動解決、評分和生成大學階段數學問題的模型，推動人工智能和高等教育結合。

在國內，預訓練模型的研發也在加速追趕。

百度公司發布了產業級知識增強大模型 “文心”，并基于“文心”模型形成了產業全景圖。其中的跨模態生成模型 ERNIE-ViLG ，首次將圖像生成和文本生成統一建模，增強模型的跨模態語義對齊能力，顯著提升圖文生成效果。

由北京智源人工智能研究院牽頭，匯聚清華、北大、人大、中科院和相關企業共同研發的超大規模預訓練模型“悟道”也于2021年亮相，該模型從基礎性能、有效使用到預訓練模型擴展等，提出了一系列創新解決方法，取得了多項國際領先的技術突破。

此外，華為聯合鵬程實驗室等也發布了“盤古”大模型，阿里巴巴達摩院發布了中文語言模型 PLUG。行業巨頭牽引，眾多企事業單位參與，有力推動了我國預訓練模型研發走向縱深。

“超大規模預訓練模型的出現，很可能改變信息產業格局。”清華大學計算機系教授、北京智源人工智能研究院副院長唐杰表示，“繼基于數據的互聯網時代、基于算力的云計算時代之后，接下來可能將進入基于模型的 AI 時代。”

把模型運用于解決實際問題

預訓練模型研究的熱潮，也成就了瀾舟科技等一批創業企業。

周明是世界級的AI科學家、自然語言處理領域的代表性人物。作為瀾舟科技的創始人，周明帶領團隊于2021年研發出了名為“孟子”的輕量化中文預訓練模型。

周明介紹，預訓練模型是利用大規模語料庫、通過無監督方式訓練出的一個大規模的語言模型，根據上下文定義每個詞的語義表達，并基于模型做下游的任務，比如說機器翻譯，文本生成，問答搜索等。

過去幾年，預訓練模型在自然語言領域得到非常廣泛的重視，各大公司學校都開展了預訓練模型的研究，出現了模型越大越好的趨勢。

“可是模型越大，訓練成本越高，要求機器設備的能力也就越大，這就產生了環保和節能的問題。中小企業可能還會因為硬件制約無法使用。”周明表示，正是基于這樣的現實需求，瀾舟科技研發的“孟子”模型，實現了用更小的模型規模（10億參數量）比肩超大模型的性能，并且具備靈活的領域和場景適應能力，有利于快速、低成本地落地現實業務場景。

“很多大公司依賴自身強大的運算能力和大數據能力，不停地推出大模型，瀾舟科技作為初創公司，比算力是比不過的，那我們就去比智慧、比算法、比知識。”周明表示。

目前，“孟子”模型已在多個領域成功落地實踐，衍生出多項行業領先的產品，涵蓋機器翻譯、文本生成、行業搜索等領域。

瀾舟科技已經與傳神公司合作，共同賦能翻譯行業，助力企業提高國際語言競爭力。瀾舟科技合伙人李京梅介紹，2021年9月瀾舟科技和傳神合作的第一個基于孟子預訓練模型的“任度”翻譯引擎正式發布上線， 截至目前瀾舟科技已完成了各行業垂直領域20余個翻譯模型的開發，覆蓋新聞、金融、汽車等領域。

“不久后的未來，雙方還會逐步推出以中文為中心的多語言翻譯引擎，最終形成以中文為中心的多領域，多語言，甚至多模態的機器翻譯體系。”李京梅表示，目前雙方的合作翻譯引擎會用于傳神面向個人譯員提供的孿生譯員網和面向翻譯機構的語聯網AI開放平臺等。

此外，瀾舟科技也與數說故事旗下的容徽公司合作，成功上線發布了第一個合作產品“contentnote智能文案”。同時，瀾舟科技也分別與華為云、同花順等行業企業簽署戰略合作協議，攜手創造“產業+AI”時代的業務價值。

在從科學家到創業者的轉變中，周明希望自己能“帶領瀾舟科技團隊，致力于打造以 NLP為核心技術的新一代認知智能平臺，幫助從業人員大幅度提高信息獲取、搜索、翻譯、分析研判、業務預測、報告生成和決策輔助能力”。

資本助力硬科技創業

作為一家基于預訓練模型創業的認知智能公司，瀾舟科技自成立以來，已經接連獲得了3輪融資。此前公司分別完成了由創新工場人工智能工程院和前沿科技基金主導的種子輪和天使輪融資。

“在過去兩年，我們進行了世界范圍內的技術研究，并看到了‘自監督學習’新技術正在崛起。我們預測，這項技術將把自然語言理解帶到下一階段并超越人類的水平，對于近40年前就投身于自然語言領域的我意義非凡。”李開復表示。

正是這樣的投資聚焦，讓創新工場再次“下注”瀾舟科技。

“創新工場前沿科技基金目標是成為科技創業者的首輪投資人和長期朋友，成立至今已完成多個突破性技術創新項目的布局，未來將持續圍繞AI、生命科學、新能源等多個領域，探索深度科技的全球市場。”創新工場執行董事兼前沿科技基金總經理任博冰表示，“我們持續看好周明博士團隊在認知智能領域的產業落地。”

李京梅表示，此次瀾舟科技獲得的Pre-A輪融資，主要會用于產品的研發和NLP前瞻的研究工作，雙軌驅動，缺一不可。“一方面瀾舟科技致力于打造基于NLP技術在領域應用，產業發展的落地產品，另外一方面我們也會持續NLP的前瞻研究，例如提升模型的可解釋性，小樣本學習能力，復雜推理能力，真正做到從感知智能到認知智能的突破。”

“瀾舟科技擁有世界級科學家周明博士和其帶領的團隊，一年內獲得了從技術突破到商業落地多方面的喜人成績。”李開復表示，“我們期待瀾舟科技一步步成為全球NLP領域的頂尖公司。”

作為瀾舟科技Pre-A輪的領投方之一，聯想創投總裁、管理合伙人賀志強表示：“聯想創投一直尋找科技與產業緊密結合的新機會，旨在帶來行業效益大幅度提升。瀾舟科技正是有代表性的企業之一。未來，聯想創投將支持瀾舟科技在企業從感知智能邁進認知智能方面貢獻力量。”

另一家瀾舟科技Pre-A輪的領投方——斯道資本投資合伙人趙峰也表示：“斯道資本長期關注全球企業IT領域的發展，致力支持能從用戶需求出發，堅持技術創造價值，賦能產業升級的企業。”

“近年來，語音等感知智能技術已相對成熟，得益于預訓練模型技術的突破，自然語言理解的能力實現了大幅提升，我們相信認知智能將躍上一個新的臺階，”趙峰說。

“從此次瀾舟科技再獲融資出發，我們可以看到，一方面大環境，包括疫情、互聯網寒冬、AI落地不盡如意等問題，導致投資機構從去年開始觀望惜投；另一方面，國家鼓勵硬核技術創新，很多投資機構開始轉向。”周明表示，這需要一個過程，而優質創業團隊比較稀缺，所以大家都是采用了優中選優的方式。

“我們此次獲得投資還比較順利，除了我們的技術、人才、團隊，也是借助了硬科技投資的東風。”周明說。