互聯(lián)網(wǎng)甚至整個科技圈，終于迎來了又一次全民意義上的沸騰。ChatGPT為代表的AI技術(shù)，在大眾層面引起熱議的同時，又在科技圈、創(chuàng)投圈都蕩起波瀾。
事實上，ChatGPT或許代表著未來新時代映射進(jìn)現(xiàn)實的前兆?？挡ㄖ芷诘拇_已經(jīng)到來，AI技術(shù)是否會是開啟下一周期的那把鑰匙？其商業(yè)落地與創(chuàng)業(yè)機(jī)會又有哪些？作為首批關(guān)注AIGC的投資人，銀杏谷資本企服高級投資經(jīng)理鐘偉成的視野，落在了“AI原生”上。
01.GPT-4的前世今生
大眾熱議的ChatGPT，熱度貫穿了整個資本市場的2023。而在3月14號OpenAI再度發(fā)布新一代語言模型GPT-4后，在商業(yè)層面有了共振。
不過短短幾天，微軟宣布Office全家桶集成GPT相關(guān)能力，Github發(fā)布基于GPT-4的新一代代碼生成工具Copilot X。而ChatGPT同樣發(fā)布了插件功能——ChatGPT Plugins，賦予ChatGPT調(diào)用第三方應(yīng)用、檢索最新網(wǎng)絡(luò)信息、運行計算的能力。
似乎一個嶄新的商業(yè)時代已經(jīng)到來。而回顧GPT發(fā)展史，轉(zhuǎn)折點早已埋下。技術(shù)定義GPT，即一種自然語言處理模型，通過訓(xùn)練語言模式來生成自然語言文本，從GPT-1到GPT-3從發(fā)展路徑來說，是更大參數(shù)量和數(shù)據(jù)集和變換器算法迭代而已。
GPT-3可以視為一個發(fā)展路徑的轉(zhuǎn)折點。其直接帶火了“提示學(xué)習(xí)”這一技術(shù)范式，將訓(xùn)練范式從“預(yù)訓(xùn)練+微調(diào)”引導(dǎo)向了“預(yù)訓(xùn)練 + Prompting”。所謂的Prompt理念，是認(rèn)為預(yù)訓(xùn)練模型本身就可以完成很多任務(wù)，只需要在輸入的時候?qū)δＰ瓦M(jìn)行引導(dǎo)。
這成了打開魔盒的那把鑰匙。如果說，GPT-3還存在會生成有害輸出、無法理解用戶意圖的問題，GPT-3.5演化，則是引入training on code及引導(dǎo)性微調(diào)，來規(guī)避這一問題。
精妙之處在于，人類代碼存在邏輯的貫通性，而AI模型只需要在代碼上進(jìn)行預(yù)訓(xùn)練，就能獲得邏輯能力的強(qiáng)化。比如ChatGPT即能使用CoT(Chain-of-Thought即思維鏈）進(jìn)行復(fù)雜推理。
細(xì)數(shù)InstructGPT、Text-Dav-002、ChatGPT等基于GPT-3.5技術(shù)建立的模型，都進(jìn)行了對應(yīng)的能力微調(diào)。InstructGPT以針對特定應(yīng)用場景編寫提示的方式來指導(dǎo)模型生成，大幅降低有害、錯誤的輸出結(jié)果；Text-Dav-002是有監(jiān)督指令微調(diào)，以犧牲上下文的能力獲得零樣本能力；ChatGPT則是通過RHLF犧牲上下文學(xué)習(xí)的能力換取建模對話歷史的能力。
換句話說，就是結(jié)合監(jiān)督學(xué)習(xí)與強(qiáng)化學(xué)習(xí)，加入了人類反饋強(qiáng)化學(xué)習(xí)，將人類期待的結(jié)果反饋給模型，并且增加了安全機(jī)制。共性與個性之間，或許就是ChatGPT能夠脫穎而出引起大眾共鳴的關(guān)鍵。
但這并不意味著，ChatGPT已經(jīng)是終點。
不難看出，ChatGPT的技術(shù)能力基礎(chǔ)，是LLM GPT-3.5。在投喂足量人工標(biāo)注數(shù)據(jù)后，該模型已經(jīng)學(xué)會人們對于不同任務(wù)的習(xí)慣說法，再通過RHLF中的reward model（獎勵模型）正反饋給算法模型關(guān)于回答評價的好壞，為ChatGPT樹立其所謂的正確價值觀。
但問題也足夠明顯——投喂的訓(xùn)練數(shù)據(jù)存在滯后性，使得ChatGPT無法正確回應(yīng)時事問題，并且準(zhǔn)確性存在一本正經(jīng)胡說八道的可能，需要用強(qiáng)邏輯語料進(jìn)行邏輯性調(diào)教，回答內(nèi)容較為冗長等等。
而GPT-4的出現(xiàn)，的確為想象力打開了更多空間。無論是科技，還是商業(yè)。來看看它有什么魔力吧：從文本到圖像理解的跨越，堪稱升維；算法迭代，回答準(zhǔn)確性顯著提高；上下文理解與生成能力同步提升；最為關(guān)鍵的，更為可控的回答風(fēng)格。
當(dāng)然，目前GPT-4的圖像輸入展示仍是研究“樣品”預(yù)覽，真正的成果尚未公開，回答依舊有錯誤，也無法完成回應(yīng)長期任務(wù)、無法應(yīng)對時新問題。但在復(fù)雜問題處理和回答風(fēng)格定制等方面，已經(jīng)有長足進(jìn)步。
02.AIGC，如何走入商業(yè)實踐？
OpenAI宣布推出Plugins（插件功能），被不少人視為AI領(lǐng)域的“App Store時刻”。通過調(diào)用第三方應(yīng)用程序API，用戶可以在ChatGPT獲得實時信息、知識庫信息的檢索，也能進(jìn)行外賣、訂票等操作。
這對現(xiàn)有App應(yīng)用的影響，不可謂不大。這意味著，AI可以直接觸達(dá)應(yīng)用平臺數(shù)據(jù)，跳過應(yīng)用原本的操作界面和中間的工程架構(gòu)設(shè)計。那些產(chǎn)品功能比較單一、產(chǎn)品體驗不夠多元化的應(yīng)用將會受到很大的影響。
當(dāng)然，這還停留在商業(yè)暢想階段。更值得關(guān)注的，是生成式AI技術(shù)的商業(yè)落地進(jìn)展。嚴(yán)格來說，在2020年以前，生成式AI在各個領(lǐng)域都處于初級嘗試階段，或許文本領(lǐng)域存在垃圾信息識別、基礎(chǔ)回答等嘗試，但并不具備“性感”吸引力。
自2020年開始，大語言模型得以實現(xiàn)的能力，越來越多元與成熟?？梢詫崿F(xiàn)基礎(chǔ)文案撰寫、可以生成多行代碼，再到2022年，普遍可以獲得更成熟的文本與代碼，并且蔓延到了圖像領(lǐng)域。鐘偉成認(rèn)為，在他的視野中，可能不用等到2025年，我們就能夠看到基于文本生成視頻、3D模型的AI技術(shù)在商業(yè)領(lǐng)域得到應(yīng)用。
動動手指或者說說話就能造出游戲的未來，或許就落在生成式AI上。從技術(shù)棧來看，生成式AI也存在應(yīng)用層、模型層、基礎(chǔ)設(shè)施三個板塊。
應(yīng)用層：以自研大模型或調(diào)用第三方模型API的方式，獲取大模型技術(shù)能力，制作成面向用戶的應(yīng)用軟件。
模型層：以商業(yè)化API接口或開源大模型的形式，為AI應(yīng)用提供核心技術(shù)能力。
基礎(chǔ)設(shè)施：芯片等硬件制造商，或者提供云計算服務(wù)云廠商，負(fù)載著生成式AI模型的訓(xùn)練和推理。
目前來說，不同層級的玩家，面臨著截然不同的商業(yè)現(xiàn)狀。最為百花齊放的自然是應(yīng)用層。就國際來看，基于文本、圖像、視頻、代碼、演講、游戲、音樂等不同領(lǐng)域的AIGC應(yīng)用。
需要承認(rèn)，AI原生應(yīng)用，借助大模型能力，有了“顛覆”傳統(tǒng)應(yīng)用市場的機(jī)會。大模型以API或者開源的方式，也為應(yīng)用廠商之間的差異性提供了包容度。
為此，鐘偉成介紹了一家營銷文案生成公司Jasper.AI，其AI能力基于微調(diào)版GPT-3的API，產(chǎn)品能力包括預(yù)定義模版完成內(nèi)容的Starter、能夠以80%補(bǔ)全率幫助用戶寫作的BossMode、定制化生成文案的Jasper for Business等。
這家成立于2021年1月的公司，不到1年就實現(xiàn)了4000萬美元的ARR（年度經(jīng)常性收入），而到2022年底，其付費用戶已經(jīng)接近十萬，年收入達(dá)7500萬美元。不過鐘偉成也指出，因為沒有自研大模型所鑄造的技術(shù)壁壘，Jasper依舊存在商業(yè)危機(jī)。
模型層來說，大模型提供商現(xiàn)狀并不理想。重投入、低回報使得玩家并不多，目前獨一檔的GPT系列模型作為閉源模型，帶動了應(yīng)用繁榮之后，也讓各類開源模型獲得資本關(guān)注，開始加足馬力追趕。
相對而言，模型層的API生態(tài)已經(jīng)開始繁榮，而處于安全考慮，大模型私有化部署的需求，也開始涌現(xiàn)。除此以外，Anthropic、Cohere等公司自行構(gòu)建的大語言模型，由于數(shù)據(jù)集和模型架構(gòu)與GPT模型的構(gòu)建理念差異不大，通用語言大模型的未來格局可能會是一超多強(qiáng)的。
AIGC浪潮真正的大贏家，出現(xiàn)在AI基礎(chǔ)設(shè)施的玩家中。不得不承認(rèn)，每秒浮點運算（FLOPS）是生成式AI的命脈，這意味著無論是代表運算速度性能的芯片硬件，還是提供云計算的云廠商，都在整個過程中獲得有商業(yè)壁壘的持續(xù)利益。
2022年到2023年，國內(nèi)市場的變化，基本反映了整個資本、商業(yè)市場對AIGC從觀望到追逐的看法轉(zhuǎn)變。但鐘偉成認(rèn)為復(fù)刻“中國版ChatGPT”不應(yīng)該是國內(nèi)語言大模型公司的創(chuàng)業(yè)目標(biāo)。
ChatGPT的應(yīng)用形態(tài)很容易復(fù)制，指令微調(diào)、RLHF也不會太難，真正難的是底層語言模型涌現(xiàn)能力的復(fù)現(xiàn)。鐘偉成指出，模型的涌現(xiàn)能力其實在訓(xùn)練GPT-3.5的時候，就已經(jīng)存在于語言模型中了，ChatGPT只不過是激發(fā)模型潛能的一種方式。大眾和許多創(chuàng)業(yè)者的視角都集中在復(fù)刻“ChatGPT”上，或許是某種意義上的本末倒置。
如果我們關(guān)注國產(chǎn)ChatGPT的進(jìn)展，應(yīng)該關(guān)注的是各種“類ChatGPT”產(chǎn)品底層的語言大模型離GPT-3.5的涌現(xiàn)能力還差多遠(yuǎn)。在一個沒有涌現(xiàn)能力的LLM上套一個ChatGPT的殼，也只不過是東施效顰，但這也是市面中普遍存在的做法。
03.生成式AI，迎來三波浪潮
AIGC的發(fā)展浪潮，可以分段為三個時代。
2017到2021的煉大模型時代，自2019年7月微軟向OpenAI投資10億美元開始，全球開始了基礎(chǔ)大模型的軍備競賽，國內(nèi)的華為、智源、達(dá)摩院、百度等云計算提供商和AI研究院先后發(fā)布了自家的預(yù)訓(xùn)練大模型，并不斷從NLP延伸出了雙語、CV、跨模態(tài)等大模型，整體方向還是在追逐大參數(shù)量，主要目的還是以學(xué)研結(jié)果、大廠防御性戰(zhàn)略為主。
2020到2023的商業(yè)API時代，本質(zhì)是煉制大模型成本過高，大部分AIGC應(yīng)用公司只能通過API獲取大模型能力。GPT-3的出現(xiàn)，是API生態(tài)建立的標(biāo)志，涌現(xiàn)出Jasper.ai、Copy.ai等公司，并且傳統(tǒng)軟件開始嵌入AIGC的技術(shù)能力。
而這一階段的轉(zhuǎn)折節(jié)點，同樣由Open AI發(fā)起——2021年其發(fā)布CLIP模型，預(yù)訓(xùn)練大模型領(lǐng)域由單模態(tài)走向多模態(tài)。ChatGPT的出現(xiàn)，則定義了多輪對話，就是人機(jī)交互界面的一種未來可能。
而在2022開始到未來的一段時間內(nèi)，將可能進(jìn)入“專屬大模型”時代。一方面，大型企業(yè)將會探索大模型私有化部署，圍繞LLM（Large Language Model，大型語言模型）打造新技術(shù)棧是必然。另一方面，又可能會產(chǎn)生以ChatBot為基座的新一代操作系統(tǒng)，成為人機(jī)協(xié)作的交互入口，其中間雜著AI原生軟件與傳統(tǒng)軟件之間的對抗。
這一過程中，行業(yè)通用的基礎(chǔ)大模型由于煉制和微調(diào)的成本下降，將會不斷涌現(xiàn)。而貫穿大模型訓(xùn)練過程的各類AI infra技術(shù)的需求將被進(jìn)一步激發(fā)，又是無限的商業(yè)可能。
鐘偉成認(rèn)為，未來商業(yè)一個明顯的能力差異，是AI原生。AI原生與傳統(tǒng)軟件集成AIGC能力的區(qū)別，是一種生產(chǎn)方式代際更替間的差異。AIGC大幅度提升了信息產(chǎn)業(yè)的生產(chǎn)效率，可以定義為另一次技術(shù)革命，必然帶來產(chǎn)業(yè)勞動力與生產(chǎn)方式的遷移。
必須清醒地認(rèn)識到，國內(nèi)距離Open AI的技術(shù)差距，還很明顯。技術(shù)路徑雖然較為清晰，但實際應(yīng)用ChatGPT、GPT-4的技術(shù)至今都沒有完全開源，只能是盲人摸象式探索。而模型的人工調(diào)教過程也是一種積累方面的壁壘，有論文指出，模型至少要達(dá)到620億參數(shù)量后，才可能訓(xùn)練出CoT思維鏈能力，這一點需要時間和金錢的雙重投入。
而Open AI已經(jīng)在謀求更遠(yuǎn)。從GPT3開始，其關(guān)注的核心，是通過用戶所進(jìn)行的prompt與微調(diào)數(shù)據(jù)，來形成自己的SFT數(shù)據(jù)集，以進(jìn)一步完善模型的業(yè)務(wù)效果準(zhǔn)確性?！八晕覀冏霾怀鲋形恼Z言大模型的時候，抱怨說中文語料質(zhì)量不如英文語料意義并不大，Open AI已經(jīng)過了追求事實數(shù)據(jù)的階段?！痹阽妭コ煽磥恚噶顢?shù)據(jù)的收集，又將是Open AI下一個壁壘。
作為銀杏谷資本的投資人，鐘偉成也透露了自身所看好的幾個生成式AI創(chuàng)業(yè)方向：比如能夠嵌入或者改造傳統(tǒng)工作流的生成式AI應(yīng)用，比如基于多模態(tài)大模型的端到端應(yīng)用，再比如能夠幫助用戶高效整合知識來構(gòu)建思考框架和激發(fā)靈感的垂直行業(yè)應(yīng)用等。他強(qiáng)調(diào)：“生成式AI的價值并不僅僅體現(xiàn)在內(nèi)容生成，關(guān)鍵信息要素的“提煉與合成”將釋放更大的潛在價值！”
如果跳脫應(yīng)用本身，模型預(yù)訓(xùn)練/推理算法優(yōu)化、向量數(shù)據(jù)庫、AI芯片等AI基礎(chǔ)設(shè)施，即所謂的AI infra，也是其所看好的方向。
除此以外，“按照三次浪潮的洞察來看，大模型私有化部署或許不是一種很好的商業(yè)模式但中短期來看也是一個肉眼可見的趨勢”。
比如為金融、能源等擁有海量業(yè)務(wù)數(shù)據(jù)、算力及付費能力的B端企業(yè)，提供專屬大模型的訓(xùn)練、微調(diào)迭代及托管服務(wù)，以ChatBot的人機(jī)交互界面為操作中心重構(gòu)公司業(yè)務(wù)流程，并在基礎(chǔ)大模型基礎(chǔ)上開發(fā)生成式AI應(yīng)用，搭配plugins調(diào)用其他軟件的數(shù)據(jù)?！笆遣皇呛苎凼?？有些類似當(dāng)年的中臺、PaaS平臺，卻又完全不一樣?！?。