北京時(shí)間4月16日，據(jù)彭博社報(bào)道，英偉達(dá)周二在監(jiān)管文件中表示，美國(guó)政府已于周一通知公司，H20芯片未來在出口至中國(guó)時(shí)需要“無限期”申請(qǐng)?jiān)S可證。
英偉達(dá)因此預(yù)警稱，公司將在本財(cái)年第一季度計(jì)入大約55億美元的費(fèi)用，這些費(fèi)用與H20系列芯片相關(guān)的“庫存、采購承諾及相關(guān)準(zhǔn)備金”有關(guān)。
正如英偉達(dá)所言，進(jìn)一步收緊出口限制只會(huì)強(qiáng)化中國(guó)擺脫美國(guó)技術(shù)依賴的決心，并將削弱美國(guó)企業(yè)的競(jìng)爭(zhēng)力。
現(xiàn)在，美國(guó)政府給英偉達(dá)的心臟刺入了一把尖刀，更是給國(guó)產(chǎn)芯片生態(tài)發(fā)展送了一個(gè)助攻。
今年3月，鳳凰網(wǎng)科技與專注做AI智能算力基礎(chǔ)系統(tǒng)軟件的公司清程極智進(jìn)行了一場(chǎng)對(duì)話，這正是一家專注于推動(dòng)國(guó)產(chǎn)芯片發(fā)展的公司，其最近開源的赤兔，可以幫助國(guó)產(chǎn)芯片更好跑滿血版DeepSeek。
鳳凰網(wǎng)科技《浪潮》出品
作者 董雨晴
在五道口的清華科技園，很容易偶遇清華系的人工智能公司，但今天，這里最忙碌的身影不再專屬于基座大模型六小龍，更為顯眼的是位于中間層的AI infra（基礎(chǔ)設(shè)施）公司。
清程極智就是這樣一家企業(yè)，2023年底，清華大學(xué)計(jì)算機(jī)系里的一伙人創(chuàng)辦了清程極智，清華大學(xué)計(jì)算機(jī)系長(zhǎng)聘教授翟季冬出任首席科學(xué)家，翟教授曾經(jīng)帶領(lǐng)清華超算團(tuán)隊(duì)奪得過十幾個(gè)世界冠軍，清程極智的核心成員也多來自于清華計(jì)算機(jī)系高性能計(jì)算研究所，CEO湯雄超即是如此。
他們是國(guó)內(nèi)少有的有過十萬臺(tái)服務(wù)器超大規(guī)模國(guó)產(chǎn)算力集群使用和調(diào)優(yōu)經(jīng)驗(yàn)的團(tuán)隊(duì)。而大規(guī)模集群的訓(xùn)練和推理，是算力發(fā)展過程中最復(fù)雜的一種情況。
成立僅一年，清程極智就拿到了兩輪投資，其中包括北京市人工智能產(chǎn)業(yè)投資基金與中科創(chuàng)星。中科創(chuàng)星曾表示，國(guó)內(nèi)AI Infra市場(chǎng)在編譯器和并行訓(xùn)練推理系統(tǒng)等核心技術(shù)軟件方面尤為空缺，而清程極智是國(guó)內(nèi)少有的完全掌握全棧研發(fā)能力的團(tuán)隊(duì)。
今年初，DeepSeek的爆火，為AI infra添了一把柴。更早就預(yù)判到推理側(cè)需求的清程極智直接迎來了業(yè)務(wù)上的爆發(fā)。
湯雄超告訴鳳凰網(wǎng)科技，清程極智的新增需求幾乎都來自于推理側(cè)?！拔覀冎笆怯型评硭懔π枨罂焖僭鲩L(zhǎng)這樣的一些判斷，但是沒想象到它來得這么快，這么洶涌”。
隨著整個(gè)大模型算力需求的趨勢(shì)從訓(xùn)練側(cè)轉(zhuǎn)向推理側(cè)，相應(yīng)的硬件供給矛盾也逐漸凸顯。“DeepSeek也在某種程度上拉大了國(guó)產(chǎn)算力與英偉達(dá)的差距”。
湯雄超認(rèn)為，DeepSeek通過算法的創(chuàng)新突破了大規(guī)模硬件的瓶頸，這可以很好的解決當(dāng)前國(guó)內(nèi)算力不足的窘迫，給AI企業(yè)提供一個(gè)創(chuàng)新的樣本。
但同時(shí)，DeepSeek的技術(shù)創(chuàng)新主要圍繞英偉達(dá)H卡的架構(gòu)，DeepSeek模型采用的FP8數(shù)據(jù)格式與英偉達(dá)H系列卡深度綁定，未來可能還會(huì)支持更新的FP4等，但目前大多數(shù)國(guó)產(chǎn)芯片尚沒法原生支持FP8, “從這個(gè)層面看,硬件層面產(chǎn)品的代際差距拉大了”。如何發(fā)揮Infra層的作用，通過軟硬協(xié)同，將優(yōu)秀的國(guó)產(chǎn)大模型和國(guó)產(chǎn)硬件更好的協(xié)同起來，以及把市場(chǎng)上的閑置算力更好的用起來，是清程極智始終在思考的。
抱著這樣的想法，今年初，清程極智與清華共同開源了大模型推理引擎“赤兔”，通過赤兔的部署，大部分英偉達(dá)老卡舊卡及國(guó)產(chǎn)芯片都可支撐DeepSeek滿血版，與此同時(shí)在首期開源的版本中，對(duì)比國(guó)際主流開源推理引擎，在算力減少一半的基礎(chǔ)上，速度還能翻番。
赤兔的出現(xiàn)對(duì)于國(guó)產(chǎn)算力而言是一股強(qiáng)大的驅(qū)動(dòng)力，特別針對(duì)國(guó)產(chǎn)算力在支持DeepSeek方面是重要的催化劑，于當(dāng)下而言更是恰逢其時(shí)。
一些例子已在證明。去年，算力概念火熱時(shí)期，就有聲音認(rèn)為，市場(chǎng)上部分國(guó)產(chǎn)算力是屬于空置狀態(tài)。但DeepSeek的火熱激活了國(guó)產(chǎn)算力市場(chǎng)。據(jù)湯雄超觀察，他發(fā)現(xiàn)DeepSeek走紅之后，此前不少閑置的算力已經(jīng)運(yùn)轉(zhuǎn)起來。
赤兔的出現(xiàn)，更是對(duì)國(guó)產(chǎn)算力的重大利好。短期來看，它實(shí)現(xiàn)了 DeepSeek FP8 精度模型在存量GPU 上的無損且高效部署。長(zhǎng)期來看，赤兔的開源是國(guó)產(chǎn)大模型、國(guó)產(chǎn)算力和國(guó)產(chǎn)引擎閉環(huán)形成中的必要一環(huán)。
在這個(gè)特別的時(shí)期，鳳凰網(wǎng)科技《浪潮》與清程極智CEO湯雄超進(jìn)行了一場(chǎng)對(duì)話，聊了聊他對(duì)于DeepSeek爆火之后，國(guó)產(chǎn)生態(tài)變化的思考，以下是對(duì)話全文，經(jīng)編輯發(fā)布：
談推理側(cè)需求的爆發(fā)：閑置的算力都用起來了
鳳凰網(wǎng)科技：你們最近一兩個(gè)月在忙著做什么？
湯雄超：變化主要在業(yè)務(wù)精力的調(diào)整上。我們是做AI智能算力基礎(chǔ)系統(tǒng)軟件的，業(yè)務(wù)精力的投入力度顯然也是跟市場(chǎng)上算力需求的變化是相匹配的。去年其實(shí)大部分的算力需求是來自于預(yù)訓(xùn)練這一側(cè)，包括非常多的像英偉達(dá)、不同廠商的國(guó)產(chǎn)卡，千卡集群、萬卡集群、異構(gòu)集群上做預(yù)訓(xùn)練，優(yōu)化他們的訓(xùn)練性能，加速降本。
去年我們也有在做推理的一些工作，我們和燧原科技一起做的高吞吐推理一體機(jī)拿了不少獎(jiǎng)項(xiàng)，在多模態(tài)方面，我們?nèi)ツ晔歉鷶?shù)科技聯(lián)合優(yōu)化，對(duì)于圖片生成有接近5倍的提速。但是相對(duì)來說，去年推理側(cè)的算力需求相對(duì)于預(yù)訓(xùn)練側(cè)來說是比較小的，今年DeepSeek走紅之后，我們感覺到的最大的一個(gè)變化，就是推理算力的占比有一個(gè)非常大的提升。
鳳凰網(wǎng)科技：大概是一個(gè)什么樣的比例變化？
湯雄超：現(xiàn)在我們新增的業(yè)務(wù)基本上都來自于推理側(cè)。其實(shí)我們之前是有這樣的一些判斷，但是我們沒有想象到它來得這么快，這么洶涌。去年底的時(shí)候，OpenAI的o1發(fā)布了之后，其實(shí)大家也都能感覺到推理算力的占比一定是會(huì)提升的，但是當(dāng)時(shí)的話，OpenAI還是遙遙領(lǐng)先。開源的話其實(shí)之前一直也主要以Llama和千問這種傳統(tǒng)的大模型為主，但是DeepSeek R1的出現(xiàn)確實(shí)很驚艷，我們也看到隨著而來整個(gè)推理算力，包括推理方面的需求都變得非常多。
鳳凰網(wǎng)科技：我記得你去年其實(shí)就說過，部署一體機(jī)可能還是應(yīng)該專注于推理側(cè)。
湯雄超：其實(shí)現(xiàn)在回過頭來看，我們現(xiàn)在正在做的就是當(dāng)初的判斷，比如當(dāng)初判斷推理算力將有大規(guī)模爆發(fā)，隨之帶來的大模型私有化部署需求等也是我們正在忙碌的事。而且我們也看到，現(xiàn)在推理跟訓(xùn)練有一些趨同的地方在于大家都會(huì)逐漸形成對(duì)集群算力有需求的狀態(tài)。以前推理市場(chǎng)更多是獨(dú)自的分散需求現(xiàn)在也需要一個(gè)集群。但是確實(shí)從所需要的芯片能力來說，訓(xùn)練側(cè)對(duì)計(jì)算能力可能要求還是更高一些
鳳凰網(wǎng)科技：推理算力需求的爆發(fā)也隨之帶來了國(guó)產(chǎn)算力的爆發(fā)嗎？
湯雄超：兩個(gè)方面來說，一方面隨著大模型私有化部署需求的增加，我們會(huì)看到一些以前的閑置算力確實(shí)正在被消化。
但另一方面我們也可以看到DeepSeek拉大了國(guó)產(chǎn)算力和英偉達(dá)的差距。有一種聲音是認(rèn)為DeepSeek的出現(xiàn)是縮小了國(guó)產(chǎn)算力和英偉達(dá)之間的差距，我認(rèn)為這種說法也沒錯(cuò)，因?yàn)樵诔笠?guī)模預(yù)訓(xùn)練集群的場(chǎng)景下，國(guó)產(chǎn)算力和英偉達(dá)的差距非常大，系統(tǒng)穩(wěn)定性、可用性、芯片出貨量等等都是問題；現(xiàn)在DeepSeek破除了對(duì)超大規(guī)模預(yù)訓(xùn)練集群的依賴，讓更多的算力需求轉(zhuǎn)向推理側(cè)，相當(dāng)于降低了使用國(guó)產(chǎn)算力替代方案的難度。
但是我們單純從推理側(cè)來說的話，其實(shí)DeepSeek的出現(xiàn)更加拉大了國(guó)產(chǎn)算力跟英偉達(dá)的差距。雖然大家也看到DeepSeek開源了非常多的東西，但他們的一些技術(shù)創(chuàng)新更多是跟英偉達(dá)
H卡架構(gòu)的卡綁定的，很多優(yōu)化無法直接復(fù)制到國(guó)產(chǎn)算力上。
DeepSeek滿血版本身是FP8原生訓(xùn)練的，但目前幾乎所有的國(guó)產(chǎn)卡都不支持FP8的計(jì)算，如果要部署DeepSeek滿血版，需要把FP8轉(zhuǎn)換成其它數(shù)據(jù)格式，這樣有時(shí)會(huì)導(dǎo)致顯存占用大，用起來非?？?，有時(shí)會(huì)使模型精度受損，推理的效果不盡人意，那這樣的話大家用國(guó)產(chǎn)卡的意愿又沒有那么高了，同時(shí)未來英偉達(dá)會(huì)支持FP4等新的數(shù)據(jù)類型，現(xiàn)在的差距在未來有可能進(jìn)一步加大，從這個(gè)角度上來說，DeepSeek的出現(xiàn)讓這個(gè)差距顯得更加明顯。
我們前段時(shí)間開源了赤兔，因?yàn)槲覀冇X得DeepSeek幾乎是一個(gè)我們?cè)陂_源社區(qū)能拿到的最好的模型，但是它跟非常難獲得的硬件是深度綁定的，大家利用現(xiàn)有的硬件條件把它充分利用起來還是有很高的門檻，因此我們開源了赤兔推理引擎，讓市場(chǎng)上的英偉達(dá)的大部分老卡舊卡以及國(guó)產(chǎn)芯片，支持FP8計(jì)算模型的推理，同時(shí)又做了一些優(yōu)化助力計(jì)算效率的提升，使得不僅用的起來，還比原來便宜，速度也更快。
談赤兔開源：給國(guó)產(chǎn)芯片送助攻
鳳凰網(wǎng)科技：赤兔的開源對(duì)行業(yè)來說價(jià)值不小，你們當(dāng)時(shí)為什么直接選擇了開源？
湯雄超：我們本身是一個(gè)商業(yè)公司，但是我們覺得開源赤兔推理引擎或者開源這件事本身跟我們獲得商業(yè)上的收益并不是沖突的。第一我們覺得赤兔的技術(shù)方案確實(shí)非常的有價(jià)值，是可以給整個(gè)國(guó)產(chǎn)AI行業(yè)的生態(tài)帶來正向影響的，我們也非常愿意和大家能夠共享這樣一個(gè)技術(shù)的進(jìn)步，從另外一個(gè)方面，從商業(yè)上的角度來考慮的話，我們的價(jià)值肯定是多維的？說個(gè)最簡(jiǎn)單的例子，雖然赤兔是開源的，但是需要基于赤兔進(jìn)行部署，需要運(yùn)維，而我們本身是最懂赤兔的。
更長(zhǎng)期的角度上來說，比如都是支持原生FP8的推理訓(xùn)練，但實(shí)際上我們也可以提供不同性能水平的算子的實(shí)現(xiàn)，能夠通過軟硬協(xié)同更廣泛的提升國(guó)產(chǎn)AI芯片的性能。但是從更本質(zhì)的角度來說，我們?cè)趧?chuàng)立之初就是希望能夠促進(jìn)國(guó)產(chǎn)生態(tài)的發(fā)展，我們也相信算力國(guó)產(chǎn)化是大趨勢(shì)，所以我覺得像這種比較有意義的事情，還是比較愿意開源出來，讓大家一起來分享idea。
鳳凰網(wǎng)科技：你剛才說原來大家浪費(fèi)的算力已經(jīng)被用起來了，能不能舉個(gè)例子？
湯雄超：我們了解到的是，有很多庫存的國(guó)產(chǎn)算力，可能本來囤在一些算力中心里面，但在春節(jié)后陸陸續(xù)續(xù)的全都跑起來了。之前有很多的算力是不太好用起來的，甚至就處于一個(gè)關(guān)機(jī)的狀態(tài)，今年確實(shí)我們想租，他們說已經(jīng)租完了，沒有了。
鳳凰網(wǎng)科技：之前聽說很多大廠本來都有自己開發(fā)的卡，但是自己的大模型也沒有用自己的卡，為什么沒用起來？
湯雄超：也不能說完全沒有用起來，可能就是相對(duì)用的比例沒有那么的高，因?yàn)槲矣X得主要還是英偉達(dá)的卡設(shè)計(jì)的水平，所能獲得的全球最先進(jìn)的產(chǎn)能，以及多年以來維持的生態(tài)上的優(yōu)勢(shì)，使得業(yè)務(wù)部門在有選擇的情況下，還是會(huì)傾向于用比較簡(jiǎn)單易用的、性價(jià)比高的英偉達(dá)的卡。
鳳凰網(wǎng)科技：所以這可能對(duì)國(guó)產(chǎn)算力的發(fā)展也是個(gè)阻礙。
湯雄超：我對(duì)國(guó)產(chǎn)芯片長(zhǎng)期發(fā)展之后的性價(jià)比優(yōu)勢(shì)是比較有信心的。因?yàn)閺拈L(zhǎng)期的角度來看，從過往的經(jīng)驗(yàn)來看，我覺得國(guó)產(chǎn)的東西在性價(jià)比上面卷贏國(guó)外沒有什么大的問題，但肯定是需要有一個(gè)發(fā)展的過程。
鳳凰網(wǎng)科技：今年對(duì)國(guó)產(chǎn)算力，會(huì)有一個(gè)比較明顯的曲線變化嗎？
湯雄超：我覺得受太多因素的影響，我很難去評(píng)估什么時(shí)候會(huì)發(fā)生一個(gè)變化。首先國(guó)內(nèi)的芯片設(shè)計(jì)水平肯定是在持續(xù)的發(fā)展，包括我們合作了這么多家芯片公司，也感覺到大家新一代的芯片都會(huì)比老一代的有一個(gè)非常大的提升。
但我覺得可能會(huì)有很多偶然因素在里面。另外在軟件生態(tài)上的話，我覺得也是看大家生態(tài)共建的水平怎么樣，這本身也是我們把赤兔開源出來，希望大家一起來做的事情。
鳳凰網(wǎng)科技：你們現(xiàn)在覺得哪些國(guó)產(chǎn)芯片的表現(xiàn)比較好？
湯雄超：如果我們看的話，去年也有一些國(guó)產(chǎn)芯片公司，已經(jīng)開始走IPO的流程了，這些其實(shí)就相對(duì)來說，是比較成熟的，已經(jīng)迭代了好幾個(gè)版本。芯片行業(yè)的話，雖然大家在做設(shè)計(jì)的時(shí)候都會(huì)考慮到很多，但確實(shí)有很多問題是要在使用中，在社區(qū)里面才會(huì)有反饋的，就包括我們?cè)?010 年左右的時(shí)候，清華實(shí)驗(yàn)室這邊就在搞英偉達(dá)CUDA的這些東西，其實(shí)那個(gè)時(shí)候也感覺各種問題。因?yàn)橹按蠹叶际窃谟⑻貭?X86 上面做，英特爾的東西已經(jīng)很成熟了，一做CUDA就發(fā)現(xiàn)適配性不好，自己也不習(xí)慣，一度感覺也沒那么好用。但是過了幾年之后，等到 2015 年的時(shí)候再想在CUDA上面去找一些它的缺陷就比較困難了。到現(xiàn)在的話實(shí)際相對(duì)來說CUDA生態(tài)也都變成一個(gè)很成熟的生態(tài)，所以我覺得這些其實(shí)都是要有一個(gè)發(fā)展的過程。
談AI創(chuàng)企的發(fā)展：大模型跑起來只是第一步，還有很多問題沒解決
鳳凰網(wǎng)科技：你們?cè)诔闪⒅?“助力國(guó)產(chǎn)化”“大規(guī)模集群訓(xùn)練”等標(biāo)簽讓人印象深刻，現(xiàn)在公司發(fā)展了一年多，你認(rèn)為這些代表你們的標(biāo)簽有變化嗎？
湯雄超：我們之所以給別人留下了這個(gè)印象，只是說我們的技術(shù)特長(zhǎng)和既往的項(xiàng)目經(jīng)驗(yàn)，在國(guó)產(chǎn)化方面積累是非常深的，特別是在大規(guī)模集群的訓(xùn)練方面。我們當(dāng)時(shí)成立公司的時(shí)候，其實(shí)主要考慮到我們自身的團(tuán)隊(duì)基因或者說背景，我們有非常強(qiáng)的并行計(jì)算方面的，以及像這種芯片架構(gòu)適配方面的優(yōu)勢(shì)。因?yàn)槲覀冞^去做高性能計(jì)算，10年前就遇到過今天芯片行業(yè)的問題，今天AI領(lǐng)域發(fā)生的一切，我們都非常熟悉。但是通過一些軟硬件的協(xié)同設(shè)計(jì)，做一些比較好的軟件實(shí)現(xiàn)的話，還是能夠把國(guó)產(chǎn)算力充分發(fā)揮起來的。本身如果從性價(jià)比的角度去看，我們會(huì)發(fā)現(xiàn)這種國(guó)外最先進(jìn)的算力，是有高溢價(jià)的，如果真的愿意在軟件上面去做一些工作的話，其實(shí)最終國(guó)產(chǎn)的算力方案未必就不如國(guó)外的。
AI的發(fā)展肯定對(duì)算力的需求是越來越大的，首先，模型越來越大，AI的滲透率也會(huì)越來越高，另外從長(zhǎng)期來看的話，可能會(huì)更多的轉(zhuǎn)向一個(gè)自主可控的國(guó)產(chǎn)算力趨勢(shì)。兩個(gè)明確的大方向下，我們覺得做這樣的一個(gè)公司，就是非常正確的事情。
鳳凰網(wǎng)科技：你覺得大模型的數(shù)據(jù)可能會(huì)越來越大，但現(xiàn)在各家可能已經(jīng)不再去刻意卷參數(shù)了，甚至是不做預(yù)訓(xùn)練了？
湯雄超：我們現(xiàn)在看到的是說預(yù)訓(xùn)練的玩家可能會(huì)進(jìn)一步的減少。就是可能有一些實(shí)力特別強(qiáng)的，還是會(huì)堅(jiān)持去做預(yù)訓(xùn)練，對(duì)于更多玩家來說，他可能覺得我自己做預(yù)訓(xùn)練，不如等著這些寡頭來推出新的開源模型，像前段時(shí)間DeepSeek又發(fā)了V3的更新版，阿里的千問，其實(shí)更新都挺快的，所以對(duì)于很多參與者來說，自己做預(yù)訓(xùn)練可能就不如等一下這些技術(shù)寡頭再給大家發(fā)一個(gè)新的福利。
鳳凰網(wǎng)科技：所以六小龍可能得換條路走？
湯雄超：我覺得對(duì)于更多新玩家來說，如果是做這種基于公開數(shù)據(jù)集的預(yù)訓(xùn)練的話，一個(gè)是貴，一個(gè)是感覺還不如等大廠發(fā)，另外一個(gè)角度上，對(duì)于一些做垂域大模型的公司來說，他可以深入到不同行業(yè)里面去，針對(duì)這些行業(yè)私有數(shù)據(jù)去做微調(diào)，做這種后訓(xùn)練。這塊也比較有市場(chǎng)，因?yàn)槲覀兇_實(shí)看到通用大模型也不是全知全能的，肯定也需要獲得一些行業(yè)的特有知識(shí)，才能夠在垂類里面有更好的表現(xiàn)。
鳳凰網(wǎng)科技：你們現(xiàn)在做哪些類型的需求多一些？
湯雄超：其實(shí)都會(huì)有，我們現(xiàn)在更偏向于做這種本地化部署的業(yè)務(wù)，因?yàn)槲覄倓傉f推理業(yè)務(wù)，其實(shí)你可以簡(jiǎn)單分成，云上的MaaS和線下本地化部署。本地化部署的話，顯然大家一說就覺得像政企肯定會(huì)有很多這種強(qiáng)的數(shù)據(jù)安全的合規(guī)需求。其實(shí)也有很多我們所謂的這種私企或者民營(yíng)企業(yè)，其實(shí)他們也會(huì)有比較強(qiáng)的數(shù)據(jù)安全的要求，比如說金融行業(yè)或者法律行業(yè)。
我們覺得DeepSeek對(duì)大家有一個(gè)啟蒙的作用，讓大家意識(shí)到用大模型是大勢(shì)所趨了?；蛘哒f之前我覺得大模型更多是c端的在玩，現(xiàn)在就是強(qiáng)調(diào)了私有化部署，大家都會(huì)自問我的企業(yè)是不是真的要把大模型用起來了，所以現(xiàn)在不管是咨詢的還是真實(shí)迫切需要部署的，真的還挺多的。
鳳凰網(wǎng)科技：您說到清程更偏向于做這種本地化部署的業(yè)務(wù)，現(xiàn)在市場(chǎng)上對(duì)MaaS也有一些不同的聲音，您如何看待MaaS？
湯雄超：首先關(guān)于MaaS的需求是真實(shí)存在的，大家都是有共識(shí)的，就包括我自己也會(huì)調(diào)API來做一些開發(fā)，因?yàn)榇_實(shí)調(diào)云上API比自己部署要稍微簡(jiǎn)單。
但是大家討論比較多的是，有人用產(chǎn)品，但是你做產(chǎn)品也要有成本，那在商業(yè)上是不是盈利的？我覺得其實(shí)因素會(huì)非常的多，比如說算力的成本，產(chǎn)品的調(diào)用量，包括客戶付費(fèi)的這種意愿等等，我覺得這些平時(shí)都比較復(fù)雜，而且這幾個(gè)因素本身不是固定不變的。
我們也有MaaS，也有一些客戶，他可能在私有化部署的時(shí)候，就是不想買硬件。如果我先租的話，先云上部署的話，先試試東西是不是真的有用，然后之后再說，我覺得很多東西的存在價(jià)值肯定是多維的。
所以我是覺得MaaS能不能盈利的話，其實(shí)可能會(huì)要用發(fā)展的眼光去看待，并不能一概而論。首先算力成本是不是會(huì)持續(xù)的下降？因?yàn)榘凑找郧拔覀兯熘倪@種摩爾定律來說，其實(shí)算力成本就是會(huì)逐年下降的。第二點(diǎn)是模型的能力，或者說同樣尺寸的模型能提供的能力是不是能夠持續(xù)的增長(zhǎng)？我現(xiàn)在需要671B的模型，提供了一個(gè)表現(xiàn)，是不是過兩年之后我只要100B的模型就可以了？另外就是客戶付費(fèi)的意愿，現(xiàn)在如果是單純的聊天，我肯定不愿意付很多錢，但是如果他未來幫我承接了很多很有價(jià)值的業(yè)務(wù)，那可能我付費(fèi)的能力就提升了，比如現(xiàn)在收費(fèi)標(biāo)準(zhǔn)是100萬token16塊錢，未來如果是高價(jià)值業(yè)務(wù)的話，可以提高價(jià)格啊。
鳳凰網(wǎng)科技：目前本地化部署這塊業(yè)務(wù)，清程的研發(fā)壓力會(huì)在哪些方面？
湯雄超：主要還是看我們追求一個(gè)什么樣的目標(biāo)，因?yàn)楸旧砦覀兪窍胂驑I(yè)界提供更加靈活的算力底座，包括支持不同架構(gòu)的算力芯片。除了英偉達(dá)的這種旗艦的顯卡之外，也會(huì)支持一些老一點(diǎn)的型號(hào)，或者是一些國(guó)產(chǎn)GPU卡。因?yàn)橛泻芏嗥髽I(yè)其實(shí)它也是先從低門檻的入手開始，會(huì)慢慢的擴(kuò)大，所以我們會(huì)希望說算力底座是有彈性可伸縮的，你一開始不太好說直接批一個(gè)200萬的預(yù)算來買東西，而是買一個(gè)比如說幾萬、十幾萬的這種小的機(jī)器，上面可能就插了一兩張卡，等到有預(yù)算的時(shí)候，就補(bǔ)到8卡的一臺(tái)機(jī)器。
其實(shí)這兩點(diǎn)也是我們前段時(shí)間跟清華聯(lián)合發(fā)布開源赤兔引擎時(shí)提到的，我們會(huì)專注于做靈活的部署方案跟多元化的算力底座的支持，但是要支持這兩個(gè)特性的話，確實(shí)會(huì)給研發(fā)帶來一些額外的量。
鳳凰網(wǎng)科技：比如說哪些額外的工作量？
湯雄超：如果我只針對(duì)英偉達(dá)的H20來做，那我就只做一款芯片，但如果說我要支持更多的底層算力芯片的話，我需要考慮不同芯片的特性。從另外一個(gè)角度來說，雖然這么做短期內(nèi)會(huì)難一些，但是我們還是會(huì)往這個(gè)方向去。這一方面還是剛剛提到，我們從公司成立之初，就覺得長(zhǎng)期的國(guó)產(chǎn)化趨勢(shì)是比較明確的。從另外一個(gè)角度來說，我們的AI行業(yè)肯定不可能一直受制于人，你現(xiàn)在覺得H卡好用，但是明天就傳來說H20也要禁售，然后就一波漲價(jià)，當(dāng)然后來也沒有禁售（編者注：本次對(duì)話發(fā)生于3月中下旬）。對(duì)我們來說就相當(dāng)于算力底座是不可靠的，肯定不是一個(gè)好消息。為了能夠滿足這種不同芯片架構(gòu)的適配，其實(shí)我們也有一些這種自動(dòng)化的代碼生成的手段來加速這樣一個(gè)研發(fā)的過程，就包括其實(shí)去年我們一直在公開場(chǎng)合說，我們主要是三塊產(chǎn)品，一塊是大規(guī)模的訓(xùn)練系統(tǒng)，一塊是高性能推理引擎，還有一個(gè)就是智能編譯器，可以去做一些自動(dòng)化的高性能代碼生成，這樣就可以減少一些算子開發(fā)的人力，加快我們的研發(fā)過程。
不過即使加速了也還是會(huì)有一些額外的壓力，但是我們覺得事情是值得做的，就包括我們前段時(shí)間開源赤兔，在英偉達(dá)平臺(tái)上可能只是一件錦上添花的事情，但是對(duì)國(guó)產(chǎn)算力來說，它就是成本降一半的一個(gè)非常有價(jià)值的事情。所以我們研發(fā)團(tuán)隊(duì)做完了之后，確實(shí)也比較有成就感，大家其實(shí)也都挺開心的。
鳳凰網(wǎng)科技：你們現(xiàn)在人才方面的壓力會(huì)比較大嗎？
湯雄超：壓力挺大的，我們的技術(shù)門檻確實(shí)比較高。但我們公司還是保持嚴(yán)選狀態(tài)，除了技術(shù)上的能力，更多看重人才對(duì)我們團(tuán)隊(duì)文化的認(rèn)同。
鳳凰網(wǎng)科技：你們現(xiàn)在更需要哪些方面的人才？
湯雄超：因?yàn)槲覀儠?huì)持續(xù)的去做好推理引擎，AI系統(tǒng)層面的人才是我們一直關(guān)注的。另外因?yàn)?AI 應(yīng)用落地的速度可能會(huì)加快，所以了解上層具體場(chǎng)景的解決方案的同學(xué)，我們最近也聊的比較多。大模型跑起來本身只是 AI 應(yīng)用的第一步，一個(gè)基礎(chǔ)的聊天窗口，它能解決一些問題，但是也有很多問題它不太好解決。最典型的，幾乎所有的企業(yè)都想要一個(gè)知識(shí)庫，都想要有一個(gè)智能問答機(jī)器人，那其實(shí)不是說有一個(gè) API就結(jié)束了，我還是要去做一些事情?？赡苁峭ㄟ^微調(diào)的方式，或者通過一些別的方式，才能滿足千行百業(yè)的實(shí)際需求。