21世紀(jì)經(jīng)濟(jì)報道記者董靜怡上海報道

像年初的Sora一樣，這次AI的顛覆性影響傳入了音樂圈。

近日，AI音樂生成軟件Suno發(fā)布V3版本，僅需要簡單的描述，就可以生成2min長度、廣播質(zhì)量級別的音樂。正如Suno官網(wǎng)所顯示：“無論您是歌手還是排行榜藝術(shù)家，我們都會打破您與您夢想創(chuàng)作的歌曲之間的障礙。不需要任何工具，只需要想象力?！?/p>

這為普通人打開了音樂制作的大門。在社交媒體上，眾多網(wǎng)友參與討論，并曬出通過Suno制作的曲目，這些可以稱得上完整且好聽的音樂作品令音樂圈內(nèi)外人感到頗為震撼，當(dāng)然，更震撼的還是AI生成能力的迭代速度。

在文生文模型的熱度逐漸平息之時，文生圖、音頻、視頻等多模態(tài)大模型開始了一輪又一輪的進(jìn)化。華泰證券的一份研報顯示，海外大模型迭代重視多模態(tài)能力拓展，相較于早期圖像、音頻、視頻模型，基礎(chǔ)模型能力顯著提升。

“大語言模型為AI產(chǎn)業(yè)帶來新的生機，然而語言模型的應(yīng)用場景有限。要全面打開生成式AI的想象力，還是要依托多模態(tài)大模型?！盜DC中國研究總監(jiān)盧言霞向21世紀(jì)經(jīng)濟(jì)報道記者表示。

她曾預(yù)測，未來5年，生成式AI生成的文本類文件、圖像類文件、視頻類文件、軟件代碼類文件數(shù)量將會越來越平均。而這其中，與圖像文件相關(guān)的數(shù)據(jù)量可能是文本文件的100倍，視頻文件是圖像文件的10倍。

當(dāng)見識過這些模型的能力后，生成式AI的想象空間已經(jīng)被全面打開。盡管目前很多應(yīng)用尚未正式對外開放使用，也無法了解到更多技術(shù)細(xì)節(jié)，但可以確定的是，這一波技術(shù)迭代將為AI行業(yè)參與者帶來可觀的機遇。

音樂圈的ChatGPT時刻

曾有業(yè)內(nèi)專家認(rèn)為，考慮到成品的復(fù)雜性，可能需要數(shù)年時間才能出現(xiàn)一種通過簡單的文本描述制作歌曲的工具。但位于馬薩諸塞州劍橋市的一家成立兩年的初創(chuàng)公司Suno已經(jīng)成功實現(xiàn)了這一目標(biāo)。

近日，Suno V3音樂生成模型發(fā)布，面向所有用戶開放。Suno通過其先進(jìn)的AI算法，能夠理解和分析用戶的輸入，然后生成與之相匹配的音樂。這意味著用戶只需要提供一些簡短的歌詞或者描述，Suno就能根據(jù)這些信息創(chuàng)作出一首歌曲。

隨著新版本的推出，Suno還引入了AI音樂水印系統(tǒng)，每段由平臺生成的音樂都添加了人聲無法識別的水印，旨在保護(hù)用戶的創(chuàng)作，防止抄襲和濫用。

“相比起之前的版本，或是此前其他AI生成音樂的工具，V3生成的曲目是令人驚艷的?！庇幸魳凡┲髟谏缃幻襟w上發(fā)出贊嘆，“它已經(jīng)不再是一小段不成熟的東西，而是有歌詞、前奏、間奏、副歌的完整歌曲?！?/p>

在V3版本中，音質(zhì)、咬字和節(jié)奏編排上都有了顯著提升，是Suno AI首次能夠生產(chǎn)出廣播質(zhì)量的音樂的模型，它能夠在幾秒鐘內(nèi)創(chuàng)作出完整的兩分鐘歌曲，就在半年前，這個時長還僅有30秒。

為了激發(fā)人們的創(chuàng)作靈感，Suno V3還增加了更多音樂風(fēng)格和流派的選項，包括古典音樂、爵士樂、Hiphop、電子等新潮曲風(fēng)。同時，V3版本對于用戶輸入的提示詞，理解和響應(yīng)更加準(zhǔn)確，減少了“幻覺”現(xiàn)象，使得歌曲的結(jié)尾更加自然和高質(zhì)量。

“我認(rèn)為完成度很高，在樂器編排、風(fēng)格把控、歌詞與旋律的匹配度等等方面都做得不錯，甚至還有樂器solo。”某獨立樂隊成員向21世紀(jì)經(jīng)濟(jì)報道記者表示，“尤其對沒有專業(yè)制作班底的獨立樂隊而言，提供了很好的編曲靈感?！?/p>

官方宣稱，不少知名的藝術(shù)家已經(jīng)在使用Suno，但其核心用戶群依然還是沒有任何音樂制作經(jīng)驗的普通人。在互聯(lián)網(wǎng)上，越來越多的網(wǎng)友曬出了自己通過Suno生成的作品，其中不乏中文歌曲，如基于古詩詞的古韻歌曲《水調(diào)歌頭（明月幾時有）》、中文硬搖滾《We Go!》，甚至還有以菜譜作為歌詞的《宮保雞丁》等。

“這與AI繪畫給人的感覺是類似的，”有使用者向記者表示，“做不到特別好，但可以達(dá)到平均水平，甚至要更高?！?/p>

針對于其應(yīng)用場景，業(yè)內(nèi)普遍認(rèn)為，作為廣告、短視頻等背景音樂的“功能性音樂”，Suno生成的音頻有著很大的應(yīng)用前景，再往前發(fā)展，個性化定制音樂也會成為一種普遍的現(xiàn)象。

不過，談AI替代人力還是為時過早。上述獨立樂隊樂手向記者表示，作品雖然有完成度，但結(jié)構(gòu)呆板，編排還是粗糙的、模塊化的，對于主流的音樂產(chǎn)業(yè)還構(gòu)不成威脅，“它確實降低了音樂制作的門檻，但還遠(yuǎn)沒有突破其天花板。”

Suno官方則表示，目前Suno模型仍處于早期階段，未來還將沿著質(zhì)量、可控和速度方向進(jìn)行改進(jìn)，并透露V4已經(jīng)在開發(fā)中。

多模態(tài)仍在發(fā)展初期

事實上，去年下半年以來，由各類多模態(tài)大模型生成的作品已經(jīng)一次又一次帶來令人驚艷的效果，AI生成語音、圖片、視頻的進(jìn)程似乎比預(yù)想中走得更快。

去年年底，谷歌上線了文生圖模型Imagen 2，在圖像的真實性和語言理解的深度上取得了前所未有的成就，能夠生成高度逼真且與文本提示一致的高分辨率圖像，尤其在處理復(fù)雜細(xì)節(jié)如皮膚質(zhì)感和頭發(fā)方面表現(xiàn)出色，被稱為DALL?E 3和Midjourney的最強競品。

年初，OpenAI的Sora模型帶來更大的震撼，它能夠根據(jù)文本描述生成長達(dá)60秒的視頻，在此之前，同類產(chǎn)品生成的時長只有幾秒鐘。同時，它還具有精細(xì)復(fù)雜的場景、生動的角色表情以及復(fù)雜的鏡頭運動，使得Sora生成的視頻在視覺效果上更為連貫和逼真，與之前AI視頻生成模型產(chǎn)生的抖動和失真的視頻效果形成了鮮明對比。

再加上近期Suno的火爆，各個領(lǐng)域都在迎來自己的ChatGPT時刻。業(yè)內(nèi)人士認(rèn)為，這類多模態(tài)大模型將最先應(yīng)用于短視頻、廣告、互娛、影視、媒體等領(lǐng)域。在這些領(lǐng)域采用多模態(tài)大模型能力，既可以提高生產(chǎn)速度又可以提高生產(chǎn)數(shù)量，還可以創(chuàng)造全新的視聽感受，能夠幫助企業(yè)真正實現(xiàn)降本增效、提升用戶體驗。

從更長遠(yuǎn)的角度來看，多模態(tài)最接近于人對自然界的感知，智譜AI CEO張鵬在此前接受21世紀(jì)經(jīng)濟(jì)報道記者采訪時表示，多模態(tài)是走向通用人工智能（AGI）的起點。

“人大腦一定是各種感官融合到一起的，所以人的智力一定是多模態(tài)的?！睆堸i向記者表示，“多模態(tài)不僅是文到圖、圖到文這么一件事情，它更多的是探究人的認(rèn)知能力和各種感官之間的相互作用?！?/p>

東方證券的一份研報指出，多模態(tài)大模型一方面有利于形成圖片、視頻等更加生動活潑、更具交互性的應(yīng)用，從而有助于C端爆款的誕生；另一方面，多模態(tài)大模型能真正打通物理世界和數(shù)字世界的障壁，實現(xiàn)與物理世界最自然的交互，從而對自動駕駛、人形機器人等具身智能領(lǐng)域的突破提供有力支撐。

但從技術(shù)角度來看，多模態(tài)大模型仍面臨著多重挑戰(zhàn)。

多模態(tài)模型的技術(shù)難度主要在于如何有效地整合和處理不同類型的數(shù)據(jù)，圖像、視覺和音頻等領(lǐng)域的數(shù)據(jù)具有更高的維度和更復(fù)雜的結(jié)構(gòu)?！芭cNLP相比，圖像、視覺、音頻的數(shù)據(jù)量更大，對算力的要求也更高，計算的速度、性能要求都會更高?！北R言霞向21世紀(jì)經(jīng)濟(jì)報道記者表示。

她認(rèn)為，盡管在NLP領(lǐng)域取得了一定的進(jìn)展，但在圖像、視覺和音頻等其他模態(tài)上，大模型的發(fā)展仍然處于起步階段。

“很多應(yīng)用表面上看上去驚艷，但是如果我們按需按場景去使用，能滿足需求的時候仍是少數(shù)。”盧言霞向記者表示，真正的成熟需要至少多個場景都能有效使用，目前很明顯達(dá)不到這一點。

而人們對于多模態(tài)大模型的期望顯然不只限于單一的非文本模態(tài)。未來的多模態(tài)模型可能會朝著更加集成和協(xié)同的方向發(fā)展，不僅能夠處理單一模態(tài)的數(shù)據(jù)，還能夠在多個模態(tài)之間進(jìn)行有效的信息融合和轉(zhuǎn)換。

但當(dāng)前一體化多模態(tài)大模型仍存在局限。復(fù)旦大學(xué)計算機科學(xué)技術(shù)學(xué)院教授邱錫鵬向21世紀(jì)經(jīng)濟(jì)報道記者表示，目前的多模態(tài)大模型通常以語言模型為中心，通過將其他模態(tài)的數(shù)據(jù)映射到語言模型的語義空間中來實現(xiàn)多模態(tài)理解，生成時則需要調(diào)用外部的插件或系統(tǒng)。這限制了模型的應(yīng)用場景和靈活性。

他認(rèn)為，新一代大模型的交互將實現(xiàn)任意模態(tài)到任意模態(tài)的內(nèi)生轉(zhuǎn)化，這將與更多實際生活場景相結(jié)合，賦能應(yīng)用場景和生產(chǎn)力變革。

目前來看，多模態(tài)整體的研究框架仍是非常開放的，它并沒有一個非常清晰的、收斂的路線，這對于開發(fā)者而言是巨大的挑戰(zhàn)，但與此同時，也意味著很多的可能性。