由想法流打造的“造夢(mèng)次元”，是由多模態(tài)AI驅(qū)動(dòng)的新一代內(nèi)容平臺(tái)，得益于商湯大裝置AIGC解決方案從算力到模型的端到端支持，通過(guò)算力和模型、模型和應(yīng)用之間的緊密協(xié)同，既創(chuàng)造了最佳的用戶體驗(yàn)，又獲得了最大化的成本效益，如今已成為一款日均活躍互動(dòng)時(shí)間超過(guò)100分鐘的現(xiàn)象級(jí)應(yīng)用。
50%成本節(jié)省、3~5倍推理時(shí)延降低、100%的QPS(每秒請(qǐng)求數(shù))提升!
想法流合伙人、Studio負(fù)責(zé)人張鴻表示：“商湯大裝置展現(xiàn)出三重核心優(yōu)勢(shì)：一是算力與模型的深度協(xié)同，實(shí)現(xiàn)最高效的資源利用;二是針對(duì)文本、語(yǔ)音、圖像等不同模態(tài)的協(xié)同，構(gòu)建了流暢自然的交互體驗(yàn);三是支持開(kāi)源模型的完善生態(tài)，提供了多樣化模型選擇。這種多維度協(xié)同優(yōu)勢(shì)助力我們完成了‘算力、模型、應(yīng)用’三位一體的全鏈條優(yōu)化，推動(dòng)技術(shù)效能向商業(yè)價(jià)值的高效轉(zhuǎn)化。”
日均6000萬(wàn)次調(diào)用、千億token消耗，帶來(lái)三大生存挑戰(zhàn)
基于對(duì)用戶需求的洞察，想法流通過(guò)技術(shù)創(chuàng)新直擊AI互動(dòng)應(yīng)用普遍存在的“沉浸感不足”和“門檻過(guò)高”兩大核心問(wèn)題。例如，通過(guò)提供文字、語(yǔ)音、文圖結(jié)合的多模態(tài)交互，讓用戶與AI的互動(dòng)體驗(yàn)趨近真實(shí)人際交流。此外，想法流還提供豐富的創(chuàng)作工具，用戶只需套用相關(guān)模板，就可快速搭建完整互動(dòng)內(nèi)容，有效降低了創(chuàng)作門檻。
造夢(mèng)次元每日平均模型調(diào)用量高達(dá)6000多萬(wàn)次，一天消耗的token達(dá)千億級(jí)別。在如此龐大的規(guī)模下，任何卡頓、宕機(jī)、出錯(cuò)都會(huì)導(dǎo)致嚴(yán)重的用戶流失;任何因模型能力不足造成的體驗(yàn)不佳，都會(huì)影響產(chǎn)品口碑;任何微小的資源閑置，都會(huì)累計(jì)成巨大的成本開(kāi)銷。擺在想法流面前的“生存挑戰(zhàn)”，主要體現(xiàn)在三個(gè)層面：
2倍峰谷差的算力彈性戰(zhàn)：造夢(mèng)次元的平臺(tái)流量有著鮮明的潮汐特征，周末和節(jié)假日高峰時(shí)段的流量可達(dá)低谷時(shí)期2倍，對(duì)基礎(chǔ)設(shè)施算力資源有很強(qiáng)的彈性伸縮需求。
推理時(shí)延的2秒生死線：虛擬角色互動(dòng)場(chǎng)景對(duì)時(shí)延極為敏感，要保證基本流暢的交互體驗(yàn)，模型推理時(shí)延需穩(wěn)定控制在2秒以內(nèi)。
模型迭代的穩(wěn)定性挑戰(zhàn)：想法流采用了很多開(kāi)源模型，需要跟隨社區(qū)節(jié)奏進(jìn)行頻繁升級(jí)甚至替換。需求多、更新頻，如何保證業(yè)務(wù)穩(wěn)定運(yùn)行也至關(guān)重要。
高峰秒級(jí)響應(yīng)不卡頓、低谷資源釋放不浪費(fèi)
商湯大裝置作為“最懂大模型的AI基礎(chǔ)設(shè)施”，為想法流提供了從算力到模型的全鏈路一體化AIGC整體解決方案，一站式支撐想法流的產(chǎn)品研發(fā)及運(yùn)營(yíng)需求，做到“高峰秒級(jí)響應(yīng)不卡頓、低谷資源釋放不浪費(fèi)”。
秒級(jí)彈性伸縮：成本暴降50%，流量潮汐從容應(yīng)對(duì)
面對(duì)流量峰谷波動(dòng)挑戰(zhàn)，商湯大裝置通過(guò)實(shí)時(shí)監(jiān)測(cè)、統(tǒng)一調(diào)度、智能擴(kuò)縮容的組合策略，實(shí)現(xiàn)秒級(jí)彈性伸縮，為想法流的整體運(yùn)營(yíng)成本降低了50%。其中，智能化統(tǒng)一調(diào)度結(jié)合監(jiān)測(cè)系統(tǒng)實(shí)時(shí)抓取的業(yè)務(wù)指標(biāo)，根據(jù)推理業(yè)務(wù)擴(kuò)縮容規(guī)則自動(dòng)分配資源，實(shí)現(xiàn)算力與流量的精準(zhǔn)匹配;并結(jié)合定時(shí)擴(kuò)縮容與按需擴(kuò)縮容的雙重策略，進(jìn)一步提升彈性伸縮的靈活性。
全鏈路優(yōu)化：5倍推理時(shí)延降低、100%QPS提升
想法流將“人均互動(dòng)次數(shù)”作為判斷模型體驗(yàn)的綜合指標(biāo)，推理時(shí)延和QPS正是影響該指標(biāo)的關(guān)鍵因素。商湯大裝置通過(guò)硬件資源、軟件框架、算法模型等多維度協(xié)同優(yōu)化，使推理時(shí)延降低3~5倍。
另外，在秒級(jí)彈性伸縮的基礎(chǔ)上，商湯大裝置還通過(guò)全鏈路量化加速、流量分級(jí)與降級(jí)等專項(xiàng)優(yōu)化，可在高峰期優(yōu)先保障高價(jià)值業(yè)務(wù)的響應(yīng)速度，最終將QPS提升100%，以更快的響應(yīng)速度提升用戶體驗(yàn)。
商湯日日新多模型組合，“人均互動(dòng)次數(shù)”翻倍提升
“人均互動(dòng)次數(shù)”另一個(gè)影響因素在于模型能力，商湯以商量語(yǔ)言大模型、商量擬人對(duì)話模型、文生圖模型秒畫等多模型組合，為造夢(mèng)次元用戶帶來(lái)“更懂人心”的交互體驗(yàn)。
其中，商量語(yǔ)言大模型以精準(zhǔn)的上下文語(yǔ)義分析、意圖推理及對(duì)人類情感的細(xì)致感知與回應(yīng)，助力造夢(mèng)次元以擬人化思維打造沉浸式交流體驗(yàn)。同時(shí)，依托商量擬人對(duì)話模型領(lǐng)先的角色對(duì)話、人設(shè)、及劇情推動(dòng)能力，幫助想法流用戶打造IP角色，為用戶提供高擬真對(duì)話體驗(yàn)。此外，創(chuàng)作者可使用秒畫的普通生圖、CN生圖、換臉、擴(kuò)圖等功能，進(jìn)行各類虛擬角色設(shè)計(jì)。
基于基礎(chǔ)設(shè)施的系統(tǒng)優(yōu)化和雙方的模型共創(chuàng)，造夢(mèng)次元的“人均互動(dòng)次數(shù)”從初期20輪提升至40~50輪，用戶粘性實(shí)現(xiàn)跨越式增長(zhǎng)。
可靠全面穩(wěn)定性保障：模型隨時(shí)升，業(yè)務(wù)不斷點(diǎn)
針對(duì)想法流高頻次的模型切換，以及開(kāi)源模型頻繁的版本升級(jí)給業(yè)務(wù)運(yùn)營(yíng)帶來(lái)的穩(wěn)定性挑戰(zhàn)，商湯大裝置針對(duì)推理階段構(gòu)建了涵蓋模型灰度發(fā)布、滾動(dòng)升級(jí)與智能運(yùn)維的全面穩(wěn)定性保障體系，不僅為模型快速迭代提供了有效支撐，也確保了在線業(yè)務(wù)的穩(wěn)定運(yùn)行。
日均活躍超100分鐘，構(gòu)建新型內(nèi)容消費(fèi)生態(tài)
短短兩年時(shí)間，“造夢(mèng)次元”已發(fā)展成為擁有數(shù)百個(gè)萬(wàn)粉級(jí)別IP角色，日均活躍互動(dòng)時(shí)間超過(guò)100分鐘的應(yīng)用平臺(tái)，是大量年輕用戶娛樂(lè)、情感表達(dá)和學(xué)習(xí)陪練的重要伙伴。未來(lái)，雙方還將聚焦多模態(tài)模型能力深化合作，給用戶帶來(lái)更新奇、更有趣的AI互動(dòng)之旅。
商湯科技聯(lián)合創(chuàng)始人、大裝置事業(yè)群總裁楊帆認(rèn)為：“商湯大裝置與想法流的合作，是對(duì)商湯科技‘大裝置-大模型-應(yīng)用’三位一體戰(zhàn)略價(jià)值的最佳詮釋。基于應(yīng)用場(chǎng)景特點(diǎn)開(kāi)展模型能力共創(chuàng)，訓(xùn)練高度貼合業(yè)務(wù)需求的垂類模型，并針對(duì)模型調(diào)用需求提供最優(yōu)的基礎(chǔ)設(shè)施支持，給予靈活的彈性伸縮、極低的推理時(shí)延和穩(wěn)定性保障，最終實(shí)現(xiàn)降本增效和用戶滿意度的提升。大模型算法與基礎(chǔ)設(shè)施的聯(lián)合優(yōu)化，不僅是驅(qū)動(dòng)生成式AI發(fā)展的核心動(dòng)力，也是實(shí)現(xiàn)最大化商業(yè)價(jià)值的最優(yōu)路徑。”
免責(zé)聲明：以上內(nèi)容為本網(wǎng)站轉(zhuǎn)自其它媒體，相關(guān)信息僅為傳遞更多信息之目的，不代表本網(wǎng)觀點(diǎn)，亦不代表本網(wǎng)站贊同其觀點(diǎn)或證實(shí)其內(nèi)容的真實(shí)性。如稿件版權(quán)單位或個(gè)人不想在本網(wǎng)發(fā)布，可與本網(wǎng)聯(lián)系，本網(wǎng)視情況可立即將其撤除。
鄭重聲明：本文版權(quán)歸原作者所有，轉(zhuǎn)載文章僅為傳播更多信息之目的，如作者信息標(biāo)記有誤，請(qǐng)第一時(shí)間聯(lián)系我們修改或刪除，多謝。
