近日，第八屆瑞芯微開(kāi)發(fā)者大會(huì)(RKDC2024)期間，基于大模型的星光麒麟端側(cè)AI應(yīng)用“星語(yǔ)對(duì)話”首次亮相。“星語(yǔ)對(duì)話”目前已完成技術(shù)路線驗(yàn)證并在RK3588上成功部署，可向端側(cè)用戶提供本地化生成式人工智能(AIGC)能力。

在軟件技術(shù)分論壇上，麒麟軟件專題分享了星光麒麟云邊端的AI框架。目前，除了布局端側(cè)AI大模型，星光麒麟AI框架還在不斷提升云邊端靈活協(xié)同的能力，提出了面向萬(wàn)物智聯(lián)操作系統(tǒng)的云邊端AI架構(gòu)。

在端側(cè)，“星語(yǔ)對(duì)話”已具備智能問(wèn)答、邏輯生成和多語(yǔ)言等能力。在智能問(wèn)答方面，能夠模擬人與人之間的對(duì)話過(guò)程。當(dāng)用戶提出問(wèn)題時(shí)，系統(tǒng)通過(guò)自然語(yǔ)言處理(NLP)理解問(wèn)題，然后檢索或推理相關(guān)信息，并將答案轉(zhuǎn)化為自然語(yǔ)言回復(fù)用戶。

在邏輯生成方面，通過(guò)數(shù)據(jù)清洗和數(shù)據(jù)預(yù)處理，基于模型訓(xùn)練自動(dòng)調(diào)整權(quán)重和參數(shù)，最大程度地減少生成結(jié)果與真實(shí)文本之間的損失。在生成文本時(shí)，根據(jù)輸入信息和已學(xué)習(xí)到的語(yǔ)言規(guī)律進(jìn)行邏輯推理，識(shí)別和應(yīng)用適當(dāng)?shù)倪壿嬕?guī)則，以更準(zhǔn)確、合理且連貫地生成文本。

“星語(yǔ)對(duì)話”的多語(yǔ)言特性能夠理解和處理多種語(yǔ)言，為用戶提供跨語(yǔ)言的智能對(duì)話體驗(yàn)。通過(guò)訓(xùn)練不同語(yǔ)言的數(shù)據(jù)，在模型中實(shí)現(xiàn)語(yǔ)言間的知識(shí)傳遞，使得用戶無(wú)論使用哪種語(yǔ)言都能得到高質(zhì)量、智能化的回復(fù)。

除端側(cè)AI大模型的布局外，星光麒麟AI框架還在不斷提升云邊端靈活協(xié)同的能力，提出了面向萬(wàn)物智聯(lián)操作系統(tǒng)的云邊端AI架構(gòu)。

例如通過(guò)RAG技術(shù)結(jié)合行業(yè)知識(shí)庫(kù)，提高計(jì)算結(jié)果準(zhǔn)確度;在應(yīng)用場(chǎng)景切換時(shí)，將對(duì)應(yīng)的Agent能力進(jìn)行切換，包括模型切換，應(yīng)用上下文切換，會(huì)話掛起等操作;模型編排框架模塊負(fù)責(zé)組織、調(diào)度和管理多個(gè)機(jī)器學(xué)習(xí)模型，解決復(fù)雜場(chǎng)景下多模型的切換及調(diào)度;提供云端AI能力下發(fā)，端側(cè)便捷部署，云端Al編排，邊側(cè)自組網(wǎng)的協(xié)同計(jì)算等能力;提供高效存儲(chǔ)和檢索大規(guī)模向量數(shù)據(jù)的系統(tǒng)，具有高效的相似性搜索功能、多樣化的查詢支持、在線更新和擴(kuò)展能力等特點(diǎn)，為各種應(yīng)用場(chǎng)景下的向量數(shù)據(jù)需求提供了強(qiáng)大的支持;負(fù)責(zé)云側(cè)、端側(cè)模型管理。端側(cè)數(shù)據(jù)上報(bào)，云側(cè)模型自學(xué)習(xí)后，新模型下發(fā)。端側(cè)模型更新，升級(jí)。

不同場(chǎng)景的復(fù)雜度不同，對(duì)底層大模型的輸出精準(zhǔn)性要求有所側(cè)重，云邊端計(jì)算框架根據(jù)場(chǎng)景選擇模型和算力來(lái)源，可靈活地在云端、邊緣端或終端設(shè)備上執(zhí)行特定的操作或計(jì)算任務(wù)。

在云端部署方面，使用Paddle開(kāi)源平臺(tái)、訊飛語(yǔ)音SDK、星火大模型SDK等，實(shí)現(xiàn)語(yǔ)音識(shí)別、語(yǔ)音播報(bào)、語(yǔ)音翻譯、問(wèn)題回答、文章生成、語(yǔ)言翻譯、代碼生成、創(chuàng)造性寫(xiě)作等多種功能。

在邊緣側(cè)部署方面，利用軟總線組網(wǎng)后進(jìn)行數(shù)據(jù)傳輸，在邊側(cè)設(shè)備完成模型推理并獲取結(jié)果，合理分配任務(wù)和算力。

在端側(cè)部署方面，使用Whisper語(yǔ)音模型、高性能通用部署解決方案MLC，部署在移動(dòng)設(shè)備上，實(shí)現(xiàn)離線的語(yǔ)音識(shí)別、問(wèn)題問(wèn)答、語(yǔ)言翻譯等功能。

隨著人工智能(AI)技術(shù)的不斷發(fā)展，操作系統(tǒng)融入AI技術(shù)已成為一條必由之路。星光麒麟將利用AI技術(shù)不斷提高操作系統(tǒng)的資源管理和調(diào)度能力，提升系統(tǒng)穩(wěn)定性，為用戶提供更加智能、高效和安全的服務(wù)體驗(yàn)，為人機(jī)物融合泛在計(jì)算提供支撐。