近日，第八屆瑞芯微開發(fā)者大會(RKDC2024)期間，基于大模型的星光麒麟端側(cè)AI應(yīng)用“星語對話”首次亮相。“星語對話”目前已完成技術(shù)路線驗證并在RK3588上成功部署，可向端側(cè)用戶提供本地化生成式人工智能（AIGC）能力。

在軟件技術(shù)分論壇上，麒麟軟件專題分享了星光麒麟云邊端的AI框架。目前，除了布局端側(cè)AI大模型，星光麒麟AI框架還在不斷提升云邊端靈活協(xié)同的能力，提出了面向萬物智聯(lián)操作系統(tǒng)的云邊端AI架構(gòu)。

在端側(cè)，“星語對話”已具備智能問答、邏輯生成和多語言等能力。在智能問答方面，能夠模擬人與人之間的對話過程。當(dāng)用戶提出問題時，系統(tǒng)通過自然語言處理（NLP）理解問題，然后檢索或推理相關(guān)信息，并將答案轉(zhuǎn)化為自然語言回復(fù)用戶。

在邏輯生成方面，通過數(shù)據(jù)清洗和數(shù)據(jù)預(yù)處理，基于模型訓(xùn)練自動調(diào)整權(quán)重和參數(shù)，最大程度地減少生成結(jié)果與真實文本之間的損失。在生成文本時，根據(jù)輸入信息和已學(xué)習(xí)到的語言規(guī)律進(jìn)行邏輯推理，識別和應(yīng)用適當(dāng)?shù)倪壿嬕?guī)則，以更準(zhǔn)確、合理且連貫地生成文本。

“星語對話”的多語言特性能夠理解和處理多種語言，為用戶提供跨語言的智能對話體驗。通過訓(xùn)練不同語言的數(shù)據(jù)，在模型中實現(xiàn)語言間的知識傳遞，使得用戶無論使用哪種語言都能得到高質(zhì)量、智能化的回復(fù)。

除端側(cè)AI大模型的布局外，星光麒麟AI框架還在不斷提升云邊端靈活協(xié)同的能力，提出了面向萬物智聯(lián)操作系統(tǒng)的云邊端AI架構(gòu)。

例如通過RAG技術(shù)結(jié)合行業(yè)知識庫，提高計算結(jié)果準(zhǔn)確度；在應(yīng)用場景切換時，將對應(yīng)的Agent能力進(jìn)行切換，包括模型切換，應(yīng)用上下文切換，會話掛起等操作；模型編排框架模塊負(fù)責(zé)組織、調(diào)度和管理多個機(jī)器學(xué)習(xí)模型，解決復(fù)雜場景下多模型的切換及調(diào)度；提供云端AI能力下發(fā)，端側(cè)便捷部署，云端Al編排，邊側(cè)自組網(wǎng)的協(xié)同計算等能力；提供高效存儲和檢索大規(guī)模向量數(shù)據(jù)的系統(tǒng)，具有高效的相似性搜索功能、多樣化的查詢支持、在線更新和擴(kuò)展能力等特點(diǎn)，為各種應(yīng)用場景下的向量數(shù)據(jù)需求提供了強(qiáng)大的支持；負(fù)責(zé)云側(cè)、端側(cè)模型管理。端側(cè)數(shù)據(jù)上報，云側(cè)模型自學(xué)習(xí)后，新模型下發(fā)。端側(cè)模型更新，升級。

不同場景的復(fù)雜度不同，對底層大模型的輸出精準(zhǔn)性要求有所側(cè)重，云邊端計算框架根據(jù)場景選擇模型和算力來源，可靈活地在云端、邊緣端或終端設(shè)備上執(zhí)行特定的操作或計算任務(wù)。

在云端部署方面，使用Paddle開源平臺、訊飛語音SDK、星火大模型SDK等，實現(xiàn)語音識別、語音播報、語音翻譯、問題回答、文章生成、語言翻譯、代碼生成、創(chuàng)造性寫作等多種功能。

在邊緣側(cè)部署方面，利用軟總線組網(wǎng)后進(jìn)行數(shù)據(jù)傳輸，在邊側(cè)設(shè)備完成模型推理并獲取結(jié)果，合理分配任務(wù)和算力。

在端側(cè)部署方面，使用Whisper語音模型、高性能通用部署解決方案MLC，部署在移動設(shè)備上，實現(xiàn)離線的語音識別、問題問答、語言翻譯等功能。

隨著人工智能（AI）技術(shù)的不斷發(fā)展，操作系統(tǒng)融入AI技術(shù)已成為一條必由之路。星光麒麟將利用AI技術(shù)不斷提高操作系統(tǒng)的資源管理和調(diào)度能力，提升系統(tǒng)穩(wěn)定性，為用戶提供更加智能、高效和安全的服務(wù)體驗，為人機(jī)物融合泛在計算提供支撐。