您所在的位置: 首頁(yè) >
新聞資訊 >
技術(shù)前沿 >
政務(wù)系統(tǒng)接入DeepSeek的進(jìn)展情況與風(fēng)險(xiǎn)
一、各地接入人工智能情況不完全匯總
綜合DeepSeek和其他公開(kāi)信息統(tǒng)計(jì),在深度求索公司開(kāi)源R1人工智能模型后,2025年以來(lái)各地政務(wù)系統(tǒng)以各種方式“接入”的情況如下:
二、政務(wù)系統(tǒng)接入人工智能的風(fēng)險(xiǎn)性
從目前公開(kāi)信息看,各地接入主要基于深度求索公司開(kāi)源的DeepSeek R1版本(部分地區(qū)未披露,部分同時(shí)接入V3版本)。
我們認(rèn)為,各地單獨(dú)、分別接入不同人工智能的模型、系統(tǒng)版本,從提升政務(wù)效能方面有相當(dāng)幫助,但多地接入單一、開(kāi)源版本可能產(chǎn)生數(shù)據(jù)融合、推理風(fēng)險(xiǎn)并形成聚集(盡管一般理解外網(wǎng)可能引發(fā)的政務(wù)系統(tǒng)整體風(fēng)險(xiǎn)相對(duì)較小),應(yīng)通過(guò)前置風(fēng)險(xiǎn)評(píng)估和持續(xù)風(fēng)險(xiǎn)檢測(cè)等方式予以重視。
1、從安全漏洞情況看,2025年1月已知安全機(jī)構(gòu)披露DeepSeek的ClickHouse數(shù)據(jù)庫(kù)漏洞,導(dǎo)致泄露數(shù)據(jù)包括未加密日志、API 密鑰等,境內(nèi)外圍繞DeepSeek的數(shù)據(jù)泄露事件對(duì)此已有報(bào)道(但影響的版本范圍并未有完整報(bào)道),應(yīng)高度重視人工智能模型、系統(tǒng)的漏洞等脆弱性問(wèn)題。
2、對(duì)人工智能模型采用的開(kāi)源算法、訓(xùn)練數(shù)據(jù)等目前尚缺乏系統(tǒng)性的安全評(píng)價(jià),而DeepSeek R1自身也已經(jīng)開(kāi)源,對(duì)其漏洞公開(kāi)挖掘可能發(fā)現(xiàn)更多脆弱性等風(fēng)險(xiǎn)問(wèn)題?;谕话姹具M(jìn)行多地接入或部署,可能導(dǎo)致同一風(fēng)險(xiǎn)的放大。
3、現(xiàn)有法律法規(guī)對(duì)政務(wù)系統(tǒng)的人工智能接入缺乏明確管理規(guī)定,容易形成治理真空。例如《網(wǎng)絡(luò)安全法》和《網(wǎng)絡(luò)數(shù)據(jù)安全管理?xiàng)l例》主要針對(duì)重要數(shù)據(jù)規(guī)定了安全評(píng)估、審計(jì)等要求,但政務(wù)外網(wǎng)并不當(dāng)然構(gòu)成重要數(shù)據(jù)(來(lái)源)。但多地接入則可能觸發(fā)重要性閾值。然而對(duì)此方面并無(wú)完整的重要數(shù)據(jù)識(shí)別和監(jiān)管要求?!渡墒饺斯ぶ悄芊?wù)管理暫行辦法》則設(shè)定了“具有輿論屬性或者社會(huì)動(dòng)員能力的”條件。
4、作為政務(wù)云重要評(píng)估依據(jù)的《云計(jì)算服務(wù)安全評(píng)估辦法》,其規(guī)定的提起評(píng)估的主體為云服務(wù)商,且對(duì)于政務(wù)云作為私有云的默認(rèn)安全理解,也限制了(使用人工智能系統(tǒng)的)政務(wù)主體發(fā)起和針對(duì)基于云服務(wù)的人工智能模型、系統(tǒng)的安全評(píng)估,而簡(jiǎn)單、強(qiáng)制要求政務(wù)主體增加對(duì)人工智能風(fēng)險(xiǎn)在內(nèi)的自身風(fēng)險(xiǎn)評(píng)估也并不現(xiàn)實(shí)。
三、開(kāi)展風(fēng)險(xiǎn)管理的考慮方面
針對(duì)當(dāng)前各地快速接入單一人工智能的情況,我們建議無(wú)論接入何種人工智能,政務(wù)主體開(kāi)展適當(dāng)風(fēng)險(xiǎn)評(píng)估,并通過(guò)持續(xù)的風(fēng)險(xiǎn)檢測(cè)調(diào)整風(fēng)險(xiǎn)管理策略和措施:
1、充分認(rèn)識(shí)人工智能可能引入的系統(tǒng)性風(fēng)險(xiǎn),包括一般性的網(wǎng)絡(luò)安全風(fēng)險(xiǎn),如各類(lèi)惡意使用引發(fā)的虛假、誤導(dǎo)、輿情操控風(fēng)險(xiǎn);功能性風(fēng)險(xiǎn),特別是政務(wù)信息的真實(shí)性、失控風(fēng)險(xiǎn);系統(tǒng)性風(fēng)險(xiǎn),特別是市場(chǎng)集中與單點(diǎn)故障風(fēng)險(xiǎn)。
2、應(yīng)借助各地現(xiàn)有的網(wǎng)絡(luò)安全支撐單位力量等內(nèi)外合力,以《人工智能安全治理框架》等可用框架、工具審慎開(kāi)展相關(guān)風(fēng)險(xiǎn)評(píng)估。
3、形成與第三方網(wǎng)絡(luò)安全服務(wù)機(jī)構(gòu)、上游廠商(如深度求索作為模型提供者)、其他相關(guān)主體的網(wǎng)絡(luò)安全信息共享機(jī)制,發(fā)揮“國(guó)家級(jí)”態(tài)勢(shì)感知和網(wǎng)絡(luò)安全從業(yè)人員的“末梢”專(zhuān)業(yè)技術(shù)能力,合理發(fā)現(xiàn)、分析和修復(fù)安全漏洞等脆弱性風(fēng)險(xiǎn),規(guī)范通報(bào)和披露流程。對(duì)于開(kāi)源人工智能而言,識(shí)別修復(fù)責(zé)任的主體存在相當(dāng)難度,可能需要各方合力和協(xié)議安排(開(kāi)源協(xié)議部分降低了模型提供者的責(zé)任,應(yīng)考慮適當(dāng)?shù)牧x務(wù)補(bǔ)充和分配)。
4、應(yīng)更新網(wǎng)絡(luò)安全事件預(yù)案和處置流程,特別是人工智能特有的風(fēng)險(xiǎn)類(lèi)型,應(yīng)考慮必要的人工接管、“熔斷”和切換,確保發(fā)生安全事件后的響應(yīng)有效、影響可控。
5、規(guī)范政務(wù)人員的人工智能使用行為,特別是對(duì)政務(wù)文件的上傳、敏感問(wèn)題的交互等,對(duì)使用規(guī)范接入的人工智能和通過(guò)自帶設(shè)備使用人工智能的行為進(jìn)行場(chǎng)景、后果的區(qū)分。
6、對(duì)決策支持、協(xié)助執(zhí)法、司法裁判等可能具有高風(fēng)險(xiǎn)或“可解釋性”要求更高的人工智能應(yīng)用場(chǎng)景,應(yīng)與人工智能模型、系統(tǒng)提供者進(jìn)行更充分的細(xì)節(jié)協(xié)商和強(qiáng)化人工介入,避免偏見(jiàn)、危害公共安全等系統(tǒng)性風(fēng)險(xiǎn)形成和累積。當(dāng)然,擁抱人工智能是大勢(shì),不用因噎廢食。
文章所涉觀點(diǎn)內(nèi)容謹(jǐn)代表作者本人
文章來(lái)源:蘇州信息安全法學(xué)所