AI技術日新月異，除了帶來便利，也衍生出不少安全疑慮。美國曾有癲癇患者因誤信ChatGPT提供的停藥建議而猝死，凸顯民眾若將AI生成內容當成專業醫療指示，可能帶來嚴重風險。
在台灣，網路上也出現大量AI生成的假醫師影片，透過合成影像宣傳健康資訊，內容卻錯誤百出，甚至聲稱特定水果預防中風的效果勝過昂貴藥物。相關影片經檢舉後雖已下架，卻也顯示AI假資訊正逐漸滲入醫療健康領域。
不只假醫師，名人也成為AI深偽影片的受害者。前護理師譚敦慈最近發現，有YouTube頻道利用她的照片及AI仿聲技術，大量製作影音，讓觀眾誤以為影片中的主持人就是本人，實際上卻是為了推銷紅棗山藥八珍糕等產品。
譚敦慈表示，自己過去完全不知道有這些影片，直到近期才發現遭到冒名。她已經報警，也向數位發展部檢舉，但目前仍能在YouTube上找到相關內容。知名主持人于美人近期也遭遇類似情況，發現後隨即自行檢舉。
AI假影片之所以難以防範，與製作門檻降低有關。Introversify的AI教室創辦人VT指出，目前只要每個月花費約30美元訂閱服務，就可能製作相關影片，技術普及讓深偽內容更容易大量出現，國外政治人物如川普、馬斯克，也經常遭到換臉冒用。
除了冒用名人推銷商品，AI合成影像也可能被用於政治議題。總統賴清德與美國總統川普曾被製作成惡搞影片，去年國民黨主席選舉期間，郝龍斌也曾遭製作AI擁吻畫面，引發爭議；鄭麗文則被製作成在解放軍面前呼口號的合成影像。
台大電機系教授李宏毅指出，未來可能進入影片真假難辨的時代，雖然AI能生成非常真實的影像，但也有機會透過技術反制，例如讓AI辨識生成內容是否涉及知名人物，進一步降低遭冒用的風險。
面對深偽技術帶來的風險，各國也陸續推動相關規範。美國加州通過法案，限制選舉前後180天製作特定深偽選舉影片；英國針對深偽性影像祭出刑事處罰；歐盟AI法則要求深偽內容加註標示或浮水印。
台灣已三讀通過《人工智慧基本法》，明定AI生成內容應適當標示，但對於網路平台並未賦予全面強制下架相關影片的權限。從醫療資訊到政治影像，AI深偽內容不斷出現，民眾除了提高警覺，也應確認資訊來源，切勿因為影片中出現熟悉的名人聲音或影像，就輕易相信內容或購買商品。
