科幻小說【雲球】中，有一個理性公正的AI總統統治著一個島國。這個國家的公民要做的事，是投票決定AI總統的「利益考量周期」。
在最初的時候，大家定的「利益考量周期」是50年，AI總統把國家治理得井井有條。後來因為人性以及其它原因，人們把這個「利益考量周期」改為了1年。於是，AI經過計算之後，得出了最優的決策：賣地。透過不斷地將領土出賣給其它國家，讓整個國家的GDP一飛沖天，全民跑步進入福利社會。
這個故事問題出在哪不用多說，但它引申出的問題卻蠻發人深省的。
利益考量範圍
面對一個選擇，你希望是對你未來1年「有利」還是對你未來50年「有利」？以此類推，面對一個選擇，你希望是對你個體有利還是對你所在的群體有利？你希望是對你這方面有利還是那方面有利？
在不同維度的不同的設定下，得出的答案一定會是不同的。
題主顯然意識到了這一點，所以專門給出了「好」的定義標準「讓個體感到充分的幸福 /或其他可能的定義」。但問題是這個「好」是相對的、主觀的，完全沒有辦法給出一個標準。
你可能會說 ，人類也有充滿智慧前瞻性超強的，也有愚蠢無比只看眼前的吧？ 而且總有一天，AI的智慧會遠超人類的吧？
確實如此。
但AI不能背鍋啊！！
倫理問題
一個自動駕駛功能都要論證到謹慎謹慎再謹慎，有很大一部份原因，是倫理問題。
AI因為和人的「溝通誤會」、演算法偏見、技術誤判或故障引發的意外事故甚至戰爭，每一個都傷不起。
題主說「未來的 AI 有多大可能幫助人類做出好的選擇？」，這又引出來了幾個不同的概念：
作為個體的人、作為群體的人和作為整個物種的人
布林肯4 月訪華時，雙方設定的紅線裏的第一條，就是 核發射決定和無人機操作的決定必須由人類做出，不能交給AI。 這個共識體現了人們對AI在關鍵決策領域套用的高度謹慎態度，特別是在涉及人類生存和安全的重大問題上。
ai是否有權利為作為物種的人做選擇和決策？誰能賦予它這個權利？從某種意義上來說，這個例子就算是對這個問題的回答吧。
因此AI在幫助人類做選擇的時候，決策權一定會局限於特定的、有限的範圍內。比如用來幫忙做購物選擇、用來輔助醫療診斷、用來幫助小範圍的人做非敏感的決定等等。 但是這些選擇是不是「好」的，我們當然希望它是，但會不會造成意料之外的擦槍走火或者蝴蝶效應，我們未可知。
另外一種完全把選擇權交給AI的情況，恐怕就是走投無路時搏一把的破釜沈舟。 或許這就是未來人對「聽天由命」這個詞的解釋。
