科幻小说【云球】中，有一个理性公正的AI总统统治着一个岛国。这个国家的公民要做的事，是投票决定AI总统的「利益考量周期」。
在最初的时候，大家定的「利益考量周期」是50年，AI总统把国家治理得井井有条。后来因为人性以及其它原因，人们把这个「利益考量周期」改为了1年。于是，AI经过计算之后，得出了最优的决策：卖地。通过不断地将领土出卖给其它国家，让整个国家的GDP一飞冲天，全民跑步进入福利社会。
这个故事问题出在哪不用多说，但它引申出的问题却蛮发人深省的。
利益考量范围
面对一个选择，你希望是对你未来1年「有利」还是对你未来50年「有利」？以此类推，面对一个选择，你希望是对你个体有利还是对你所在的群体有利？你希望是对你这方面有利还是那方面有利？
在不同维度的不同的设定下，得出的答案一定会是不同的。
题主显然意识到了这一点，所以专门给出了「好」的定义标准「让个体感到充分的幸福 /或其他可能的定义」。但问题是这个「好」是相对的、主观的，完全没有办法给出一个标准。
你可能会说 ，人类也有充满智慧前瞻性超强的，也有愚蠢无比只看眼前的吧？ 而且总有一天，AI的智慧会远超人类的吧？
确实如此。
但AI不能背锅啊！！
伦理问题
一个自动驾驶功能都要论证到谨慎谨慎再谨慎，有很大一部分原因，是伦理问题。
AI因为和人的「沟通误会」、算法偏见、技术误判或故障引发的意外事故甚至战争，每一个都伤不起。
题主说「未来的 AI 有多大可能帮助人类做出好的选择？」，这又引出来了几个不同的概念：
作为个体的人、作为群体的人和作为整个物种的人
布林肯4 月访华时，双方设置的红线里的第一条，就是 核发射决定和无人机操作的决定必须由人类做出，不能交给AI。 这个共识体现了人们对AI在关键决策领域应用的高度谨慎态度，特别是在涉及人类生存和安全的重大问题上。
ai是否有权利为作为物种的人做选择和决策？谁能赋予它这个权利？从某种意义上来说，这个例子就算是对这个问题的回答吧。
因此AI在帮助人类做选择的时候，决策权一定会局限于特定的、有限的范围内。比如用来帮忙做购物选择、用来辅助医疗诊断、用来帮助小范围的人做非敏感的决定等等。 但是这些选择是不是「好」的，我们当然希望它是，但会不会造成意料之外的擦枪走火或者蝴蝶效应，我们未可知。
另外一种完全把选择权交给AI的情况，恐怕就是走投无路时搏一把的破釜沉舟。 或许这就是未来人对「听天由命」这个词的解释。
