人工智能的伦理学是机器人和其他人工智能生物特有的技术伦理学的一部分。 它通常分为机器人，一种关注人类在设计，构建，使用和处理人工智能生物时的道德行为，以及与人工道德行为者（AMAs）的道德行为有关的机器伦理。
机器人伦理
术语“机器人伦理”（有时是“机器人伦理学”）指的是人类如何设计，构建，使用和处理机器人和其他人工智能生物的道德。 它既考虑了人工智能生物如何用于伤害人类，又考虑如何利用人类造福人类。
机器人权利
“机器人权利”是人们应该对其机器承担道德义务的概念，类似于人权或动物权利。 有人提出，机器人的权利，例如存在权和履行自己的使命，可以与机器人为人类服务的义务相联系，类似于将人权与社会之前的人权联系起来。 这些可包括生命权和自由权，思想和言论自由以及法律面前人人平等。 该问题已由未来研究所和英国贸易和工业部考虑。
专家们不同意在不久的将来是否需要尽快或安全地制定具体和详细的法律。 Glenn McGee报告称到2020年可能会出现足够的类人机器人.Ray Kurzweil将日期设定为2029年。另一组2007年会议的科学家认为，在任何足够先进的系统存在之前，至少需要50年。
2003年Loebner奖竞赛的规则设想了机器人拥有自己的权利的可能性：
61.如果在任何一年中，萨里大学或剑桥中心输入的公开开放参赛作品获得银牌或金牌，则奖章和现金奖将颁发给负责该奖章的机构。该条目的发展。 如果无法确定此类机构，或两个或两个以上的索赔人之间存在分歧，则奖章和现金奖励将以信托方式持有，直至该条目可能合法拥有，无论是在美利坚合众国还是在比赛场地，现金奖和金牌本身。
2017年10月，机器人索菲亚在沙特阿拉伯获得了公民身份，但一些观察家认为这更像是一种宣传噱头，而不是一种有意义的法律承认。
对人类尊严的威胁
Joseph Weizenbaum在1976年提出，人工智能技术不应该被用来取代需要尊重和关心的人，例如以下任何一个：
客户服务代表（AI技术目前已用于基于电话的交互式语音应答系统）
治疗师（由Kenneth Colby在20世纪70年代提出）
一位老年保姆（正如Pamela McCorduck在她的第五代书中报道的那样）
一个士兵
法官
一名警察
Weizenbaum解释说，我们需要来自这些职位的人的真实感情。 如果机器取代它们，我们会发现自己疏远，贬值和沮丧。 如果以这种方式使用人工智能，则对人类尊严构成威胁。 Weizenbaum认为，我们正在接受这些职位机器的可能性，这表明我们经历了“将自己视为计算机而产生的人类精神萎缩”。
Pamela McCorduck反驳说，为女性和少数民族说话“我宁愿用公正的电脑来抓住机会”，并指出有条件我们宁愿让自动化的法官和警察完全没有个人议程。 AI创始人John McCarthy反对Weizenbaum批评的道德化基调。 他写道：“当道德化既激烈又含糊，它就会引起专制滥用。”
Bill Hibbard写道：“人类的尊严要求我们努力消除对生存本质的无知，而人工智能对于这种努力是必要的。”
透明度和开源
比尔·希巴德认为，由于人工智能将对人类产生如此深远的影响，人工智能开发人员是未来人类的代表，因此有道德义务在他们的努力中保持透明。 Ben Goertzel和David Hart创建了OpenCog作为AI开发的开源框架。 OpenAI是一家由Elon Musk，Sam Altman和其他人创建的非营利性人工智能研究公司，致力于开发对人类有益的开源AI。 还有许多其他开源AI开发。
人工智能的武器化
一些专家和学者质疑机器人在军事战斗中的使用，特别是当这种机器人具有某种程度的自主功能时。 美国海军资助了一份报告，该报告表明，随着军事机器人变得越来越复杂，应该更加关注其自主决策能力的影响。 一位研究人员表示，自主机器人可能更加人性化，因为他们可以更有效地做出决策。
在过去十年中，对自主权进行了深入研究，并具有使用指定道德责任学习的能力。 “在设计未来的军用机器人时，可以使用这些结果来控制不必要的倾向，为机器人分配责任。” 从结果主义的观点来看，机器人有可能发展出能够对谁杀死自己的逻辑决策的能力，这就是为什么应该有一个人工智能无法覆盖的道德框架。
最近人们对人工智能武器的设计提出了强烈抗议，其中包括机器人接管人类的想法。 人工智能武器确实存在一种与人控武器不同的危险。 许多政府已开始资助开发人工智能武器的计划。 美国海军最近宣布计划开发自主无人机武器，分别与俄罗斯和韩国的类似声明相提并论。 由于人工智能武器的潜力比人类操作的武器更加危险，斯蒂芬霍金和马克斯泰格马克签署了一份禁止人工智能武器的“生命的未来”请愿书。 霍金和泰格马克发布的消息称，人工智能武器构成直接危险，需要采取行动避免在不久的将来发生灾难性灾难。
“如果任何重要的军事力量推动人工智能武器的发展，全球军备竞赛几乎是不可避免的，这种技术轨迹的终点是显而易见的：自主武器将成为明天的卡拉什尼科夫冲锋枪”，请愿书称，其中包括Skype公司创始人Jaan Tallinn和麻省理工学院语言学教授Noam Chomsky作为反对人工智能武器的额外支持者。
物理学家和天文学家皇家爵士马丁里斯已经警告过灾难性的事件，比如“愚蠢的机器人会变成流氓，或是一个发展自己心灵的网络”。 剑桥里斯的同事休·普莱斯（Huw Price）发出了类似的警告，即当情报“逃避生物学的限制”时，人类可能无法生存。 这两位教授在剑桥大学创建了存在风险研究中心，希望避免对人类生存的这种威胁。
关于在军事上使用智能比人类系统的潜力，开放慈善项目写道，这些情景“看起来可能与失控相关的风险一样重要”，但调查人工智能长期社会影响的研究机构已经在这个问题上花费的时间相对较少：“这类场景并不是这个领域最活跃的组织的主要关注点，例如机器智能研究所（MIRI）和人类学院未来（FHI） ，似乎对它们的分析和辩论较少“。
机器伦理
机器伦理（或机器道德）是涉及设计人工道德行为者（AMA），机器人或人工智能计算机的研究领域，这些计算机在道德上或道德上行事。
艾萨克·阿西莫夫（Isaac Asimov）在他的“机器人”（I，Robot）中考虑过这个问题。 在他的编辑John W. Campbell Jr.的坚持下，他提出了三个机器人法则来管理人工智能系统。 他的大部分工作都用于测试他的三条法律的界限，以确定它们将在何处发生故障，或者它们会在何处产生矛盾或意料之外的行为。 他的工作表明，没有一套固定的法律可以充分预测所有可能的情况。
2009年，在瑞士洛桑联邦理工学院智能系统实验室进行的一项实验中，机器人被编程为相互合作（寻找有益资源并避免有毒资源）最终学会骗取每个人另一种是为了囤积有益资源。 在这种情况下的一个问题可能是目标是“终端”（即相反，最终的人类动机通常具有要求永无止境的学习的质量）。
一些专家和学者质疑机器人在军事战斗中的使用，特别是当这种机器人具有某种程度的自主功能时。 美国海军资助了一份报告，该报告表明，随着军事机器人变得越来越复杂，应该更加关注其自主决策能力的影响。 提高人工智能促进协会主席委托进行了一项研究，以研究这个问题。 他们指向语言采集设备等可以模拟人类交互的程序。
Vernor Vinge建议，有些计算机比人类更聪明，可能会出现这种情况。 他称之为“奇点”。 他认为对人类来说可能有点或可能非常危险。 这是由一种称为“单一主义”的哲学所讨论的。 机器智能研究所建议建立“友好AI”的必要性，这意味着AI已经发生的进步也应该包括努力使AI本质上友好和人性化。
2009年，学术界和技术专家参加了由人工智能促进协会组织的一次会议，讨论机器人和计算机的潜在影响以及假设他们可以自给自足并能够做出自己决定的假设的影响。 。 他们讨论了计算机和机器人可能获得任何级别自治的可能性和程度，以及他们可以在多大程度上利用这些能力可能构成任何威胁或危险。 他们指出，一些机器已经获得了各种形式的半自治，包括能够自己找到电源并能够独立选择用武器攻击的目标。 他们还指出，一些计算机病毒可以逃避消除并实现“蟑螂情报”。 他们指出，科幻小说中描述的自我意识可能不太可能，但存在其他潜在的危险和陷阱。
然而，特别是有一项技术可以真正实现机器人具有道德能力的可能性。 在一篇关于机器人获取道德价值的论文中，Nayef Al-Rodhan提到了神经形态芯片的情况，该芯片的目的是处理类似于人类的信息，非线性地以及数百万个相互连接的人工神经元。 嵌入神经形态技术的机器人可以以独特的人类方式学习和发展知识。 不可避免的是，这引发了这样一个问题：这些机器人将会了解这个世界以及他们将继承的道德 – 或者他们最终是否会发展人类的“弱点”：自私，支持生存的态度，犹豫等等。
在“道德机器：从错误中教授机器人”中，Wendell Wallach和Colin Allen得出结论，通过激励人类解决现代规范理论中的空白并为实验调查提供平台，尝试教授机器人是非，可能会促进对人类伦理的理解。 作为一个例子，它已经引入了规范的伦理学家，以解决在机器中使用哪种特定学习算法的争议性问题。 Nick Bostrom和Eliezer Yudkowsky因为决策树遵循现代社会规范的透明度和可预测性（例如盯着决定论点）而争论决策树（例如ID3）而不是神经网络和遗传算法，而Chris Santos-Lang则反其道而行之。方向，必须允许任何年龄的规范改变，并且完全满足这些特定规范的自然失败对于使人类不易受到犯罪“黑客”的攻击至关重要。
意想不到的后果
许多研究人员认为，通过21世纪某个时期的“情报爆炸”，自我改善的人工智能可能变得比人类强大得多，以至于我们无法阻止它实现其目标。 在他的论文“高级人工智能中的伦理问题”中，哲学家尼克博斯特罗姆认为人工智能具有导致人类灭绝的能力。 他声称，一般超级情报能够独立主动并制定自己的计划，因此可能更适合被视为自主代理人。 由于人工智能不需要分享我们的人类动机倾向，因此超级智能的设计者需要指定其原始动机。 从理论上讲，超级智能人工智能将能够带来几乎任何可能的结果，并阻止任何阻止其实现其最高目标的企图，可能会产生许多不受控制的意外后果。 它可以杀死所有其他代理人，说服他们改变他们的行为，或阻止他们干涉的企图。
然而，博斯特罗姆并没有压倒人类并导致我们的毁灭，而是断言超级情报可以帮助我们解决许多困难问题，如疾病，贫困和环境破坏，并可以帮助我们“提升”自己。
人类价值体系的复杂性使得人工智能的动机变得非常困难。 除非道德哲学为我们提供了完美的道德理论，否则AI的效用函数可能允许许多符合特定道德框架而非“常识”的潜在有害场景。 根据Eliezer Yudkowsky的说法，没有理由认为人工设计的思想会有这样的改编。
Bill Hibbard提出了一种AI设计，可以避免几种类型的非预期AI行为，包括自我妄想，无意识的工具行为以及奖励生成器的损坏。
组织
亚马逊，谷歌，Facebook，IBM和微软建立了非营利性合作伙伴关系，以制定人工智能技术的最佳实践，提高公众的理解，并作为人工智能的平台。 他们表示：“人工智能的这种伙伴关系将进行研究，组织讨论，提供思想领导，咨询相关第三方，回答公众和媒体的问题，并创建教育材料，促进对人工智能技术的理解，包括机器感知，学习和自动推理。“ 2017年1月，Apple作为人工智能合作伙伴关系的创始成员加入了其他科技公司。公司成员将为该集团做出财务和研究贡献，同时与科学界合作，将学者带入董事会。
在小说中
电影“十三楼”暗示了一个未来，模拟世界与有感知力的居民是由计算机游戏控制台创建的娱乐目的。 电影黑客帝国提出了一个未来，地球上的优势物种是有感知的机器，人类受到最大的物种主义的对待。 简短的故事“普朗克潜水”提出了一个未来，人类已经将自己变成了可以复制和优化的软件，软件类型之间的相关区别是有感知的和非感知的。 同样的想法可以在Starship Voyager的紧急医疗全息图中找到，它是一个明显感知的副本，其创建者Zimmerman博士的意识的缩小子集，为了最好的动机，创建了系统给医疗紧急情况下的援助。 电影二百周年纪念男人和人工智能处理可爱的有感知机器人的可能性。 我，机器人探讨了阿西莫夫的三个定律的某些方面。 所有这些场景都试图预见创造有感知的计算机可能产生的不道德后果。
人工智能的伦理学是BioWare的质量效应系列游戏中的几个核心主题之一。 它探讨了文明通过全球规模神经网络快速增加计算能力而意外创建AI的情景。 这一事件导致了那些感觉赋予新感知的Geth适当的有机权利的人和那些继续将他们视为一次性机器并努力摧毁他们的人之间的道德分裂。 除了最初的冲突之外，机器与其创作者之间关系的复杂性是整个故事中另一个持续的主题。
随着时间的推移，正如Hugo de Garis和Kevin Warwick发起的“Cosmist”和“Terran”辩论所强调的那样，辩论倾向于越来越少地关注可能性，而更多关注可取性。 根据Hugo de Garis的说法，宇宙主义者实际上正在寻求为人类物种建立更智能的接班人。
文献
关于人工智能伦理学的标准参考书目在PhilPapers上。 最近的一个系列是VCMüller（编辑）（2016）。