创新视听内容的热电联产计算艺术的新挑战

沃尔特·本雅明(WalterBenjamin)在1936年的《机械复制时代的艺术作品》中提出了灵气和真实性来描述艺术家创作的原创艺术品而非机械复制品的价值。他想捍卫人工性并支持传统美术。

米切尔不是单独而是成对地关注生物控制论复制时代的艺术作品，他在《图片想要什么?：图像的生命与爱》(2005)中遵循了本雅明的思路。他特别提到了第一只克隆羊多莉，并将其视为一个活生生的形象。米切尔是艺术和人文科学领域最具代表性和影响力的理论家之一。

他提出了一系列概念来解释生物控制论艺术品的价值。然而，基于碳，这一领域的艺术家受到生物技术发展的限制，他们的创作有时受到压抑而不是释放。生物学家和艺术家之间的一些令人失望的合作似乎是通过娱乐视觉文化来普及科学知识，并表现出缺乏批判性思维。因此，研究人员需要反思艺术家可以利用先进技术做什么。

人类在虚拟宇宙时代面临着新的挑战。人类不仅拥有艺术品的机械复制品或生物控制论复制品，而且还拥有人类本身的化身。

《机器智能研究》的一篇论文提出了人工智能(AI)艺术的概念，从而总结了人工智能技术产生的艺术品的主要特征，如扩展现实(XR，VR/AR/MR的结合)、网络物理系统(CPS)、云计算和区块链。

AI技术人员与艺术家之间的合作比生物学家与艺术家之间的合作更为密切。人工智能技术将艺术家从等人主要指责的辛苦工作中解放出来，并鼓励他们充分发挥艺术潜力。因此，AI就像团队中得力的伙伴，总是及时了解艺术家，并紧张地工作，将艺术家的浪漫构想变为现实。

人工智能技术在艺术界的设计、创作、展示等方面发挥着重要作用，发展前景广阔。人工智能艺术的概念可能很容易与计算机艺术混淆。需要注意的是，AI艺术比计算机艺术更先进，可以涵盖更多的感知要求，包括光学和声学要求。人工智能艺术通常呈现出人类感官的融合。

艺术欣赏者同时获得视觉、听觉和触觉感受。换句话说，人工智能技术为现代艺术展览提供了丰富的视听盛宴。

AI艺术的发展计划仍处于起步阶段。社会对人工智能技术的普遍适用性存在一些担忧。这是一个一直被提及的有趣问题。AI会梦见电子羊吗?1968年，菲利普·K·迪克在他的科幻小说中首次提出了这个问题：“仿生人会梦见电子羊吗?”电影《银翼杀手》和《银翼杀手2049》的灵感来源。

在讨论了人工智能伦理问题之后，这个标题成为了代表对人工智能取代人类的恐惧的核心问题。这种恐惧很快蔓延到人文学科。一些知识分子认为人工智能技术应该受到限制。然而，如果对人工智能技术有足够的了解，就会发现这种担忧是可笑的。人的恐惧无非是对未知事物的拒绝。

尖端的人工智能技术仍然需要达到人类的情感水平。开发和应用人工智能技术的迫切需要仍然尽可能强烈。

目前人工智能技术在艺术领域的应用包括技术分类、风格迁移、交互设计、制造、文化产业等。AI艺术产生了AI诗歌、VR绘画、数字媒体艺术、AI配音、智能电器等。这些例子都展现了AI艺术扎实的创造力。

然而，一些艺术家对此并不满意。1972年，德国艺术家约瑟夫·博伊斯在卡塞尔文献展上发表演讲，提出“人人都是艺术家”的理念。他的观点引起轩然大波。在那个年代，这只不过是一种想象。毕竟，并不是每个人都擅长艺术创作。随着AI艺术的发展，这个想法似乎正在成为现实。人工智能的强大足以让任何人成为艺术家。

值得注意的是，人工智能的创造能力并不是无止境的。它来自于具有艺术创造天赋的人类。因此，人工智能艺术的发展与艺术家的培养并不矛盾。相比之下，人工智能艺术的传播使艺术家能够做他们最擅长的事情。这样，人工智能艺术发展与传统艺术创新才​​能实现双赢。

为了切中目标，北京大学高峰教授的一篇论文重点关注了人工智能生成的视频和人工智能生成的音频。视听能力通常被认为是人类感官的综合能力。它们的结合，迅速提升了电影、短视频、游戏等行业的生产效率。AI视觉听觉技术的总结以及现有成果的呈现，可以帮助行业从业者判断未来艺术行业的趋势。

视听艺术生成可分为视觉艺术生成和听觉艺术生成。本文的第二部分全面概述了这两个领域的数据集和方法。

视觉艺术生成部分：首先，研究人员介绍十个经典图像数据集;然后，研究人员基于AI绘画、风格迁移和文本到图像翻译三个任务，总结了视觉内容生成领域的经典模型;最后，研究人员展示了其典型系统和产品。

听觉艺术生成部分：以声音表达形式为指标，具体列出了听觉艺术生成领域的八个经典音乐数据集;然后，以模型结构为标准，将音乐生成方法分为两类：通用模型和复合模型。研究人员概述了音乐生成的九个经典框架，并确定了相关模型和产品。

算法性能的评价方法有两类：客观评价和主观评价。客观评价采用基于数学理论的多种指标，定量、高效、应用广泛，但不适合需要主观感受的内容。主观评价通常需要设计实验，由观察者评价算法的结果，费时、费力，且难以量化。

但主观评价与主观感受是一致的。在艺术生成领域，主观评价对于评价模型的创造力起着重要作用。在第3节中，研究人员概述了从客观和主观角度衡量生成结果的质量。

第4节介绍了拟议的材料和机制。视听内容的联合生成是一项多模态任务，需要融合不同来源的信息，包括图像、视频、音频、文本等。通过权衡各种视听艺术生成算法的优点和局限性，研究人员开发并提出了使用多种算法生成数字视听艺术品的联合生成机制。

该系统分为视觉艺术生成模块和听觉艺术生成模块。前者负责生成指定风格的动态视频内容，后者通过与视频关联的文本特征生成相应的视频配乐。在4.1节中，研究人员介绍了为视听联合任务构建的两个数据集。在第4.2节和第4.3节中，他们分别演示了视觉艺术生成模块和听觉艺术生成模块。

本文总结了视听艺术生成技术发展的成果。视听艺术生成技术有着广泛的应用。可以在家中使用，让娱乐更加多样化。也可用于公共场所。例如，可以增加商业促销和艺术展览的吸引力。

一项研究提出了一种新的博物馆归档系统，将人工智能技术应用于包括博物馆在内的艺术机构的服务。诸如此类的研究显示了人们对基于人工智能的计算艺术的广泛兴趣，它可以方便人们的日常生活并赋能文化产业的发展。

此外，视觉艺术的生成和听觉艺术的生成将彻底改变艺术的生产方式并提高其生产力。然而，这不可避免地会带来一些具有挑战性的问题。传统艺术家对计算艺术的发展表现出极大的焦虑。他们担心计算机很快就会取代他们的工作。这种担忧并非没有道理。人工智能正在越来越多地取代体力劳动。

第5节涉及两个方面。一方面，研究人员需要澄清计算艺术是否有资格取代人工艺术。另一方面，研究人员需要知道计算艺术而不是人工艺术是否更有利于社会福祉。综上所述，基于人工智能的计算艺术的主要挑战可以概括为计算艺术的人工智能和人工智能方面。

本文对视听内容生成进行了全面的调查。研究人员希望这篇综述能够帮助人们更好地了解视听艺术的研究领域以及基于人工智能的生成的发展趋势。