生成式人工智能与媒体技术的未来

It would be hard to miss all of the ongoing conversations concerning 生成式人工智能以及它将如何影响媒体技术. So far, 传统观点认为，它有望使新手更容易、更有效地完成重复性任务, 创造更好的盈利机会, to foster new tool development, and—for better or worse—to drive disruption in many different ways.

The intelligence that generative AI models like ChatGPT have been trained on is vast, and, therefore, 而不是依靠一个人的能力, 它可以提供机器在整个学习过程中所能提供的尽可能多的排列. 问对问题，也许你会得到回报.

将生成式人工智能整合到我们的工作流程中有可能影响媒体技术中的几乎所有内容, and I’ll examine several of the possibilities in this article. Starting off with low-hanging fruit, I’ll cover production, then move onto monetization、搜索、新工具的创建等等. 与我交谈过的许多专家都认为 immediate by-products of integrating generative AI into our work to be an increase in productivity and a decrease in time spent on rote tasks. They also see the potential for some very creative problem-solving, while at the same time, a number of ethical questions that I won’t attempt to fully explore in this piece.

“In media entertainment, 我倾向于从三个角度看问题,” says Anil Jain, 战略消费行业全球董事总经理 Google Cloud. “The first is improving content creation, production, and management. The second is enhancing and personalizing audience experiences, 第三是提高盈利能力.”

Ultimately, Jain contends, 盈利“将成为每个人都关心的一件事，因为它有机会简化内部流程并提高运营效率, which is probably where the biggest impact will be in the short term. 当你想到生成AI的盈利时, 然后你开始关注可能性的艺术.

Datasets

It all starts with the data. Traditional AI systems recognize patterns based on training, then make a prediction. Generative AI uses that data to create some kind of output that’s new.

“生成式人工智能基于大量数据创造东西,” says Jonas Ribeiro, digital products, platform, and ad tech manager at Globo. “We need to create models with this data so we can create things in the M & E industry.这可能包括为编辑、图像、音频或视频创建脚本或摘要. “Basically,” Ribeiro explains, “you need a lot of data and a lot of models.”

Both public and private data contribute to these models, Ribeiro says. “For the major initiatives, we are using open data, 但我们需要采取更谨慎的方法，因为互联网可以影响信息”——我们都知道, 互联网上充斥着不准确和可疑的信息. “我们有很多人检查结果. 不是每个人都能负担得起私人数据, 但我不能透露一些具体的工作量, 我们正在尝试使用私人数据.”

当涉及到语言模型时，各种各样的观点层出不穷. 与我交谈过的一位高管谈到，客户不需要对他们的特定产品进行培训, 因为它们可以在搜索查询中提供数据. Others aren’t so convinced they want to put data out on the open internet.

“To me, it’s a garbage in, garbage out type of situation,” says Steve Vonder Haar他是IntelliVid Research的高级分析师. “如果你要从网上获取信息, you’re not going to really have a trusted source of information from which to draw. 人工智能的真正未来——至少在商业意义上——将是开发有限的数据集，用于在特定的企业网络中为决策提供信息.”

Analytics

生成式人工智能驱动的分析似乎正在形成一种类固醇商业分析工具. First Tube is a live-streaming platform that leverages AI-driven analytics. 该公司最初的想法是，想要模拟一个项目的成功，以调整交付. “我们正在使用生成服务来创建模拟活动，然后将其拉入我们的分析平台,” notes David Clevinger, First Tube’s VP for products. “我们使用生成式人工智能来创建测试数据，模拟客户看待活动元素和活动结果的方式.”

Clevinger says this could be tied to identifying the best platform for posting content; what kind of content drives better engagement—for example, driving brand awareness or getting people to sign up for a sweepstakes—which social platform is better for that specific live stream; what kinds of measurements can be delivered in views, clicks, impressions, or social media comments; or even evaluating the ROI based on the result.

First Tube正计划在内部建立自己的分析平台，以充分实现这一承诺. “I’m never going to hand that to a third party,” Clevinger says. “但我们的意图是说，这种方法在过去对这个品牌很有效. 我们如何利用那里的发现将其转化为一项活动，现在要求生成人工智能服务根据上次的效果起草一份媒体计划?”

下一步是利用First Tube的内部平台, Clevinger states, is to use generative AI “to do optimization at the vertical level. 什么是最好的策略，什么是最好的活动，什么是围绕活动的最佳参数? 我们的一些工作流片段以前是在电子表格或不同的数据库中,” Clevinger concedes. “我们试图做的是建立一个更全面的, robust analytics platform for our customers based on performance metrics.”

Content Creation

巴雷特-杰克逊拍卖公司(Barrett-Jackson Auction Co .)是另一家决定将部分生产需求交给生成式人工智能处理的组织. “Productivity-wise, 我们每个月都要为我们的上市服务写成千上万的汽车描述,” says Darcy Lorincz, Barrett-Jackson’s CTO. 该公司将过去50年售出的每辆车的汽车信息整合到自己的语言模型中. 巴雷特-杰克逊公司分享了这些信息，因为它想让人们知道拍卖的结果, but, otherwise, 这是该公司自己专有的数据模型.

“训练自己的模型并不适合所有人, 这就是为什么这些开放式模型很好,” Lorincz explains. “现在我们可以在几秒钟内生成社论. 我们仍然需要人们做一些节制, 但是随着机器学习的越来越多, 我们的工作量更少，所以我们可以扩大规模,” he continues. This allows the company to say, “We want this car to be in this background with this person talking about it, and 5 minutes later, 我们有一个有意义的2分钟视频，描述了一个制作团队需要进行大量研究的东西.”

Captioning

Automated captioning is a feature that has become increasingly common in streaming, VOD, and videoconferencing. Not everyone is enamored with the captioning results AI produces. Thierry Fautier, Your Media Transformation的总经理说, “I have a friend using Google speech-to-text for captioning at a French broadcaster. Does it work? No. In a lab with English speakers, it gets a certain percentage of recognition right. 然后你把它搬到法国的环境里房间里有噪音，有非常严格的监管要求, and it doesn’t work.”

In the live-streaming world, there’s a lot of use of AI for captions. “One of our big things is, if you have a political, legal, pharmaceutical, or healthcare client, 你绝对不会想要在标题中使用AI，因为你只会在某些时候失败,” says Corey Behnke, lead producer and co-founder of LiveX. “监督是人工智能的关键. 事实上，我相信我们将比以往任何时候都更需要制作人的监督.”

I’ve seen live software demos that have a very high accuracy level, and I use systems in the course of work all the time that don’t. Later in this article, I’ll discuss an interesting use case that is somewhat based on the same technology, 但结果却完全不同.

Advertising

“In the world of generative AI, 实际上，你可以增加每个印象的价值, because now, 广告实际上是根据你分享的所有内容，在合适的时候专门为你制作的，这样CPM就高得多,” says Google Cloud’s Jain. This sentiment is echoed by others as something that will have immediate appeal.

虽然很多人跟我说过定向广告, 随之而来的成本需要与交付目标结果所需的技术能力一样多的澄清. “I think you can make much more creative ads for a much lower cost,” says Fautier. 现在，针对不同群体制作广告会立即面临预算限制. “如果我现在能自动化这10个不同的子类别, 您可以为一个专门的组提供一个专门的AD. 你通常不会接触超过15个群体，所以你做了15个广告，你就完成了.”

Another area under consideration is digital product placement within content. “我们发现了一些机会，把一个可能是水的瓶子放在桌子上, beer, or soda,” says Globo’s Ribeiro. This would provide an opportunity to target a much wider audience. “我们现在还没有做到，但我们正在研究.”

Advertising Analytics

提供有用分析所需的所有广告数据确实存在:它运行的地方, how it ran, what it ran against, who it was delivered to, what errors occurred, what CPM was paid for it, and so forth. 问题是，这些不同的信息片段目前位于不同的系统中. “On the DSP side, 有不同的系统来组合CRM, delivery, 以及活动创意数据集，看看广告是在Crackle还是在NBC新闻的桌面网站上更好,” according to C.J. 莱纳德，全球媒体和广告技术顾问 MAD Leo Consulting. “让一个人坐在那里看每个系统的印象记录，并试图将所有这些联系在一起，这是不切实际的.”

Generative AI can be used to clean up this data in ways that humans never could. “把这些不同的数据集放在一起,” Leonard says, “我们应该能够谈论更好的结果. 而不是把手指放在空中说, “基于我的直觉……”我希望自己能够说, ‘Based on my gut and this model that is out there …”

Creative Assistance

到目前为止，在媒体世界中，关于生成AI应用的最常见主题是如何使用这些工具来减少后期制作完成内容所需的时间. But it could be just as useful at other stages in the workflow. 我们如何在最初的构思工作中使用它? 我们如何用它来总结内容? 如果它确实在这些领域发挥了有意义的作用, what does that mean for the humans who traditionally did those jobs?

“我们的客户对纯生成人工智能的使用要谨慎得多，因为他们试图做与创意人员相同的工作,” says Shailendra Mathur, 架构和技术副总裁 Avid. It’s easy to see how this would make a lot of people uncomfortable, whether they are producers, editors, animators, writers, or actors.

“One of the philosophies that we believe in is creative assistance,” notes Mathur. “It’s automating the mundane.“在后期工作流程中有很多平凡的任务，这些任务可能非常重复和耗时, he explains, such as logging the metadata, manual content checking, searching for specific B-roll, and doing research for a script. 另一个想法是减少技术含量较低的工作. “我们今天的行业存在劳动力和技能短缺, 所以它的一部分实际上是利用一些人工智能模型以及由此产生的一些自动化来驱动我们无法用人类技能填补的领域.”

然而，这种自动化只能到此为止. “[ChatGPT]只能猜测你想要什么，”Mathur说. “你需要知道你在要求什么, 当你没有要求正确的事情时，你不能责怪ChatGPT给出了错误的答案. 如果你要求系统完成一项工作，你总是需要在那里仔细检查.”

While various levels of metadata search have been available previously, 使用生成式人工智能意味着可以发现通常找不到的相关内容, Mathur explains. 生成式人工智能中使用的大型语言模型基于一种称为语义嵌入的表示方法. 嵌入空间模型用于转换文本, video, 或音频对象到矢量数据库,” Mathur says. This database can identify things using object data as well as semantic information.

“When we look at the semantic embeddings’ core technology underneath, 这就是多个音频片段的关联, video, etc.，所有这些都聚集在一起，”Mathur说. “你可以说，‘这是用这种语言写的吗?“或者给我看一张关于纳丁的图片或音频。,’” and the system would return a list of every media object related to my name.

结果是，在训练期间没有观察到的成千上万的图像标签的预测是可能的. 这使得源代码库的访问速度更快，而且比以往任何时候都更详细. Avid有一个研究和高级开发实验室，展示了许多其他正在考虑的概念.

Just-in-Time Advertising

随着2023年ChatGPT的激动人心, says Google Cloud’s Jain, “Everyone experienced the paradigm shift to direct to consumer. But now with generative AI, 在上游内容创作和生产方面也有可能出现颠覆.”

“We’re running multiple FAST channels out of our facilities,” says Tulix CEO George Bokuchava. “为什么不考虑动态边缘生成呢? Imagine you have a [brand], and you have a slot in a live stream. 你可以根据市场情况和世界上发生的任何事情动态地插入人工智能生成的广告. We just need to be open-minded and think about things completely from a new angle. This is absolutely doable.”

User Experience

Jain说道:“如果你着眼于发行商，你会发现他们既兴奋又害怕. “On the fear side, 生成式人工智能将会减少用户花在发行商网站上的时间, 因为它要么在某处被总结了, or it reduces the need for an individual to dig deep into what journalists produce.”

“令人兴奋的是，我们可以为消费者创造更多种类的内容体验，因为我们可以总结信息,” Jain continues, “我们可以建立更大的社区，因为我们可以在内容上添加对话式人工智能，让体验更像是对话, more dynamic and interactive.”

Using voice could also have a very exciting outcome for any and all software; consider conversational interfaces or using speech to control how a software product will work. “你实际上是在用你自己的自然语言与应用程序对话，”Mathur说.

着眼于内容创造领域，很容易看到如何在生产中创造效率. 谷歌建立了一个OTT概念验证它使用Bard来帮助观众挑选观看的内容. 这个功能代替了传统的流媒体导航. 查看器可以根据他们拥有的任何对话输入进行交互以查找内容. 它本质上是一个具有记忆和解析交互能力的推荐引擎.

And then, 如果用户想要(并且已被授予权限), 他们也可以吃薯条(或者他们可以通过外卖服务点的任何其他类型的食物)，继续与“OTT POC的声音”对话.” This is an interesting approach to the overwhelming consumer content dilemma.

洛林茨说，巴雷特-杰克逊也在考虑如何为其产品带来更多的交互性. 他指出:“现在，我们正在制作视频背景，让虚拟角色无需脚本就能说话. “我们还有一个客户服务机器人——不是虚拟化身——我可以问它任何百家乐软件公司的问题, 它可以实时回答我的问题.”

Cautionary Tales

我遇到过很多人，他们要求ChatGPT为他们写一些东西，并对结果感到非常兴奋. So, 为了验证ChatGPT对创造性帮助是否有用——以及对研究的兴趣——我决定尝试一下. 我试图让ChatGPT以我的风格写一段与本文相同主题的文章.

A few questions come to mind. 有足够的数据来生成和模拟我的声音吗? Do I really write like this? 在我所有的文章中，包括这篇文章，直接引用真实人物的话在哪里? 我在ChatGPT上做了同样的研究，得出以下结论:

题目:通过人工智能革新媒体运营:弥合创造力和效率

In an era where technological advances shape industries at an unprecedented pace, 媒体行业是人工智能(AI)变革潜力的绝佳证明。. Over the past few years, 传媒业已经成为人工智能创新的熔炉, ushering in a new era of creativity and operational efficiency. 从流媒体平台到广告活动, the convergence of AI and media operations is yielding remarkable outcomes.

我想最终的问题是:你能看出这段话是由人工智能生成的吗, 或者它可以被认为是由人类(如果不一定是某个特定的人类)编写的吗?? 我们对这种区别的重视还能持续多久?

“在过去的几个月里，我进行了很多对话，这些对话让我相信，信任和真实性将得到更大的重视,” says Google Cloud’s Jain. “In a world where so much more content can be created with far less toil, 人们会想知道:这是人工智能生成的吗, 或者这是人类组装的东西?”

这篇文章完全是由人类研究和撰写的.

Free

for qualified subscribers

Subscribe Now Current Issue Past Issues

生成式AI如何影响流媒体货币化?

生成式人工智能是所有行业的游戏规则改变者, 如何利用它，是一系列流媒体组织寻求将其内容和运营货币化的关键战略和技术问题. 巴雷特-杰克逊拍卖公司(Barrett-Jackson Auction Company)的达西.J. Leonard of Mad Leo Consulting, 和Reality Software的Nadine Krefetz在流媒体连接2023的小组讨论中探讨了生成人工智能当前和即将产生的影响.

29 Aug 2023