生成式AI测评系列研究一 大模型时代广告人坑位要保不住了 ？大模代广 我们问了大模型50个关于媒介策划的问题 2022年11月 ，OpenAI发布了GPT3.5，告人引发了行业的坑位震动
。2023年3月
，大模代广GPT更新至功能更强大的告人GPT4.0 ，大模型所表现出的坑位包括翻译、编程 、大模代广写作
、告人对话等在内的坑位出众能力被期待能应用于生产力输出 。同一时间，大模代广国内各科技公司相继发布类ChatGPT产品，告人3月16日 ，坑位文心一言发布，大模代广并开始内测
。告人紧随百度之后
，坑位阿里巴巴上线通义千问，讯飞上线讯飞星火 ，商量 、天工等国产大模型纷纷宣布自己的产品计划 。 面对来势汹汹的AI工具 ，大部分广告人瑟瑟发抖 ，唯恐自己坑位不保 ，那么当下的AI真的可以取代打工人嘛？如果不能取代 ，品类繁多的AI工具又能在多大程度上提升打工人的产出效率呢 ？ 基于此背景
，我们向五家主流大模型（GPT
、文心一言
、讯飞星火、天工 、通义千问）提出了50个关于媒介策划的问题 ，针对AI大模型在品牌营销与广告业务上的能力进行测试 ，试图了解大模型时代下
，AI将如何赋能营销
？该研究计划将以三篇公众号图文的篇幅为大家展开解读 ，敬请期待 。 大模型时代
，AI如何赋能营销 要了解“AI将如何赋能营销
？”，我们首先要了解人工智能技术的底层逻辑 ，并辨析什么是“智能” ，一般认为智能是知识和智力的总和 ，前者是智能的基础 ，后者是指获取和运用知识求解的能力
。由此解释我们可以了解到 ，目前所认知到“智能”包含了广义上的“输入”与“产出”两个重要环节
，而从“输入”走向“产出”的过程又可进一步区分为“处理”与“分析” 。而基于认知的不断拓展与延伸
，“优化”作为产出后的后续环节被不断激活 ，以促使智慧水平的创新迭代
。至此 ，我们获得了“输入→处理→分析→产出→优化”的完整智能逻辑序列 。 在逻辑序列不断推进的过程中
，人类认知水平从“客观解释”走向“主观洞察” ，无序的材料与数据 ，经由处理进阶为具有组织性与逻辑性的信息
，而在进一步的分析后，具有概括性与规律性的知识应运而生 ，最终 ，智能逻辑序列驱动人类认知走向智慧层级 。
人工智能的底层技术逻辑是对于人类智能逻辑序列的模仿与提效 。人工智能通过庞大的知识库积累进行输入 ，后续通过算力实现大规模的信息处理 ，经由“算法”实现对既有信息的分析 ，继而推动序列向“产出”环节迁移 。
由此 ，当我们代入营销场景 ，便能更好理解“AI将如何赋能营销 ？”的问题。以品牌策略为抓手 ，我们需要在逻辑序列的上游厘清媒介理解 、人群洞察和品牌环境三个重要维度的客观事实 ，而AI大模型作为“智能化工具”，可通过公开资料的收集 ，既有数据的分析等等方式推动逻辑序列从“无序”走向“有序” ，基于有组织的信息与规范的专业知识 ，产出品牌策略 ，并通过反馈机制不断优化迭代 。
而受限于当下人工智能的发展水平 ，“人机协同”仍在序列的各个环节发挥着重要的作用 。在实际的品牌营销场景测试中 ，不论是“品牌材料的补充”，还是对“市场分析的逻辑矫正” ，以及对“大模型产出营销方案的反馈”等等 ，交互人对大模型的辅助都在很大程度上影响着大模型的产出质量与优化创新 。
基于对人工智能技术与时兴的大模型底层逻辑的认知与理解 ，群邑智库进一步落地了AI大模型在营销场景下的应用 ，总结了检索归纳 、代码编辑 、英语翻译 、逻辑分析 、文案写作与学习更新的大模型6大营销应用场景 。
01、检索与归纳
Chat+Search=新搜索效率工具 ？
作为PC时代的流量入口 ，在移动数字媒介稳健发展的当下 ，“搜索+”的概念被反复提及 。区别于移动端主流的信息流分发模式 ，搜索往往被认为是针对性更强 ，也更接近消费者决策链路后端的分发模式 。那么 ，风头正劲的“AI大模型”又会给搜索注入哪些新的亮点 。经过测试 ，我们总结了“Chat+Search”的三大使用模式 。
针对性搜索
基于大模型高质量的语义交互功能，大模型能向用户反馈针对性更强的搜索结果 ，比如在特定的办公场景下 ，可以针对性地向大模型提出检索需求 ，具体到获取信息的平台 ：
2020年中国的广告投放量是多少 ？请你多方查找，汇总几个不同数据来源的估算值 ，并标注数据来源和相关网页链接 ，整理成表格的形式。
– 点我一下，看看AI怎么回答 –
通过测试我们发现 ，虽然大模型能依据“交互人”的需求 ，以符合要求的格式反馈相关数据表格，但当我们想要通过大模型给到的链接对数据进行复核时却发现大部分链接均无法打开 ，对数据真实性的考证亦无从下手。
理解性搜索
针对搜索到的数据 ，可要求大模型就数据进行简单总结与分析，以提升阅读分析与理解数据的效率 。
比如 ：请以表格的形式汇总近30年 ，上海 、北京 、广州 、深圳与中国的GDP总量 ，并分别计算以上城市GDP总量对全国的占比 。
就以上数据检索与分析结果，我们进行多维度测评发现 ，虽然大模型给出的数据分析文本逻辑通顺连贯，能就数据给出一定的归纳总结 。但通过与公开数据的复核我们发现 ，数据存在明显错误 ，甚至因此影响了数据分析的洞察 ，比如近30年来 ，上海的GDP一直领先另外三个城市 ，并未出现答案反馈的2000年前北京领先上海的情况 。
除了前文提及的搜索信息准确性不足之外 ，大模型的检索范围同样存在问题 。根据公开信息 ，在五家测试模型中，仅文心一言与讯飞星火可免费接入互联网 ，具备检索即时信息的技术基础。而其余大模型仍主要采取“知识库检索” ，即信息获取范围仅局限于知识库，不具备获取当下及知识库外信息的能力。同样受限于知识库范围 ，部分海外大模型也无法准确检索特定中文内容。这在很大程度上局限了“Chat+Search”模式的可用性 。
而另一个突出的问题是互联网上的大部分信息不是文本式的，当下的AI技术对人类的微妙情绪与承载信息量更为多元的视频画面解读能力不足 ，这也导致了AI检索内容的偏差 。
总之 ，AI大模型所带来的新生态确实为眼下互联网的信息分发模式提供了新路径 ，具有大范围提升用户获取信息效率的潜力 。但在具体的测试过程中 ，我们发现大模型对部分专业问题与垂类内容检索存在局限 。
02 、代码编辑
再也不用为了两行代码加班加点 ？
“代码编辑”已成为眼下日常办公的刚需，大部分广告人虽然不是专门的程序员 ，但若具备简单的代码能力也能在批量操作、数据分析 、内容分拣等场景下提升产出效率 。
从大模型的产品介绍来看 ，基于对话语言交互模式 ，通过用户对特定代码场景的语言描述 ，就可以让大模型产出可实现相关需求的代码，并可以通过多次交互 ，对代码进行订正修改 。那么 ，在代码编辑上 ，大模型真正落地了“哪里不会 ，点哪里”的代码产出傻瓜模式了吗 ？就此 ，我们以excelVBA代码为例进行了测试 。
帮我写一个excel VBA的代码：
你将获得一个excel ，里面包含几个sheet ，每个sheet的A列都有包含“回想的信息渠道 by Header-交叉”和包含“影响的信息渠道 by Header-交叉”内容的单元格 ，我们分别称其为“回想单元格”与“影响单元格” 。我需要你在每个sheet内找到这两个单元格 ，并找到以“回想单元格”为第一行 ，以“影响单元格”为最后一行的区域 ，选中对应区域的AB列内容 ，并将他们全部依次复制到一个新的sheet中 ，并在C列备注内容来源sheet的名称 。
通过对五家主流大模型的“代码能力”测试，我们发现就上述需求而言 ，仅一家能实现代码产出的一次成功 ，即能够辅助完全不具备代码能力的同事实现相关需求 。而更多的大模型 ，仅能给出实现需求的代码语言框架 ，需要针对产出代码进行反复的订正修改 ，才能实现需求场景 。也就是说 ，在“代码编辑”的人机交互场景下，与大模型交互的人必须具备相当的代码语言基础 ，具有对大模型产出代码查漏补缺的能力才能实现产出。而同样 ，对代码需求的描述也非常考验“交互人”的语言表达与对相关代码语言的掌握能力 。
除此之外，我们还测试了大模型对专业统计工具spss的代码辅助情况 ，我们发现受限于工具的专业性 ，所有参与测试的大模型均不具备syntax指令的撰写能力 ，部分平台能在“交互人”给到相关需求的正确指令后 ，通过模仿与学习反馈syntax语句 ，但语句仍无法直接支持产出相关数据处理结果 。
总的来说 ，大模型对代码编辑的整体提效的效果不如熟练掌握相关技能的专业人才。
以上就是本周的“AI大模型赋能营销”系列研究的全部内容 。综上所述 ，眼下时兴的人工智能大模型依循“输入→处理→分析→产出→优化”的智能逻辑序列 。人工智能的底层技术逻辑是对于人类智能逻辑序列的模仿与提效 。而就检索归纳的应用场景来看 ，“Chat+Search”不论是作为信息分发模式 ，还是作为检索信息的效率放大器都具备相当的发展潜力 。同样 ，在代码撰写上 ，大部分情况下大模型仅能架构需求实现的代码语言框架 ，还不能一步到位地直接产出代码 。大模型对代码编辑的整体提效的效果不如熟练掌握相关技能的专业人才 。
总体来看 ，受限于当下AI大模型“语料不足”的客观事实 ，大模型对专业问题与垂类内容检索与产出存在局限与偏差 。因此 ，我们可得出的结论是 ，虽然当下的AI技术已获得了跨越式的进步 ，但在营销场景下的专业应用仍有待时日 。
关注微信
