FX168财经网_全球视野外汇黄金加密货币NFT资讯网

年薪百万只需陪聊 ChatGPT 正在带起一种很新的职业

要求如下，其中硬性要求有 2 项：了解大型语言模型的架构、掌握基本的编程技能。可见风口并不等人，这项工作已经越来越专业和细分，就像随便生成一幅画作不算什么，你要画得更符合甲方要求。就算不做全职，兼职的口子也开好了。Krea、PromptBase、PromptHero 和 Promptist 等买卖提示词的平台已经出现，将提示词这门生意真正商业化。这些平台晒出了大量 AI 生成的艺术品，你可以选择你喜欢的风格。如果没有中意的，有些卖家还提供一对一聊天和自定义提示词服务。它们的商业模式也并不复杂，采取抽成的形式。去年 6 月上线的 PromptBase，提供 DALL·E、GPT-3、Midjourney、Stable Diffusion、ChatGPT 等生成式 AI 的提示词，售价多为 1.99 到 4.99 美元，也有少数在 9.99 美元，平台向提示词创作者抽成 20%。不过在民间，免费的「ChatGPT 指令大全」等指南也在广为流传，它们提供精炼过的提示词，让你充分发挥 ChatGPT 的强大功能，这种感觉就像在游戏里帮你设置好了预设队伍。是科学还是「占卜」提示工程师的前途看起来一片光明，但也有人持反对意见。华盛顿大学语言学教授 Shane Steinert-Threlkeld 认为，提示工程师实际上无法预测 AI 会说什么。这不是一门科学。我们只不过用不同的方法捉弄熊，看它如何咆哮回来。 AI 艺术家 Xe Iaso 甚至直言：我也不太清楚为什么人们会把 prompt 称为「工程」，我个人更愿意把它称为「占卜」。作为一个普通 AI 用户，我也有着类似的体会：当我每次使用 AI 生成文字或图片时，总感觉像是开盲盒。因为 ChatGPT 等生成式 AI 是不可预测的，它们生成的内容其实是概率计算的结果，简单来说，就是我们在 ChatGPT 输入文字，模型给出一个最可能的下文。所以，AI 有时候也会出错，生成不连贯甚至错误的回答。在 AI 这个不可捉摸的「黑箱」里，还可能有着不为人所知的潜规则，就连研究人员也无法弄明白。比如在用 AI 制图时，各种单词可能有不同的权重，但这个也要不断试验才能知道。先来猜一猜，「一幅非常漂亮的画，山旁有瀑布」和「一幅非常非常非常非常漂亮的画，山旁有瀑布」这两个提示，哪个用 DALL-E 2 输出的结果会更好？答案是后面一个。麻省理工学院副教授 Phillip Isola 发现，「very」这个词被赋予了很高的权重。面对 AI 这等庞然巨物，我们仍然在盲人摸象。也有观点认为，不必再吵了，提示工程师存在的前提是 AI 还不够「聪明」。如果 AI 再发展下去，更好地理解人类的意图，可能人人就是所谓的提示工程师了。唯一确定的是，AI 发展的速度永远不会让你失望。文字生成 AI 和图片生成 AI 的「强强联合」，已经替代了提示工程师的一部分工作。比如 ChatGPT 被拿来与 Stable Diffusion 联动：用 ChatGPT 形成一段符合自己要求的文字，再把文字输入给 Stable Diffusion，生成的作品一般比自己直接输入好看很多。同事用 ChatGPT 生成提示词. 这可能是因为 AI 之间的「脑回路」更接近，ChatGPT 的描述也更细致，更容易被提取。作为使用 AI 的普通用户，我们不必像提示工程师那么专业，但可以有意识地培养这种思维。宾夕法尼亚大学沃顿商学院教授 Ethan Mollick，曾经要求他的学生仅用 AI 撰写短论文，其实他真正想强调的是，如何更好地输入提示词。如果只是输入简单的提示词，让 AI 写关于某个主题的 5 段话，内容无趣，文字也很平庸。但当学生们和 AI 合作，让 AI 对论文多次修改，比如抛弃无用的短语、加入生动的细节、修改结尾的情感色彩，就能让论文增色不少。所以，如果 AI 就是未来互联网的交互界面、新的个人计算机，那么不如开始得更早一些，学习如何和它聊天。正如英国营销公司 Ladder 创始人 Michael Taylor 所说：当你可以创造任何你想要的东西时，你能多准确地表达「那是什么」的能力就变得很重要。撰文：张成晨来源：爱范儿、DeFi之道来源：金色财经

金色财经2023-03-11

ChatGPT爆火之后 AIGC往何处去？

。 ▍ChatGPT可能是当前最成功的大型语言模型，我们正在经历iPhone Moment ChatGPT可能是目前最成功的语言模型，人们把当下这个ChatGPT诞生的时刻称为“iPhone moment”。 GPT是Generative Pre-trained Transformer 的缩写。Transformer神经网络算法是当前最新的一种算法模型，我们会在下文展开。GPT系列模型都是语言模型，是新型神经网络算法、新型模型训练方式加上海量数据算力多重因素叠加产出的成果。 GPT模型有几个主干版本，从 GPT-1、GPT-2、GPT-3演进到最新的GPT-3.5版本。当下人们使用的ChatGPT是在3.5版本的基础上，专门针对人类需求做了大量微调，引导模型输出更符合人类需求的结果。这让GPT模型逐渐“社会化”，变得更像人。经过微调的ChatGPT“情商”变高了，不再只是个话痨，也不再那么口无遮拦。 ▍ChatGPT的诞生过程图片来源：微信公众号@AI语者在ChatGPT问世之前，GPT模型经历了怎样的发展历程？ 2017年6月，Google发布Transformer这一神经网络算法模型，它为大型语言模型的发展奠定了基础。一年之后，OpenAI公司推出了GPT-1，GPT-1采用语言模型预训练+微调训练两阶段的训练方法，在问答和常识推理、语义相似度、分类等任务中，取得了还不错的语言任务执行效果。 2018年10月，Google推出另一个语言模型——BERT，效果超过GPT-1。图片来源：知乎@雅正冲蛋 GPT和BERT都是基于Transformer衍生出的算法，但在技术路线上各有侧重。GPT基于 Transformer 右边部分，叫解码器。BERT基于 Transformer 的左边部分，叫编码器。 GPT的技术原理是预测下一个词，你可以看作是“文字接龙”，你写出前面的句子，由GPT来猜下一个词。但BERT更像是“完形填空”，其技术原理是把一句话中某个词给遮挡住，然后请BERT来猜。解码器擅长创作，编码器擅长理解，当时它们要做的更多是屏蔽语言模型（Masked LM，类似“完形填空”）、相邻句子判断（Next Sentence Prediction，判断句子是否能相连）这类偏阅读理解的任务，因此BERT占了上风。 2019年，GPT-2发布，它采用15亿个参数的Transformer解码器，在当时是个比较大的模型。相比BERT，OpenAI研究人员发现，GPT-2预训练的语言模型无需微调训练，可直接执行多种下游任务。这个发现坚定了研究人员沿着现有技术路线，继续研发的决心。 2020年5月，GPT-3诞生，它采用了史无前例的1750亿参数的Transformer解码器，用了接近5000亿单词的文本训练数据。整个训练过程可以说是“大力出奇迹”，让GPT-3在文字生成方面实现质的飞跃。GPT-3除了可以出色完成文字生成、翻译、问答和文本填空等语言类任务外，还“涌现”出了其他一些智能，包括上下文学习，以及更强大的零样本和少样本执行任务的能力，等等。 GPT-3生成的文本质量非常高，有时候人们甚至难以区分文本到底是人类写的，还是GPT-3生成的。基于GPT-3，已经衍生出很多应用，人们用GPT-3来创作各种类型的文本。有人用它写了一篇新闻，被某热门新闻点评网站排到头部。一家名为Jasper的公司利用GPT-3为企业提供商业文本写作服务，2022年其收入达到9000万美元左右。 GPT-3之后，OpenAI通过增加程序代码训练和人类反馈强化学习等多种训练手段，并将主版本升级到GPT-3.5。最终，2022年11月，ChatGPT横空出世。 ▍训练GPT-3模型的三“大”要素：算法、数据、算力我们称GPT-3为大模型，这个“大”体现在哪些地方？首先是算法。GPT-3采用的是Transformer的解码器，具有1750亿个参数和2048个Token（可简单理解为单词，下同）的训练文本长度。图片来源：OpenAI团队论文《Language Models are Few-Shot Learners》第二是数据。上图是GPT-3的训练数据，总共接近5000亿个token的文本，主要包括Common Crawl、Webtext2、Books1、Book2、Wikipedia等等。其中占比最大的训练数据是Common Crawl，它是一个开源的数据集，抓取并保存了全球大量网页的数据。第三是算力。据微软发布的信息， OpenAI 使用一台全球排名前5的超级计算机系统来训练GPT-3，该系统拥有超过28.5万个CPU核心，1万个GPU和每秒400G的网络。据悉其训练成本约为1200万美元。 02 人们如何看待ChatGPT？ ChatGPT诞生以来，引发的讨论非常多。那么说回来，人们如何看待这个新事物，对它又有什么期待？虽然众说纷纭，有3个议题是被频繁提到的。 ▍人们肯定ChatGPT是一个称职的语言模型首先，ChatGPT是迄今为止最成功的人类语言模型，已经具备形式语言能力（洞悉语言的规则模式等知识）。 ChatGPT具备理解和生成人类语言文本的能力，可跟人类轻松对话。它用数据驱动的大型神经网络的计算方式，某种程度上解码了人类语言的内部规律。这个内部规律不是某种公式，而是一个神秘、暂不被人类理解的权重参数矩阵。以前，人们认为算法模型如果仅靠输入文本，很难获取关于语言的知识。但如今，ChatGPT可以从文本中直接学习语言的层次结构和抽象类别等，这是一种无监督学习的能力。此外，ChatGPT也不只是个话痨。它可以写作文、创作诗歌、撰写商业文本、翻译、做阅读理解、代码理解和生成等。可以说，作为一个语言模型，ChatGPT已经比较称职。 ▍人们期待ChatGPT具有思维能力人们对ChatGPT的期望不仅仅是语言模型，人们甚至期待ChatGPT成为一个思维机器，发展出功能语言能力（用语言思考和做事的能力）。 ChatGPT“涌现”出一些智能，包括上下文学习（理解和学习人类对话输入文字的能力）、世界知识抽象（例如事实性知识和常识）、执行泛化任务（包括没有做过的新任务）、复杂推理等。然而，当前ChatGPT的这些功能都还不算强大，出错甚至崩溃时有发生。当前，人们在思维机器方向的探索有很多，例如有一种借助思维链（Chain of Thought）的方法，试图引导或者优化语言模型展现出复杂的推理能力。这些研究方向的进展仍在持续。上图展示的是，一位科研人员在跟ChatGPT的对话中，通过分步骤提示引导的示例训练（引导过程未展示），使ChatGPT展现出分步骤思考和计算的能力。据分析，ChatGPT的这个能力来自GPT-3.5模型本身，思维链训练方法只是让它意识到应该用这种方式来思考和回答问题。整个过程有点类似老师辅导学生做题。虽然这道题对于10岁的孩子来说很容易，但对语言模型来说却很难，主要是由于数学和语言混合在一起。这类问题只是开始，当前思维链的前沿科研工作已经转向更有难度的问题，例如高中、大学，甚至是国际数学奥林匹克问题。加利福尼亚大学洛杉矶分校(UCLA)近期的一篇论文发现，ChatGPT似乎展现出了类比推理的能力。什么叫类比推理？推理分三种，包含演绎、归纳、类比。“类比推理通常被视为人类抽象和概括能力的典型能力。在广泛的问题类型中，ChatGPT达到或者超越人类水平...显示出这种零样本类比推理的能力。” 然而，ChatGPT的推理能力因其对世界缺乏物理理解而受限，因为它仅仅依靠文本输入，缺少视觉（图像和视频）、声音、嗅觉等多模态数据输入。文本对世界的物理描述是有限的，比如你很难通过文字描述清楚一间屋子里不同物品的位置具体，相反，看一张关于这间屋子的图片，物品的位置信息就一目了然。听说GPT-4将于2023年发布，届时会加入视觉等多模态数据输入，这将有望进一步提升它的智能。 ▍对于ChatGPT能否成为“人类大脑”或通用人工智能，人们持有巨大争议目前，针对ChatGPT是否能够变成“人类大脑”或者通用人工智能（AGI），争议还非常大。Yan Lecun是深度学习的三巨头之一，他也是Meta（原Facebook）公司的首席AI科学家。他认为机器和人类不一样，人类会在心智里面构建一个虚拟世界，进行推理和模拟，这点目前机器做不到。著名语言学家乔姆斯基在2019年的一次采访中提到，深度学习更偏工程，有点像推土机，可以使用，但它没有能力告诉你人类语言的任何事情。（注：ChatGPT这类语言模型可以输出很精彩的文本，但是我们没有确凿证据证明它真正掌握了语言的规律，当然也有可能是它掌握了规律，但人类无法理解。） Kyle Mahowald等学者认为，“擅长语言” 未必 “擅长思考”。虽然人类的语言和思想是不可分离的，但专⻔处理语言的人脑区域，与负责记忆、推理和社交技能的人脑区域是分开的。因此不应该对语言模型有过多期望。 Kyle Mahowald提到了一个GPT-3没能理解的失败案例：怎么把沙发放到你家屋顶上。就像我们在上文提到的，屋顶、沙发、起重机等更偏世界的物理知识，对于人类来说，很容易就想到用各种办法把沙发放到屋顶上去，但你很难让ChatGPT理解这样的操作思路。这个例子也说明世界物理知识的输入，特别是视觉等多模态数据输入的重要性。 03 背后的技术和发现很精彩，也还有很多发展空间讲完ChatGPT究竟是什么，我们再来讲一下背后的技术。我们在上文提到，ChatGPT相当于用“文字接龙”这样简单的技术原理来训练和使用语言模型，从而实现跟人类的高质量智能文本对话。这个技术原理，理论上是有升级和改善机会的，从而可能达到更好的效果。在神经网络参数量方面，业界有人认为有优化空间，例如是否可以用参数量较小的模型达到同等效果。2048个token文本输入窗口的设计及计算机制，也可能有优化空间。例如当前有人试图让ChatGPT写推理小说，但推理小说里面的推理线索往往不易察觉且距离较远（例如好几个章节之前的一个小线索），这个距离远远超出2048个token文本的窗口，如何把当前窗口之外的知识信息容纳进来，也存在优化可能。整体而言，作为底层算法模型的Transformer在2017年6月才诞生，现在还处在发展早期，在快速迭代和改进完善之中，应该还有很多发展空间。此外，前面提到的多模态数据输入，会给GPT-4带来什么样的能力涌现和性能提升，也是业内人士和群众翘首以待的。 ▍人类可以从ChatGPT中学到什么关于语言的规律？在对人类语言的探索上，ChatGPT比以往的任何产品都走得更远更深。我们人类可以从ChatGPT身上学到什么？ Stephen wolfram这名科学家认为，人类语言可能没那么复杂，只是因为我们人类没有能力理解和掌握其背后的规律；而ChatGPT用基于神经网络的算法，成功解码了人类语言的本质。据OpenAI公开的GPT-2的论文，GPT-2的训练数据是纯英语文本（做了非英语文本过滤）。即便如此，它还是显示出一些多语言能力，并且展现出非常出色的法英互译能力，尽管只是接受了10MB左右残留的法语文本训练数据。这个现象引发了人们的思考，当前人类在语言学习方面花费大量的时间和精力，这个学习效率是不是有提升的空间？我们能不能向语言模型学习，更加有效率地学习人类语言？ ChatGPT在生成文本时，是每次选择一个词，这个词是在语言模型给出的概率表中做出的选择。当前科研人员的发现是，如果每次都选择概率最高的词汇，理论上是最优解，最后呈现却往往是一篇非常普通的文章；如果不是每次选择最优解，例如随机选择排名稍微靠后一点的，却有更大机会生成一篇精彩文章。这也是个有意思的未解之谜。以前，我们可能认为创作一篇散文或者一首诗，背后是人类精心的构思和创造。但对于AI而言，创作意味着概率和选择，我们认为的精彩文章创作原来只是AI枯燥的选择过程而已。由ChatGPT反观，可能人类对语言本身的奥秘还知之甚少。 ▍语言特征空间的单词分布 GPT把文字向量化了，建立了语言的高维特征空间，也称为隐含空间（Latent Space）。 GPT-2中每个词是一个768维的向量，GPT-3中每个词则是12288维的向量。每一个维度代表着一个属性，相当于GPT-3用1万多种属性，来描述人类语言中的词汇特征。 Stephen wolfram试图打开人类语言的特征空间，来观察其中的规律。他选择规模较小的GPT-2的特征空间，把它映射到人类比较容易理解的二维空间，从中发现了许多有意思的现象。比如，crocodile鳄鱼和 alligator短吻鳄离得很近，苹果跟梨聚在一起，这个可能容易理解。有趣的是，词汇之间的关系，还能从向量加减操作中反映出来，比如皇帝（King）的向量减去男人（man）的向量，再加上女人（woman）的向量，就变成了女皇（Queen）的向量。另外，他还试图在GPT-2的语言特征空间中，寻找每次生成一个句子的游走规律，我们能从上面这个图片中，看到GPT-2是怎么在768维度的空间中游走并陆续做出下一个词的选择，但是很遗憾他还没有找到其中的规律。虽然从高维映射到二维中丢失了很多信息，但是未来如果能结合多维空间中的向量，我们可能会发现更多关于语言的规律。 ▍Transformer神经网络算法架构及注意力机制 2017年6月，Google发表了非常著名的Transformer论文，论文标题是《Attention is all you need》，意思是说你只需要注意力机制就足够了。图片来源：知乎@雅正冲蛋 Transformer神经网络算法架构的框图如上，如前文所述，左边部分是编码器，右边部分是解码器。Google研发的BERT用的是编码器，而OpenAI的GPT系列用的是解码器。在AI领域，有四大类神经网络算法，包括MLP、CNN、RNN、Transformer。MLP是多层感知器，CNN是卷积神经网络，RNN是循环神经网络。 Transformer是最新的算法模型。在一些场景中，它正在逐渐替代CNN和RNN。Transformer的特征提取能力比较强，擅长长序列处理、并行计算、多模态处理等。Transformer的注意力机制有点像人一样，选择性关注，因为资源有限，只会关注最重要的事情。 Transformer已经被广泛应用在自然语言处理、计算机视觉以及生物科技等领域。生物科技行业用来预测蛋白质三维形状的Alpha Folder算法就是基于Transformer算法模型来做的。 ▍哪个模块是GPT-3储存智能的地方？ GPT-3模型发布时，OpenAI团队发布了论文《Language Models are Few-Shot Learners （语言模型是少样本学习者）》。上图是GPT-3模型的框图，它基本上跟Transformer 的右边部分的解码器是类似的。无论是预训练还是推理（做任务），都是从框图的最底部输入前面部分的文本（GPT-3模型最大的长度是2048个token），然后经过12次运算，从Text prediction输出下一个词概率预测（Task Classifier是微调训练分支，在此不详述）。一个有意思的话题是，GPT-3用1750亿个参数，去学习接近5000亿单词的文本，显然它不是简单地把3个单词存在1个参数中去，而是大抵掌握了一些语言规律且抽象了某些知识和能力。那么，问题来了，这些规律、知识和能力到底存在哪些地方呢？有学者认为，1750亿参数主要集中在框图中的注意力处理层和前馈网络层，前者的值是动态计算的（每输入2048个token，就重新计算一次），它们是数据相关的动态权重，因为它们会根据数据动态变化。而前馈网络层的权重是随着训练过程而缓慢变化的，因此，有学者猜想在前馈网络层中存储着GPT发现的语言规律、知识和能力等，因为要经过12次运算，运算次数越靠后存储的信息越抽象。 Stephen wolfram把GPT-2的某个前馈网络层存储的768*768维度的权重参数矩阵提取出来，压缩到64x64尺寸，就形成了如下一张神秘的图像，代表着GPT-2总结的神秘的人类语言编码规律及其他一些知识和能力的一部分。很好奇什么时候科学家可以逐步解密其中的部分内容，相信对于人类提升自我能力有好处。图片来源：writings.stephenwolfram.com 04 未来，ChatGPT能否进化出自我意识？和AI相比，自我意识和自由意志可以算作是人类最后的堡垒。但是有一种观点认为，人类其实没有所谓的自由意志。人类有两个自我，一种是体验自我，另一种是陈述自我。体验自我，负责相对“机械”地解读信息、作出决策；陈述自我，则负责对体验自我的决策进行解释和表述，有时甚至会虚构故事来“欺骗”我们自己。所谓的自由意志，不过是陈述型自我给自己编的一个故事而已。一些科学家和学者认为，理论上，我们可以构造出一个自我模拟的自指机器（Self-referential Machine），让它也具备两套体系，一个负责执行算法，另一个则专门负责对自我进行模拟（描述，或者可称为在内嵌虚拟世界中模拟自我）。这种机器会表现得就“像”一个具有自我意识的系统，以至于我们可以用这样的系统来定义所谓的“自我意识”。在古代欧洲，有一种传说中的衔尾蛇，能够自己吃自己，实现持续进化。后来，有人提出哥德尔机（ Gödel Machine）的设想，认为只要程序能够模拟自身、改造自身，那么我们就可以将其称为具有自我意识的。此外，还有Quine程序结构、克莱因Kleene第二递归定理等也提出和支持了与之相似的假设。图片来源：维基百科我们很难预料，未来机器是否能进化出自我意识。 05 生成式AI领域的其他进展需要指出，当前讨论的生成式AI，跟之前的分析式AI是有较大不同的。分析式AI的主要能力是分析，例如：数据分析、趋势预测、商品推荐、图像识别等，而生成式AI主要的能力是创造，例如：写诗、绘画、设计产品、编写代码等。当前除语言模型外，生成式AI领域的其他进展还包括图像生成模型等等。未来，多模态（文本、图、视频等）对齐、融合、理解和生成等方向的进展，意义也非常重大。关于图像生成模型，不得不提的是扩散模型（Diffusion Model）。它主要解决通过文本生成图像及其他媒体格式的难题，业内知名的扩散模型包括：DALIE2、Stable Diffusion等。图片来源：Denoising Diffusion Probabilistic Models 06 生成式AI相关的6点创业思考与建议 2022年，大语言模型爆发。据统计，2022年，平均每4天就有一个新的大语言模型问世。生成式AI技术也在持续引发人们对一些知名的模型层平台和应用的访问，数据增长很快，投资火热。2019 年至2021年期间，流向生成式AI业务的资本增加了约130%，其中文本和写作增长630%、图像增长400%、数据增长 370% 、音频/视频增长350% 。图片来源：A16Z 上图是投资公司A16Z总结的生成式AI的行业堆栈。底层深蓝色的部分是基础硬件和云平台，中间蓝色的部分是模型层，再往上浅蓝色的部分是应用层。在应用层，有的创业公司自身只做应用，模型能力则是调用外部的；还有一类叫端到端的应用模式，它会自己做模型，但一般不做大模型，或者在其他大模型基础上微调出自己的模型。在模型层，有开源模型和闭源模型。深蓝色部分的Model hubs是用于模型存储和训练的第三方平台。当前应用层的增长比较快，主要是由AI赋能的新型应用案例所驱动，主要集中在图像生成、文案写作和代码编写，三个类别各自的年收入已超1亿美元。关于生成式AI的创业，我有6点思考和建议：第一，目前，与AI相关的科研、工程、产品和商业化，都在同时快速迭代，变数很大。这个过程中，会出现不同的技术分支和业务路径，如果选错了技术分支和业务路径，再掉头就很麻烦。这就需要创业团队既懂技术又懂业务，在创业初期努力做出正确选择。第二，对创业公司而言，从应用层或者端到端的应用层切入，可能是相对能降低风险的做法。模型层有少量机会，但不一定适合大部分的创业者。第三，应用层在做商业模型设计的时候，要警惕模型层的边界。以Jasper公司为例。2020年在GPT-3模型基础上，Jasper衍生出付费商业文本写作的商业模式。到了2022年底，ChatGPT向用户免费开放，给Jasper带来较大的压力。尽管OpenAI未必会以商业文本生成作为自己的主要商业模式，但它平等赋能了入场的其他竞争者。Jasper需要展现出有竞争力的技术积累与业务纵深，才能稳住脚跟。第四，把AI技术应用到产业场景，可分为新模式和旧模式改造两类方式。新模式是指创造之前没有的全新的应用场景，旧模式改造则指在现有产业场景里用AI技术来改造部分环节，或者团队带着深度行业认知和新的AI技术在成熟的产业场景中创业。新模式和旧模式改造，都存在巨大的机会。在峰瑞已投企业中，有好几家企业在垂直产业的场景中做业务创新。比如线上心理咨询平台阁楼、短视频及直播SAAS服务企业特看科技、线上健身私教平台BodyPark，都在积极使用生成式AI来赋能自己的业务。本周六（3月11日），我们将邀请这3家公司的创始人来分享他们的探索和发现，欢迎参与。第五，AI还面临科研知识快速溢出的问题，因此找到自己的壁垒很重要。创业公司一定要想清楚自己未来的壁垒在哪里，比如到底是数据壁垒、工程壁垒（例如模型微调）、场景壁垒，还是规模壁垒等等。在应用层创业，仅依靠外部模型层提供的能力，是无法形成壁垒的。第六，应用层的创业，应该是“技术为先、场景为重”。 “技术为先”，是指虽然通用AI技术未必是你的核心壁垒，但团队一定要懂技术，才有能力思考如何更早更好地把技术应用到合适的应用场景里，做出好用的产品。 “场景为重”，意味着最后的产品和业务需要找到合适的落地场景，建立自己的商业模式，并在场景里形成自己的核心竞争力。 07 生成式AI行业的未来格局展望和猜想最后来聊聊对AI行业格局的未来展望和猜想。这个部分我参考了奇绩创坛陆奇博士之前的一个思考框架。 ▍以AI和大模型为中心的新IT 新的硅基硬件产业：硅基产业架构和集合可能迎来新的发展机遇（例如：新的计算芯片及周边技术和产业等）。新的软件和云服务体系：算力、模型和数据的云服务、基础软件、ML&Dev Ops、人机互助编程工具等。 ▍新的基础智能终端设备：智能传感器、新型手机等未来的智能终端会越来越智能，最近苹果公司官宣支持Stable Diffusion图像生成模型在iPad等终端上运行，也有工程师把经过裁剪的Stable Diffusion应用在iPhone上运行起来，可以预见以后我们的手机美颜和照片生成可以达到何等出神入化的境界。此外，当前的翻译软件技术，在语义理解方面还是比较浅，翻译质量差强人意。如果可以把类似ChatGPT这样的语言模型能力嵌入到智能终端中去，随着文本和语音的实时翻译成为可能，跨语言交流将变得很方便，这对于提升人类之间的交流效率意义重大。 ▍围绕内容创作展开的产业文、图、视频、3D等各种媒体格式的AI内容创作工具，是当前可以看到创业机会较多的新产业。以ChatGPT为代表的语言模型的文本生成技术，和以扩散模型为代表的图像视频多模态生成技术，可能会对内容产业产生深远的影响。从PGC到UGC，再到如今的AIGC，内容领域会有更多新变化与新玩法。从媒体行业发展情况来看，当前头部的内容媒体平台比如抖音快手B站是所谓的Web2.0平台，普遍采用UGC方式为主来生产内容，但是随着AI生产内容（AIGC）的出现，AI可以生成大量优秀内容，成本较低、效果精良，而且甚至不乏创意，这个情况下内容媒体平台和行业就有可能出现较大的变化。 ▍围绕语言模型展开的产业在这个领域，新的机会可能包括：语言学习范式改变，重塑跨语言沟通方式，更友好的人机界面等。其中特别值得一提的，是语言学习范式的改变。如前文所述，如果我们可以打开语言模型，从中寻找到语言学习的规律，说不定可以帮助我们更有效率地学习语言。事实上，OpenAI投资了一家韩国的英语学习APP叫Speak。从有限的公开信息来看，这家公司未来的产品是一个语言学习助手，或者叫做虚拟语言老师——借助语言模型的能力和发现的语言规律，去帮助人们更好地学习外语，而且成本极低。跨语言沟通的技术目前还不成熟。如前面所说，如果我们能够把语言模型加载到智能终端，可能会极大改进跨语言沟通的能力。因为语言模型足够强大，未来我们的人机界面，会采用更友好的自然语言人机界面，无论是跟APP对话还是跟智能硬件对话。 ▍围绕思维模型展开的产业不妨畅想一下，更聪明的软件（或机器人）、科研服务、 “知识工程”、“世界大脑”等。当前的软件产业，即便有AI的加持，通用性和智能程度还是不尽如人意的，大多数情况下只能做一些特定的任务，只能成为人类的效率助手；随着更加通用的AI能力出现，软件也可以像人类一样思考和做事，可以想象软件就可以帮助人类承接较为完整的任务了。如果AI可以发展出接近人类的思维能力，它也许可以成为人类科学家的科研助手，因为AI可以不知疲倦，且可广泛使用。当前，我们很难想象AI可以达到人类顶尖科学家的水平。打个比方，你让它去证明下哥德巴赫猜想，应该还是很不现实的。当然也有其他可能，如前文所述，如果AI程序可以实现自我优化，具备迭代自己的算法和技术的能力，相信它的智能会很快赶上来。如果我们展开想象，就可以有更多的可能性。例如“知识工程”，如果把人类的知识建模，然后让人类以某种方式可以调用或者学习，那么就不用经过“痛苦”的学习过程。“世界大脑”，是指规模极大的思维模型，它可以帮助我们执行各种重要的计算和思考。不过，如果真的发展到这个地步，可能离电影《黑客帝国》里边的Matrix就不远了。 ▍赋能人类，深入改变各行各业（特别是知识工作者）语言是人类最主要的沟通方式，是知识和思维的主要载体；而深度思维是人类的高阶能力，也是人类不同于其他物种的最重要的能力。如果AI掌握了这两种能力，就基本具备了在某种程度上赋能或替代一部分人类知识工作者的可能。类似于自动化生产制造设备赋能传统工业，各类AI模型和应用软件也将有机会更好地赋能各行各业。但是不同于制造行业，大批量使用的软件，其边际使用成本是非常低的，而且它很聪明、善学习、会思考、会交流，应该会有大量的应用场景有待开发。这里边有非常多的创业机会，也会给各行各业带来新的发展动力。 08 写在最后，为什么AIGC不会是短期风口？首先，ChatGPT是语言模型领域的重大进展，鉴于语言对人类沟通和思维的重大意义，语言模型本身具备很强的通用性，以及人类可以通过研究语言模型获取语言及知识的学习规律并得到效率提升，这些都会持续带来长期的创新机会。第二，AI在思维机器这个方向上还有更远的路可以走。例如，如果AI能够实现良好的多模态信息输入，增加对物理世界的理解，可能可以“涌现”出更多的智能。这个方向的任何进步都意义重大。第三，与AIGC相关的底层技术原理和算法都还处在发展早期，未来还有很长的迭代和优化机会。一切，才刚刚开始。来源：金色财经

金色财经2023-03-10

易点天下：着手ChatGPT语料输出和广告行业场景做结合

在互动平台表示，ChatGPT 是基于大型语言模型（LLM）GPT3 训练出来的一个自回归语言模型，并取得了实质性的进展，ChatGPT的知识所有权属于OPEN AI 公司，但ChatGPT 在在线广告业务上有很好的应用场景，公司目前已经着手把ChatGPT的语料输出和广告行业场景做结合，进行二次训练，用于广告投放业务。（来源:界面AI）声明：本条内容由界面AI生成并授权使用，内容仅供参考，不构成投资建议。AI技术战略支持为有连云。

有连云2023-03-09

ChatGPT热潮之下虚假新闻、算法歧视、信息泄露的法律风险你了解吗？

金色财经2023-03-09

Salesforce推出生成式人工智能工具Einstein GPT

的一个版本，帮助开发人员在该公司自己的大型语言模型上使用人工智能聊天助手生成代码。　　该公司强调，对于所有这些用例，都将有人工干预的选项，以调整消息的语气和适当性。　　Salesforce表示，Einstein将是一个开放平台，将自己的AI技术与第三方软件结合起来，从open AI开始。该公司表示，预计随着时间的推移，还会增加其他大型语言模型的合作伙伴。　　“人工智能有很多东西，”贝尼奥夫在上周的采访中说。“这是机器学习。这是深度学习。它可以摄取您自己的数据模型。它可以成为企业的生成式人工智能——他们需要一个像Salesforce这样的平台，让他们在公司内部没有专业知识的情况下做到这一点。我们必须成为客户的替代品，这样我们才能把产品交付给他们。” 　　Salesforce今天上午还宣布，计划推出一个新的2.5亿美元的早期生成式AI风险基金，作为该公司风险投资部门Salesforce Ventures的一部分。　　在整个技术领域，开发生成式人工智能工具的紧迫性越来越大。　　C3。人工智能公司（ai）宣布了其人工智能应用程序的搜索工具，使人们更容易在他们的平台上查找信息，这在一定程度上也是基于Open ai的工具。芯片制造商英伟达（Nvidia）和高级微设备公司（AMD）都表示，人工智能将是他们未来战略的核心。　　在多个市场与Salesforce竞争的微软（Microsoft）是迄今为止开放式AI的最大投资者，并承诺在其软件业务中包含生成式人工智能功能。下周，微软首席执行官萨蒂亚·纳德拉将主持一场虚拟客户活动，主题是“人工智能工作的未来”。

金融界2023-03-08

ChatGPT热潮来袭！大厂大语言模型卷起来了

　　据了解，ChatGPT本质上是一种大型语言模型，都是通过深度学习方法训练出来的，可以根据输入的文本生成单词、句子、或者段落的人工智能产品。近年来，自然语言处理技术取得了长足的发展，其中大型语言模型的出现成为了颠覆性的进步。ChatGPT的竞争，背后实际是大模型的竞争，它们争夺着更大的参数量、更高的计算速度和更强的语言处理能力。　　ChatGPT概念的火热，也让互联网、科技大厂们或主动或被动的官宣了自身相关技术领域、尤其是底层大模型方面的布局。　　今年2月，百度官宣正在做类似ChatGPT的项目，并宣布了项目的名字——“文心一言”。公布消息当日，百度港股股价大涨15％。　　此后，在百度财报会议上，李彦宏表示，百度人工智能能力在大型语言模型和人工智能基础模型中构筑了护城河。不久前，百度宣布将在3月16日围绕其生成式AI产品“文心一言”召开新闻发布会。　　与此同时，腾讯也透露了在ChatGPT和AIGC相关方向上已有布局。腾讯方面表示，腾讯持续投入AI等前沿技术的研发，基于此前在AI大模型、机器学习算法以及NLP等领域的技术储备，将进一步开展前沿研究及应用探索。　　另外，阿里方面也确认阿里达摩院正在研发类ChatGPT的对话机器人，目前处于内测阶段。　　美国国家工程院外籍院士、北京智源人工智能研究院理事张宏江公开表示，ChatGPT和AIGC（生成式人工智能）技术爆火背后，代表着人工智能大模型进入一个新的技术范式，同时也是第三波 AI 浪潮经过十几年发展之后一个非常重要的拐点。

金融界2023-03-07

ChatGPT 等 LLM 使用强化学习而非监督学习进行微调的 5 个原因

生成性人工智能在过去几个月的巨大成功，大型语言模型（LLM）正在不断改进。这些模型正在为一些值得注意的经济和社会转型做出贡献。OpenAI 开发的 ChatGPT 是一个自然语言处理模型，允许用户生成有意义的文本。不仅如此，它还可以回答问题，总结长段落，编写代码和电子邮件等。其他语言模型，如 Pathways 语言模型（PaLM）、Chinchilla 等，在模仿人类方面也有很好的表现。大型语言模型使用强化学习（reinforcement learning，RL）来进行微调。强化学习是一种基于奖励系统的反馈驱动的机器学习方法。代理（agent）通过完成某些任务并观察这些行动的结果来学习在一个环境中的表现。代理在很好地完成一个任务后会得到积极的反馈，而完成地不好则会有相应的惩罚。像 ChatGPT 这样的 LLM 表现出的卓越性能都要归功于强化学习。 ChatGPT 使用来自人类反馈的强化学习（RLHF），通过最小化偏差对模型进行微调。但为什么不是监督学习（Supervised learning，SL）呢？一个基本的强化学习范式由用于训练模型的标签组成。但是为什么这些标签不能直接用于监督学习方法呢？人工智能和机器学习研究员 Sebastian Raschka 在他的推特上分享了一些原因，即为什么强化学习被用于微调而不是监督学习。不使用监督学习的第一个原因是，它只预测等级，不会产生连贯的反应；该模型只是学习给与训练集相似的反应打上高分，即使它们是不连贯的。另一方面，RLHF 则被训练来估计产生反应的质量，而不仅仅是排名分数。 Sebastian Raschka 分享了使用监督学习将任务重新表述为一个受限的优化问题的想法。损失函数结合了输出文本损失和奖励分数项。这将使生成的响应和排名的质量更高。但这种方法只有在目标正确产生问题-答案对时才能成功。但是累积奖励对于实现用户和 ChatGPT 之间的连贯对话也是必要的，而监督学习无法提供这种奖励。不选择 SL 的第三个原因是，它使用交叉熵来优化标记级的损失。虽然在文本段落的标记水平上，改变反应中的个别单词可能对整体损失只有很小的影响，但如果一个单词被否定，产生连贯性对话的复杂任务可能会完全改变上下文。因此，仅仅依靠 SL 是不够的，RLHF 对于考虑整个对话的背景和连贯性是必要的。监督学习可以用来训练一个模型，但根据经验发现 RLHF 往往表现得更好。2022 年的一篇论文《从人类反馈中学习总结》显示，RLHF 比 SL 表现得更好。原因是 RLHF 考虑了连贯性对话的累积奖励，而 SL 由于其文本段落级的损失函数而未能很好做到这一点。像 InstructGPT 和 ChatGPT 这样的 LLMs 同时使用监督学习和强化学习。这两者的结合对于实现最佳性能至关重要。在这些模型中，首先使用 SL 对模型进行微调，然后使用 RL 进一步更新。SL 阶段允许模型学习任务的基本结构和内容，而 RLHF 阶段则完善模型的反应以提高准确性。来源：金色财经

金色财经2023-03-07

竞争加速！微软宣布将ChatGPT技术加入Power应用开发平台，大型科技公司迎来人工智能战

公司合作，必应搜索引擎会构建于一个新的大型语言模型上，比ChatGPT更强大。更新后的必应在传统搜索结果的右侧提供了一个带有注释的AI答案框。用户还可点击新出现的“聊天”标签，用一个类似于ChatGPT的聊天界面取代网页。微软在发布会上作了相应演示，例如生成定制的餐饮计划和推荐的旅游行程。OpenAI首席执行官萨姆·阿尔特曼表示，必应的模型借鉴了OpenAI的ChatGPT和GPT-3.5的关键经验，从而创造出一些“更快、更有能力”的东西。

迪星妮2023-03-07

美股开盘：纳指涨近50点中概教育股多数下挫高途、有道跌近4%

LM）相比，Kosmos-1属于多模式大型语言模型（MLLM），可以像人类思维一样来处理文本、音频、图像和视频等内容。　　苹果iPhone 15 Pro前玻璃面板曝光，Mac产品线或将全面更新　　有博主放出了苹果iPhone15 Pro的玻璃面板，看起来新机会将iPhone 14Pro系列独有的打孔+灵动岛设计延续到iPhone15全系列中。此外，新机依然将采用弧形边框，而且正面边框似乎稍微增加了一丝丝曲率，与之前大量爆料和泄露基本吻合。　　此外，知名苹果爆料专栏作家Mark Gurman表示，苹果正准备推出下一代Mac笔记本电脑和台式机，其中也包括一款新iMac，可能会采用即将推出的M3处理器。　　马斯克旗下脑机接口公司Neuralink的人体试验申请遭FDA拒绝　　美国食品药物管理局（FDA）已经拒绝了马斯克创立的脑机接口公司Neuralink进行脑机接口人体试验的申请，原因为安全风险大。该消息来自7名Neuralink现任和前任员工。不过报道称，FDA的第一次拒绝并不意味着Neuralink不会进入人体试验。数据显示，过去三年的各类植入设备人体试验中，首次向FDA申请的批准通过比例约为三分之二。如果把二次申请也算上，那么85％的申请在第二次尝试时才获得批准。　　谷歌、Meta起诉韩国数据保护监管机构的裁决　　据韩联社，业内消息人士周一表示，谷歌和Meta Platforms平台已对韩国数据保护监管机构的裁决提起诉讼，该裁决将对非法收集个人数据的全球科技巨头进行罚款。2022年9月，韩国个人信息保护委员会（PIPC）对谷歌和Meta合计处以1000亿韩元（约7700万美元）的罚款，原因是这两家公司未经用户同意收集个人信息并将其用于个性化在线广告和其他目的。　　Silvergate Capital正在评估其作为持续经营企业的能力　　Silvergate Capital公告称，无法在3月16日的期限之前向SEC提交10-K年报。同时警告可能存在资本金不足的问题，正在评估一系列后续事件对公司持续经营能力的影响。该公司公告称，无法及时提交年度10-K报告，该公司目前正面临着一场金融危机，这场危机是由其客户之一的加密交易所FTX倒闭引发的。　　瑞信大股东Harris Associates已彻底退出　　Harris Associates国际股票业务首席投资官David Herro已卖出该公司所持的所有$瑞士信贷（CS.US）$集团股份。Herro在邮件中表示，在过去三、四个月里退出对瑞信的投资。Harris Associates此前多年为瑞信最大股东，但在2022年底前将持股比例从10％减半至5％。　　传软银旗下Arm计划今年赴美上市，筹资至少80亿美元　　据报道，软银集团旗下Arm公司计划在美国进行IPO，筹资至少80亿美元。知情人士透露，这家英国芯片设计公司预计将在4月底秘密提交IPO文件，预计将于今年晚些时候上市，具体时间将根据市场情况决定。据报道，此次上市将使Arm成为过去10年美国规模最大的IPO之一，全球投行对该公司的估值区间从300亿美元到700亿美元不等。　　京东正式加入“百亿补贴”大战　　京东“百亿补贴”于3月6日0时全面上线京东App，亮相首页首屏正中位置，较原计划（3月6日晚8时）提早了20小时。　　教育股盘前普跌，网传恢复发放课外辅导牌照为谣言　　教育股盘前普跌，高途跌超4％，新东方跌近3％，好未来跌近2％。消息面上，“中国将向教培公司发放牌照恢复课外辅导”为标题的图片在网上流传。中国民办教育协会相关负责人表示，该信息纯属谣言，系别有用心之人恶意炒作。此消息系2021年11月10日的报道，且内容为对政策的误读误解，与“双减”政策不符。　　携程网今日盘后发布财报，市场预计亏损大幅收窄　　携程网将于03月06日美股盘后发布财报。市场预期携程第四季度每股收益为亏损0.02美元，与2021年同期的亏损0.24美元相比大幅收窄。

金融界2023-03-06

天玑科技：深圳市杉岩数据技术有限公司系公司全资子公司的参股公司，公司无应披露而未披露信息

言处理实验室消息，日前国内第一个对话式大型语言模型在上海即将展开内测。请谈谈天玑科技在自然语言处理方面具备什么核心科技？是否有做大做强的愿景？天玑科技董秘：公司已使用NLP相关技术在对话聊天等语音语意分析场景中进行了试点使用，并使用NLP技术和运营商联合研发反欺诈平台，感谢您对公司的关注！投资者：公司参与了哪些东数西算（算力中心）的运维？谢谢天玑科技董秘：您好，公司正积极参与运营商，金融行业等的数据中心集成、云计算基础平台建设、大数据运营、人工智能一体化平台开发、新型融合算力网络调度平台设计等各领域方向业务拓展，感谢您对公司的关注和建议！天玑科技2022三季报显示，公司主营收入2.6亿元，同比下降8.26%；归母净利润-1961.54万元，同比下降205.87%；扣非净利润-2817.14万元，同比下降355.5%；其中2022年第三季度，公司单季度主营收入1.1亿元，同比上升15.38%；单季度归母净利润-40.01万元，同比下降146.74%；单季度扣非净利润-197.66万元，同比下降121.62%；负债率13.21%，投资收益-218.67万元，财务费用-1007.48万元，毛利率31.64%。该股最近90天内无机构评级。近3个月融资净流出3625.81万，融资余额减少；融券净流入0.0，融券余额增加。天玑科技（300245）主营业务：IT支持与维护服务、IT外包服务、IT专业服务、IT软件服务、软硬件销售、自有产品销售以上内容由证券之星根据公开信息整理，与本站立场无关。证券之星力求但不保证该信息（包括但不限于文字、视频、音频、数据及图表）全部或者部分内容的的准确性、完整性、有效性、及时性等，如存在问题请联系我们。本文为数据整理，不对您构成任何投资建议，投资有风险，请谨慎决策。

证券之星2023-03-06

24小时热点