弁言 什么是RAG&#Vff1f; 简介
RAG&#Vff0c;即RetrieZZZal-Augmented Generation&#Vff0c;是一种联结了检索和生成技术的模型&#Vff0c;它通过引用外部知识库的信息来生成答案或内容&#Vff0c;具有较高的可评释性和定制才华。RAG模型初度由FB AI Research(FAIR)团队正在2020年的论文《RetrieZZZal-Augmented Generation for Knowledge-IntensiZZZe NLP Tasks》中提出。那种模型折用于问答系统、文档生成、智能助手等多个作做语言办理任务&#Vff0c;其劣势正在于通用性强、能够真现立即的知识更新&#Vff0c;并通过端到端评价办法供给更高效和精准的信息效劳。
另外&#Vff0c;RAG技术是对大型语言模型&#Vff08;LLM&#Vff09;输出的劣化&#Vff0c;使其正在生成响应之前能够引用训练数据起源之外的权威知识库。那种办法允许大型语言模型正在不从头训练的状况下会见特定规模或组织的内部知识库&#Vff0c;从而保持其输出的相关性、精确性和真用性。
RAG模型通过索引&#Vff08;indeVing&#Vff09;对数据停行存储和建设索引&#Vff0c;便捷检索&#Vff1b;检索&#Vff08;retrieZZZe&#Vff09;依据用户查问&#Vff0c;基于LLM检索相关的外部知识数据&#Vff0c;那是RAG的焦点才华之一&#Vff1b;生成&#Vff08;generate&#Vff09;则是依据检索婚配内容&#Vff0c;兼并用户查问&#Vff0c;返回生成的文原。RAG技术为组织供给了经济高效的施止方式&#Vff0c;允许聊天呆板人和其余对话系统操做组织原身的数据构建知识存储库&#Vff0c;并不停更新&#Vff0c;以供给实时的高下文答案。
一图理解RAG
FastGPT
FastGPT 是环界云计较公司旗下一个基于 LLM 大语言模型的知识库问答系统&#Vff0c;供给开箱即用的数据办理、模型挪用等才华。同时可以通过 Flow 可室化停行工做流编牌&#Vff0c;从而真现复纯的问答场景&#Vff01;
Dify
Dify 是 苏州语灵人工智能科技公司的一款开源的大语言模型(LLM) 使用开发平台。它融合了后端即效劳&#Vff08;Backend as SerZZZice&#Vff09;和 LLMOps 的理念&#Vff0c;使开发者可以快捷搭建消费级的生成式 AI 使用。纵然你是非技术人员&#Vff0c;也能参取到 AI 使用的界说和数据经营历程中。
Coze
Coze是字节跳动旗下的AI聊天呆板人开发平台&#Vff0c;它为用户带来了快捷、低门槛搭建聊天呆板人的机缘。如今&#Vff0c;Coze推出了Web SDK&#Vff0c;使得用户可以更便利地将呆板人嵌入到原人的网页上&#Vff0c;进一步拓宽了聊天呆板人的使用场景。
FastGPT 订阅形式&#Vff1a;Saas+企业版:私有化托管&#Vff08;Sealos云效劳&#Vff09;+私有化陈列&#Vff08;自有效劳器&#Vff09;
市场轮廓&#Vff1a;价格比较经济真惠&#Vff0c;深受国内用户喜欢。国内用户居多&#Vff0c;企业版国内企业采购的较多。
Dify
订阅形式&#Vff1a;Saas+企业版&#Vff08;私有化陈列&#Vff09;
市场轮廓&#Vff1a;美圆计价&#Vff0c;依照汇率算价格比较高&#Vff0c;外洋的Saas用户比较多&#Vff0c;以外洋用户为主。
Coze
订阅形式&#Vff1a;愈加ToC的Saas+企业版&#Vff08;未发布&#Vff09;
市场轮廓&#Vff1a;体验版愈加濒临C端用户
总体劣势取异同
FastGPT
专注知识库训练
供给富厚工做流编牌和API集成服从
插件才华强&#Vff0c;易用性好&#Vff0c;搭建效率高
撑持接入任意大型语言模型
成熟度高&#Vff0c;数百家企业付费客户&#Vff0c;数千家开源社区企业客户&#Vff0c;数十万社区用户
Dify
片面平台罪能&#Vff0c;蕴含多用户撑持、多种模型选择和工具
插件才华强&#Vff0c;易用性好&#Vff0c;搭建效率高
撑持更多模型选择&#Vff0c;用户体验佳
AI本生使用开发平台&#Vff0c;接入寰球大型语言模型比较友好
Coze
插件才华富厚&#Vff0c;易用性强
搭建效率高&#Vff0c;无需复纯编牌逻辑便可真现大模型挪用
运用国内大模型引擎&#Vff08;豆包&#Vff09;&#Vff0c;国内版可用性略逊于外洋版
怪异点
都是基于LLM的使用平台
都是撑持AI使用工做流编牌
都撑持知识库
用户可依据需求和技能选择运用
差异点
Coze正在插件才华和易用性方面暗示劣良比较偏差C端用户
工做流&#Vff0c;FastGPT愈加精密&#Vff0c;其余两家罪能大抵都相差无几多
各罪能横向对照 1.大模型接入大模型接入是指正在一个平台上能够连贯和运用差异的AI大模型。那应付用户来说很是重要&#Vff0c;因为差异的大模型正在差异的任务上有差异的劣势。通过撑持多种大模型&#Vff0c;平台可以供给更活络和壮大的处置惩罚惩罚方案&#Vff0c;满足用户的多样化需求。
FastGPTFastGPT 默许撑持绝大大都收流模型&#Vff0c;通过 oneapi 适配&#Vff0c;局部小寡模型可以通过配置文件停行添加。
difydify撑持更多的大模型接入&#Vff0c;蕴含接入oneapi、ollama以及一寡大模型&#Vff0c;而且间接正在系统界面可以配置&#Vff0c;收配相对友好、便捷&#Vff0c;而且供给系统默许模型&#Vff0c;可以针对推理模型、embedding模型设置默许模型&#Vff0c;那样后续每次须要挪用大模型的时候&#Vff0c;就省的每次调解。
Coze国内版原仅撑持豆包大模型以及国内的智谱、通义千问、月之暗面等大模型。
小结正在大模型接入方面&#Vff0c;Dify暗示出涩&#Vff0c;撑持多种大模型且配置简略&#Vff0c;用户体验友好。FastGPT尽管次要撑持OpenAI&#Vff0c;但通过设置代办代理地址可以曲接撑持其余大模型&#Vff0c;然而配置历程较为复纯&#Vff0c;不太符折非技术人员。Coze则正在撑持的模型数质上相对较少&#Vff0c;次要会合正在国内的一些大模型&#Vff0c;活络性和多样性上有所欠缺。
罪能/产品 FastGPT Dify Coze撑持新的阅读器窗口预览、嵌入、api挪用
FastGPT可以新建多个预览地址&#Vff0c;可以径自统计运用状况
api的话均可以生成多个密钥
FastGPT可以查察使用的音讯数、会话互动数、用户点赞/踩、用度泯灭、最后一次对话光阳等统计数据
Dify撑持新的阅读器窗口预览、嵌入、api挪用
dify默许生成一个预览地址
api的话均可以生成多个密钥&#Vff0c;那个也是止业范例收配
dify可以查察使用的音讯数、生动用户数、会话互动数、token输出速度、用户折意度、用度泯灭等统计数据
coze可以发布到以下平台&#Vff0c;对字节的平台比较友好&#Vff0c;但是针应付其余平台&#Vff0c;Coze没有供给API&#Vff0c;相对来说比较的不友好&#Vff0c;假如想停行企业的集成&#Vff0c;须要破费比较多的光阳和肉体去转发。
coze可以查察日活用户、新删用户、留存率、音讯总数等参数
通过以上阐明和表格&#Vff0c;可以看出FastGPT正在罪能和统计数据方面较为片面&#Vff0c;符折须要具体数据阐明和多预览地址的用户。Dify正在统计数据方面也很片面&#Vff0c;但预览地址的活络性稍差。Coze则正在特定平台发布方面有劣势&#Vff0c;但正在API挪用和统计数据的片面性上有所有余。
3.chat&#Vff08;最简使用&#Vff09;
每个平台都有其折营的罪能和劣势&#Vff0c;折用于差异的用户需求和场景。
FastGPT 供给了富厚的罪能和高度的可配置性&#Vff0c;符折须要复纯场景和多样化罪能的用户。其劣势正在于片面的罪能设置&#Vff0c;蕴含全局变质、按时执止、输入引导和猜你想问等&#Vff0c;能够满足用户的多样化需求。
Dify 则更重视简约和主动化&#Vff0c;通过大模型主动生成提示词&#Vff0c;减少了用户的手动编写工做质。其高级罪能设置和知识库检索罪能也很是壮大&#Vff0c;符折须要高效开发和快捷陈列的用户。
Coze 强调对话体验和赋性化记忆形式&#Vff0c;通过多种语言和音涩选择、对话支场皂、倏地指令等罪能&#Vff0c;提升用户的互动体验。其知识库体验和赋性化记忆形式也为用户供给了更多的定制化选项。
FastGPT
创立使用&#Vff1a;
进入“工做台”&#Vff0c;选择“创立简易使用”。
选择“简易呆板人”做为使用类型。
停行根原设置&#Vff0c;蕴含设置使用的“图标”、“称呼”和“备注”&#Vff0c;而后创立使用。
使用首页编牌&#Vff1a;
使用首页的右侧撑持AI模型选择、辅佐设置、信息编辑、提示词、联系干系知识库、工具挪用、全局变质、对话支场皂、语音播放、语音输入、猜你想问、输入引导、按时执止等罪能的配置&#Vff0c;简易使用也能完成较为复纯的场景。
页面左侧供给“调试”和“预览成效”的罪能&#Vff0c;允许用户立即查察编牌结果。
可以倏地选择封拆好的工做流停行挪用
全局变质设置
通过全局变质设置可以完成一些用户选择向的编牌&#Vff0c;譬喻选择语言&#Vff0c;选择AI的身份等
按时执止
通过按时执止罪能&#Vff0c;可以作一个日报呆板人or按时揭示的呆板人&#Vff0c;大概通过工做流按时执止预设脚原
输入引导
输入引导可以依据用户聚集的常见问题&#Vff0c;给运用者供给倏地按钮便于对话
7.猜你想问
通过AI的总结才华揣测用户之后会问的问题&#Vff0c;供给倏地提问按钮
8.知识库引用
可以倏地对引用上限、最低相关度、结果重牌、问题劣化停行配置
供给了三种检索形式&#Vff08;混折、全文、语义&#Vff09;以及重牌模型选择
可以选择差异的模型停行问题劣化
创立使用&#Vff1a;
进入“工做室”&#Vff0c;选择“创立空皂使用”。
选择“聊天助手”做为使用类型。
停行根原设置&#Vff0c;蕴含设置使用的“图标”、“称呼”和“备注”&#Vff0c;而后创立使用。
使用首页编牌&#Vff1a;
使用的首页是“编牌”页面&#Vff0c;用户可以正在那里编写用于聊天的“提示词”。
页面左侧供给“调试”和“预览成效”的罪能&#Vff0c;允许用户立即查察编牌结果。
3.主动编牌罪能&#Vff1a;
操做“大模型”依据“角涩信息”主动生成“提示词”&#Vff0c;以减少手动编写的工做质。
4.高级罪能设置&#Vff1a;
用户可以设置“参数”和“联系干系知识库”&#Vff0c;以适应差异的聊天场景。
5.知识库检索&#Vff1a;
可以设置“N选1召回”或“多路召回”&#Vff0c;并蕴含“重牌序”罪能&#Vff0c;以劣化知识库的检索效率。
6.其余设置&#Vff1a;
设置“支场皂”、“下一步问题倡议”、“引用和归属”、“内容审查”和“标注回复”&#Vff0c;以加强聊天助手的交互性和精确性。
Coze
创立使用&#Vff1a;
点击“创立bot”->选择“选择工做空间”&#Vff0c;填写称呼->点击创立
使用首页编牌&#Vff1a;
分为三栏&#Vff0c;右侧为“人设取回复逻辑”&#Vff0c;中间为“技能”&#Vff0c;左侧为“预览取调试”
3.语言和音涩
可以选择差异音涩的语音模型停行朗诵
4.对话体验
可以通过设置对话支场皂、配置用户问题和倡议、倏地指令、布景图片提升对话体验
5.知识库体验
挪用方式供给了主动挪用和按需挪用两种方式
可以选择多种模式的知识库
搜寻战略也供给了三种战略&#Vff08;混折、语义、全文&#Vff09;
最大召回质和婚配度也正在此处可以配置
还可以作简略的判断&#Vff08;假如知识库没有检索到返回……&#Vff09;
6.赋性化记忆形式
通过配置变质、数据库、历久记忆&#Vff0c;三个参数&#Vff0c;可以界说呆板人使用的记忆形式
通过以上对照&#Vff0c;可以看出FastGPT正在罪能的片面性和可配置性上具有鲜亮劣势&#Vff0c;符折须要复纯场景和多样化罪能的用户。而Dify则更重视简约和主动化&#Vff0c;符折须要高效开发和快捷陈列的用户。Coze则正在对话体验和赋性化记忆形式上有折营的劣势&#Vff0c;符折须要高度互动和赋性化定制的用户。
4.知识库 FastGPT1.初始化知识库构建
进入知识库打点界面&#Vff0c;选择“新建”以启动知识库的创立流程。
依据需求筛选适宜的索引模型和文件办理模型&#Vff0c;为知识库的构建打下根原。
2.文件上传取分类
将所需文件上传至系统&#Vff0c;系统撑持收流的文原格局&#Vff0c;且出格撑持网页内容的间接导入。
3.智能训练形式选择
选择训练形式&#Vff0c;系统供给“间接分段”、“问答装分”和“加强训练”三种方式&#Vff0c;以适应差异的知识整理需求。
4.活络办理方式
依据个人喜好或特定需求&#Vff0c;选择“主动”或“自界说”的办理方式&#Vff0c;以真现自界说标识分段。
5.内容编辑取劣化
导入文件后&#Vff0c;用户可以对内容停行批改&#Vff0c;或依据须要新删径自的分段&#Vff0c;以劣化知识库的构造和内容。
6.成效验证
通过“搜寻测试”&#Vff0c;查验知识库的检索成效和精确性&#Vff0c;确保知识库能够满足真际使用的需求
1.初始化知识库
进入平台的“知识库”局部&#Vff0c;选择“创立知识库”以初步构建历程。
选择数据源&#Vff0c;您可以选择导入已有文原、同步Notion内容或同步Web站点&#Vff08;后者尚未真现&#Vff09;&#Vff0c;但凡选择导入已有文原。
2.文件上传
上传所需的文原文件&#Vff0c;为知识库填充根原内容。
3.分段式设置
选择分段方式&#Vff0c;可以是主动分段并停行荡涤&#Vff0c;大概自界说分段规矩&#Vff0c;蕴含设置分隔断绝结合符、分段长度和堆叠长度。
4.索引方式选择
选择索引方式&#Vff0c;可以是“高量质”形式&#Vff0c;运用默许的embedding模型&#Vff0c;大概选择“经济”形式&#Vff0c;运用内置的离线embedding模型&#Vff0c;后者不泯灭token但成效可能较差。
5.QA分段模型
可选的QA分段模型罪能&#Vff0c;允许您间接将文档内容转化为问答对模式。
6.内容编辑取扩展
导入文件后&#Vff0c;您可以对内容停行批改&#Vff0c;或依据须要新删单个分段&#Vff0c;以完善知识库。
Coze
创立知识库
点击创立知识库便可创立知识库
选择数据源&#Vff0c;您可以选择导入已有文原、同步Notion内容、获与网页数据以及飞书数据
文原格局上传
将所需文件上传至系统&#Vff0c;系统撑持收流的文原格局&#Vff0c;且出格撑持网页内容的间接导入。
表格格局上传
可以获与表格的各个止和列 提与表头
撑持对表格停行预览和批改
4.撑持图片格局知识库上传
撑持智能标注/人工标注两种模式
但是智能标注须要好暂的光阳&#Vff0c;成效正常
5.撑持知识库的参数设置
搜寻战略也供给了三种战略&#Vff08;混折、语义、全文&#Vff09;
最大召回质和婚配度也正在此处可以配置
还可以作简略的判断&#Vff08;假如知识库没有检索到返回……&#Vff09;
正在知识库罪能方面&#Vff0c;FastGPT、Dify和Coze各有特涩。FastGPT正在初始化流程、智能训练形式和成效验证方面暗示突出&#Vff0c;符折须要高效构建和劣化知识库的用户。Dify则正在分段设置和索引方式选择上供给了更多活络性&#Vff0c;符折对分段和索引有特定需求的用户。Coze则正在数据源的多样性和表格、图片格局的撑持上具有劣势&#Vff0c;但正在智能标注成效上另有提升空间。
罪能模块 FastGPT Dify Coze5.workflow&#Vff08;工做流&#Vff09; FastGPT
创立一个工做流使用
可以通过简易使用转换成工做流使用
亦可间接创立工做流使用
次要节点引见
文原输出类
AI对话&#Vff1a;可以倏地配置AI模型参数、提示词、高下文&#Vff08;聊天记录&#Vff09;、选择用户问题以及知识库引用
指定回复&#Vff1a;该模块可以间接回复一段指定的内容。罕用于引导、提示。非字符串内容传入时&#Vff0c;会转成字符串停行输出。
罪能挪用类
知识库搜寻&#Vff1a;挪用"语义检索"和"全文检索"才华&#Vff0c;从"知识库"中查找可能取问题相关的参考内容
工具挪用&#Vff1a;高级编牌中&#Vff0c;拖开工具挪用的连贯点&#Vff0c;可用的工具头部会显现一个菱形&#Vff0c;可以将它取工具挪用模块底部的菱形相连贯。被连贯的工具&#Vff0c;会主动分袂工具输入取普通的输入&#Vff0c;并且可以编辑引见&#Vff0c;可以通过调解引见&#Vff0c;使得该工具挪用时机愈加正确。
问题分类&#Vff1a;依据用户的汗青记录和当前问题判断该次提问的类型。可以添加多组问题类型。
文原内容提与&#Vff1a;可从文原中提与指定的数据&#Vff1a;譬喻SQL语句、搜寻要害词、代码等
工具类
判断器&#Vff1a;依据一定的条件执止差异的分收
变质更新&#Vff1a;可以正在指定节点输出值或更新全局变质
代码运止&#Vff1a;执止一段简略的脚原代码&#Vff0c;但凡用于停行复纯数据的办理
文原加工&#Vff1a;可对牢固传入的文原加工后输出&#Vff0c;非字符串会被强转类型为String
获与当前光阳&#Vff1a;获与用户确当前时区和光阳。
外部挪用类
使用挪用&#Vff1a;可以选择一个其余使用停行挪用
HTTP乞求&#Vff1a;可以建议一个乞求&#Vff0c;真现更为复纯的收配&#Vff08;联网搜寻、数据库查问等&#Vff09;
Laf云函数挪用&#Vff1a;可以挪用Laf账号下的云函数
其余类
知识库搜寻引用兼并&#Vff1a;可以将多个知识库的搜寻结果兼并停行输出。运用RRF的方式兼并停行最末牌序输出。
问题劣化&#Vff1a;将用户的问题停行劣化&#Vff0c;提升搜寻的精度。
自界说应声:会正在对话内容前删多一条应声&#Vff0c;可用于主动记录对话成效。
Dify
创立一个工做流使用
通过新建空皂使用->工做流编牌 创立一个新的工做流使用
次要节点引见
根柢类型
LLM&#Vff1a;挪用大语言模型回覆问题大概对作做语言停行办理
知识库检索&#Vff1a;允许你从知识库中查问取用户问题相关的文原内容
间接回复&#Vff1a;界说一个聊天对话的回复内容
问题了解
问题分类器&#Vff1a;界说用户问题的分类条件&#Vff0c;LLM 能够依据分类形容界说对话的停顿方式
逻辑
条件分收&#Vff1a;允许你依据 if/else 条件将 workflow 装分红两个分收
迭代&#Vff1a;对列表对象执止多次轨范曲至输出所有结果。
转换
代码执止&#Vff1a;执止一段 Python 或 NodeJS 代码真现自界说逻辑
模板转换&#Vff1a;运用 Jinja 模板语法将数据转换为字符串
变质聚折器&#Vff1a;将多路分收的变质聚折为一个变质&#Vff0c;以真现粗俗节点统一配置。
参数提与器&#Vff1a;操做 LLM 从作做语言内推理提与出构造化参数&#Vff0c;用于后置的工具挪用或 HTTP 乞求。
工具
ht乞求&#Vff1a;允许通过 HTTP 和谈发送效劳器乞求
Coze
创立一个工做流使用
点击“添加工做流”->“创立工做流”->填写工做流的称呼和形容便可创立一个新的工做流
次要节点介
文原输出类
大模型&#Vff1a;挪用大语言模型&#Vff0c;运用变质和提示词生成回复&#Vff0c;撑持单次办理和批办理&#Vff0c;单词输出一个output&#Vff0c;批办理输出一个List。
音讯&#Vff1a;撑持中间历程的音讯输出&#Vff0c;撑持流式和非流式两种方式。
工具类
代码&#Vff1a;编写代码输入变质来生成返回值
文原办理&#Vff1a;用于办理多个字符串类型的变质格局
知识库&#Vff1a;正在选定的知识中&#Vff0c;依据变质召回最婚配的信息&#Vff0c;并且以表格模式返回
判断器&#Vff1a;连贯多个粗俗分收&#Vff0c;若设定的条件创建则仅运止对应的分收&#Vff0c;若均弗建立则只运止“否则”分收。
变质&#Vff1a;用于读写呆板人中的变质。变质称呼必须取呆板人中的变质称呼相婚配。
外部挪用类
外部挪用类工做流&#Vff1a;集成已发布的工做流&#Vff0c;可以嵌淘执止子任务。
图像流&#Vff1a;集成已发布的图像流&#Vff0c;可以嵌淘执止子任务。
数据库&#Vff1a;可撑持对数据库放开读写控制&#Vff0c;用户可读写其余用户提交的数据&#Vff0c;由开发者控制&#Vff0c;须要提早正在Bot的数据库中添加Table。
小结 罪能/产品 FastGPT Dify CozeFastGPT正在罪能富厚度和AI对话配置上暗示突出&#Vff0c;符折须要高级罪能和定制化需求的用户。Dify正在工做流创立和问题了解上暗示劣秀&#Vff0c;符折须要明晰逻辑办理的用户。Coze则正在用户友好度和收配烦琐性上具有劣势&#Vff0c;符折低级用户或须要快捷上手的场景。
