| 成绩 | 描画 | 处理方案及思绪 |
| 知识量有限 |
无法"在外部世界举动",不论是搜索网页、调用 API 还是查找数据库 | 方案1. LLM+检索加强 :LLM的基础上经过检索等额外提供范畴数据信息;
【处理方案】:LLM+检索加强:OpenAI提出了chatgpt-retrieval-plugin、WebGPT,开源社区提出了DocsGPT、ChatPDF、基于langchain的检索加强chatbot等等一系列处理方案 |
| 效果成绩 |
复杂逻辑推理才能不佳 对未见过的知识语料回答效果差 | 1、大模型+上下文学习技术(In-Context Learning), 设计合理的prompt模版 2、大模型+思想链提示(Chain-of-Thought Prompting),引入推理途径作为提示,激发大模型按照这种推理的形式生成出合理的结果 3、大模型+高质量标注样本+指令微调(PEFT技术),提高模型对特定义务的泛化才能 |
| 延迟成绩 |
延迟次要受两个要素影响:模型和生成的令牌数量。 | 1、流式传输。央求中的设置stream: true使模型在令牌可用时立刻末尾前往令牌,而不是等待生成残缺的令牌序列。它不会改变获取一切令牌的工夫,但它会减少我们想要显示部分进度或将中止生成的运用程序的第一个令牌的工夫。这可以是更好的用户体验和 UX 改进,因此值得尝试流式传输。 2、基础设备。openai 美国。存在跨国网络延时 3、减小token 。例如运用更短的提示。
|
| 资源和功能 |
部署资源,尤其是C端投放有高并发低延时要求,需求投入宏大成本在线serving | 1、不训练基座模型,微调选择的基座模型选几B~几十B左右的LLM (如ChatGLM-6B) 2、曲线救国,线上不直接运用大模型serving,一种是应用大模型的embedding, 另一种是应用大模型来停止更多样本标注,来辅助小模型学习 |
| 成绩 | 描画 | 处理方案及思绪 |
| 安全与合规 | 如政治敏感、违法犯罪、伦理道德等成绩,尤其是LLM直接面向C端场景 | 1、建设安全校验模块才能 2、B端:生成素材数据清洗&人工审核 3、C端:生成式大模型必须经过SFT、RLHF等微调技术对大模型做适配微调,对齐人类的价值观; |
| 政策成绩 | 对于类GPT才能作为C端运用的开放程度需受限于政策 | 1、上线前,找安全同窗评价 |
| 欢迎光临 职贝云数AI新零售门户 (https://www.taojin168.com/cloud/) | Powered by Discuz! X3.5 |