如何构建银行离线知识库模型?

目前使用langchain-chatglm2-6b模型加载本地知识库但效果并不理想,是否需要对chatglm2-6b模型微调或者有无更好的模型可以使用。

参与6

1同行回答

FishWangFishWang课题专家组算法工程师某证券公司
1. 效果不理想需要看下具体的case分析出到底模型哪些知识没有学习到,进行针对性的知识补给和优化。2. 任何一个真实业务场景,单纯依赖裸模肯定是不行的,一般都需要进行微调。3. 目前大模型的效果与参数量息息相关,可以试下13B或者130B的大模型,总体上效果一般会更好。...显示全部

1. 效果不理想需要看下具体的case分析出到底模型哪些知识没有学习到,进行针对性的知识补给和优化。
2. 任何一个真实业务场景,单纯依赖裸模肯定是不行的,一般都需要进行微调。
3. 目前大模型的效果与参数量息息相关,可以试下13B或者130B的大模型,总体上效果一般会更好。

收起
证券 · 2023-09-18
浏览406

ChatGPT 回答

针对您提出的问题,我可以给出以下建议:

  1. 首先,需要对加载本地知识库的过程进行仔细的排查和分析,确定问题出现的具体原因。可能是因为知识库的数据质量不高,或者是因为模型的参数设置不合适等原因导致的效果不佳。因此,需要对这些方面进行仔细的排查和分析,才能确定是否需要对chatglm2-6b模型进行微调。
  2. 如果经过排查和分析后,发现确实需要对chatglm2-6b模型进行微调,可以考虑使用一些针对银行行业的预训练模型,如BERT、GPT等,进行微调。这些模型已经在银行行业的自然语言处理任务上取得了不错的效果,可以作为chatglm2-6b模型的替代方案。
  3. 此外,还可以考虑使用一些针对银行行业的知识图谱,如银行产品知识图谱、银行业务知识图谱等,来辅助chatglm2-6b模型的工作。这些知识图谱可以提供更加精准的银行业务知识和语义信息,从而提高模型的准确性和效率。
  4. 最后,需要注意的是,银行行业的自然语言处理任务非常复杂,需要综合运用多种技术手段和方法,才能取得良好的效果。因此,在使用chatglm2-6b模型或其他模型进行银行行业的自然语言处理任务时,需要结合具体的业务场景和需求,综合运用多种技术手段,才能取得最佳的效果。

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2023-09-13
  • 关注会员:2 人
  • 问题浏览:1099
  • 最近回答:2023-09-18
  • X社区推广