日期:
来源:科技边角料Pro收集编辑:科技边角料Pro
科技边角料获悉汉王科技股份有限公司日前公开“法律咨询回复方法、法律领域生成式大模型训练”发明专利,属于自然语言处理技术领域,采用该方法训练得到的法律领域生成式大模型,进行法律咨询回复时,可以提升大模型生成回复文本的专业性。
天眼查App显示,该专利所述方法包括:基于非结构化法律文本数据和通用中文数据,对预设的生成式大模型进行预训练,得到第一微调大模型;基于针对各法律细分领域预先构建的指令数据集,对第一微调大模型进行低秩矩阵增量权重训练,得到法律细分领域对应的第二微调大模型;根据预先构建的评分排序数据集和第二微调大模型,构建奖励模型;以第二微调大模型作为智能体,以奖励模型作为环境,对第二微调大模型进行强化学习训练,得到法律领域生成式大模型。