金融行业处理的数据往往是敏感性较高的个人和公司财务数据，需要严格保护。那么，在GPU选型上，或使用GPU资源上，有什么选型策略，什么技术手段、什么措施等来确保数据的安全性和隐私保护？...(more)

大模型通常基于历史数据进行训练，并不具备实时获取和处理新数据的能力，如何即时更新模型中的知识储备？ 对于客户实时性较强的最新资讯或问题行业历史信息一段文字较长，如分解拆成多段内容（如2000字）去训练，如何满足整个话术时效性及准确性问题。...(more)

大模型的训练和推理需要强大的计算资源和高性能的基础设施。金融行业可能需要投资于强大的服务器、存储系统和网络基础设施，以满足大模型的计算需求。此外，还需要考虑到可扩展性和高可用性，以支持模型的训练和实时推理。如何构建可扩展且高可用的基础设施，以满足大模型的计算...(more)

现在大语言模型往往达到百亿/千亿级参数规模，模型容量非常大 ，对于中小银行来说，若要建设大语言模型，预计需要多少资源？需要做哪些前期准备工作？

个人认为chatgpt在金融业落地的时间不会特别早，现在是在炒作概念时期，虽然已经有相关公司推出相应的产品，但是产品还有待完善。技术迟早会进行升级，产品也会越来越完善，基于以上出发点需要做出前期准备工作，我认为应用场景才是大家需要提前考虑的。1chatgpt的智能客服不会再被...(more)

1.中小券商受制于自身规模所限，自建机房GPU算力资源非常有限2.券商还存在合规方面的限制，对于从公网获取saas服务以及数据往来有诸多合规问题3.结合券商自身业务特点综合以上3点，想请教一下中小规模券商如何才能较好地拥抱大模型应用？...(more)

大模型的训练和推理需要强大的计算资源和高性能的基础设施。金融行业可能需要投资于强大的服务器、存储系统和网络基础设施，以满足大模型的计算需求。还需要考虑到可扩展性和高可用性，以支持模型的训练和实时推理。因此，金融行业在自建大模型基础环境时需要重点关注那些方面...(more)

chatgpt在金融行业的应用场景如何保障数据安全？

基于现网经验，在性能、可靠性、扩展能力或其他方面遇到了哪些典型问题或者亟待解决的问题？

数据写到 MySQL ，用 Redis 做读缓存时，数据如何从 MySQL 同步到 Redis ？用什么工具？是否涉及脚本开发？

在这个场景下当前的典型配置如何（本地盘还是外置存储，压力如何）？使用本地盘的基线性能值是多少？主要的性能瓶颈是什么（ CPU 、内存、网络、存储？）？使用外置存储的性能目标值预期如何？...(more)

构建大模型需要进行预训练和微调的阶段。在预训练阶段通常需要大量的计算资源和时间来处理庞大的数据集。在微调阶段需要特定领域的数据和专业知识来调整模型以适应金融行业的特定需求。这些过程可能非常耗时并且需要大量的人力和资金投入。预训练大模型所需的时间和成本...(more)

大语言模型在市面上都推荐哪家模型呢？

大模型需要大规模的训练数据，金融行业的数据通常庞大而复杂。确保数据的质量和完整性，以及数据的合规性和准确性，是一个挑战。同时，数据的准备和清洗也需要耗费大量的时间和资源。请业内各位大咖分享一些最佳实践经验。...(more)

在银行系统中，业务部门获取数据的方式困难，门槛较高。能否有一项利用大模型实现类似于chatgpt问答的方法（使用自然语言提问，chatgpt返回正常可执行的SQL）从而降低业务部门对技术的关注度，增加对数据的关注度和分析。要实现这种功能，在模型选型，语料规模，提示词选择方面，有没有存在...(more)

Redis单实例场景已连通 ： 使用 python 的 redis 库可以正常连接 redis 单实例， mysql + canal + redis 全流程已连通，可以实现操作 mysql （比如向 mysql 插入数据）， canal 感知 mysql 变化，并获取到变化的数据，然后同步写入 redis 。但是 python 中的 redis 库不支持连接 redis ...(more)

如何将大模型与现有智能客服系统的小模型或知识图谱结合，同时将人类专家的知识和经验融入到大模型中，提高大模型的性能和可解释性？