对于中小商业银行来说,若要建设大语言模型,预计需要多少资源?需要做哪些前期准备工作?

现在大语言模型往往达到百亿/千亿级参数规模,模型容量非常大 ,对于中小银行来说,若要建设大语言模型,预计需要多少资源?需要做哪些前期准备工作?

参与15

3同行回答

dengjf99dengjf99课题专家组软件开发工程师某股份制银行
作为起步资源来说,可以先购置若干台中高配的AI芯片服务器作为训练或推理服务器,英伟达或国产AI芯片的都可以,大概30-100w一台。更简便的方法是使用大厂的云服务,现在逐渐完善大模型的云服务,再使用脱敏后数据做些微调训练,然后把模型拿回行内部署。...显示全部

作为起步资源来说,可以先购置若干台中高配的AI芯片服务器作为训练或推理服务器,英伟达或国产AI芯片的都可以,大概30-100w一台。
更简便的方法是使用大厂的云服务,现在逐渐完善大模型的云服务,再使用脱敏后数据做些微调训练,然后把模型拿回行内部署。

收起
银行 · 2023-07-08
浏览664
wenwen123wenwen123项目经理MM
对于中小银行来说,建设大型语言模型确实需要一定的资源和前期准备工作。以下是一些可能需要考虑的因素:硬件资源:大语言模型需要庞大的计算资源来进行训练和推理。您需要考虑购买或配置适当的硬件,如高性能的服务器、GPU(图形处理单元)或者TPU(张量处理单元),以支持模型的训练和推...显示全部

对于中小银行来说,建设大型语言模型确实需要一定的资源和前期准备工作。以下是一些可能需要考虑的因素:

  1. 硬件资源:大语言模型需要庞大的计算资源来进行训练和推理。您需要考虑购买或配置适当的硬件,如高性能的服务器、GPU(图形处理单元)或者TPU(张量处理单元),以支持模型的训练和推理过程。
  2. 数据准备:建设大语言模型需要大量的训练数据。您需要考虑收集和清洗与银行业务相关的数据,包括文本数据,如银行报表、客户交流记录、金融新闻等。同时,您还需要确保数据的质量和合规性,以保护客户隐私和敏感信息。
  3. 人力资源:建设大型语言模型需要一支专业的团队来负责模型的训练、调优和部署。您可能需要招聘数据科学家、机器学习工程师、自然语言处理专家等领域的专业人员,以确保模型能够达到预期的效果。
  4. 模型训练和调优:训练大型语言模型是一项复杂而耗时的任务。您需要选择适当的训练算法和技术,并调整模型的超参数以达到最佳性能。这可能需要进行多次迭代和实验。
  5. 安全和合规性:在建设大型语言模型时,安全和合规性是非常重要的考虑因素。您需要确保模型的使用符合相关法律法规和行业标准,并采取必要的安全措施,以防止滥用和数据泄露的风险。
  6. 成本预算:建设大型语言模型可能需要相当大的投入。您需要评估各项资源的成本,包括硬件、人力、数据采集与清洗、训练和部署等。确保您有足够的预算来支持整个建设过程。

总的来说,建设大型语言模型对于中小银行来说是一项复杂的任务,需要充分的资源和专业知识。在决定建设之前,建议您与相关领域的专业人员进行详细讨论和评估,以确保您能够满足建设大语言模型所需的要求和挑战。

收起
互联网服务 · 2023-07-06
浏览702
waring_idwaring_id技术经理某公司
1、首要的还是需要技术团队资源,利用技术团队的能力评估大模型的应用场景。传统的应用还是聚焦在客服、营销等通用层面。如果考虑应用到核心的业务生产环境例如风控等场景,更需要结合业务共同打造,同时意味着技术团队需要深入了解业务。这方面需要长期的积累和迭代,很难一蹴...显示全部

1、首要的还是需要技术团队资源,利用技术团队的能力评估大模型的应用场景。传统的应用还是聚焦在客服、营销等通用层面。如果考虑应用到核心的业务生产环境例如风控等场景,更需要结合业务共同打造,同时意味着技术团队需要深入了解业务。这方面需要长期的积累和迭代,很难一蹴而就
2、硬件设备主要是 GPU 的资源,目前这方面主要是英伟达为主,国产的GPU芯片还是存在差距。这方面的硬件费用也不低
3、最后是安全保障,要确保数据内部训练、交换、流通而不外泄。这方面的投入也不小。
具体费用结合场景和需要评估,详细的可以找相关厂商了解。

收起
零售/批发 · 2023-09-05
浏览462

ChatGPT 回答

对于中小银行来说,建设大语言模型需要投入大量的资源,包括硬件资源和人力资源。以下是一些可能需要考虑的因素:

  1. 硬件资源:建设大语言模型需要大量的计算资源,包括GPU、CPU、内存等。对于百亿/千亿级参数规模的模型,需要至少数十台高性能GPU服务器,每台服务器需要至少4张高端GPU卡。因此,硬件投入会是一个相当大的开支。
  2. 人力资源:建设大语言模型需要一支专业的团队,包括算法工程师、数据科学家、软件工程师等。这些人员需要具备深度学习、自然语言处理等相关领域的专业知识和经验,同时需要有较强的编程能力和团队协作能力。
  3. 数据准备:建设大语言模型需要大量的数据,包括文本数据、语音数据等。对于银行来说,需要准备大量的金融领域的数据,包括财务报表、交易记录、客户评级等。同时,需要对这些数据进行清洗、标注等预处理工作,以保证数据的质量和可用性。
  4. 算法选择:建设大语言模型需要选择合适的算法和模型架构。对于银行来说,需要选择适合金融领域的模型,如BERT、GPT等。同时,需要对模型进行调优和优化,以提高模型的性能和效率。

综上所述,建设大语言模型需要投入大量的资源,包括硬件资源、人力资源、数据准备和算法选择等方面。对于中小银行来说,需要在资源投入和技术能力方面进行充分的考虑和准备,以确保建设大语言模型的成功。

提问者

xuyy
数据架构师秦皇岛银行
擅长领域: 人工智能大数据数据库

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2023-07-06
  • 关注会员:4 人
  • 问题浏览:1687
  • 最近回答:2023-09-05
  • X社区推广