某城商行数据中台压测收获

字数 1264阅读 5434评论 1赞 1

#  *背景*
 对于很多中小型银行来说，数据中台是基于大数据平台基础支撑，支持规则模型计算，大批量计算查询分析，形成统一服务层，为各类数据服务应用赋能。
 很多中小型现在面对数据应用的痛点在主要在于，数据应用主要还是在 T 加1的服务为主，缺乏实时数据服务，二是数据服务主要还是集中在报表需求，缺乏数据深入分析能力；三是缺乏对历史查询和分析支持不足；为了解决这些 痛点，建设数据中台，增加统一数据实时服务（主要为计算和查询），提升大批量数据处理，数据建模深入分析，亿级数据关联计算时间秒级，增加非结构化数据查询存储能力。 
# *典型应用需求场景*
 1、风控评级，比如个人对公账户评级，对可疑账户进行倒查，比如黑名单数据汇聚与推送管理，通常从道琼斯、风控系统、外部法院电信诈骗信息等渠道获取信息，经数据中台加工后；通过数据服务api统一提供行内的业务系统。进行实时风控。
 2、客户画像，提供全行统一的客户画像服务，提升对客服务，维系、挽留
 3、对客提供统一的各类存贷款、理财实时余额、历史收支明细查询。
 通常统一的客户画像，需要从crm、核心系统、风控系统等内部系统、外部爬虫数据，通过数据处理层加工集成标签等信息后，再通过规则引擎生成统一的客户画像。
# 系统框架 
 ![](/home/attachment/202203/11/929899_164696396299488.png)
 信息流
 ![](/home/attachment/202203/10/929899_164691769064991.png)

# * 措施与成效* 
   通过对数据中台服务能力进行分析梳理非功能验证重点；数据中台第一期的非功能关注重点主要包括数据查询服务能力，支撑实时报表能力，对客查询能力，对外开放数据服务能力，各种数据形态下的数据集成能力，数据迁移能力，数据计算能力，数据存储能力 等方面。
总体来说：1）此次 数据中台测试在 BI 报表、自助查询平台、标签画像系统、 DataApi 服务四部分，共发现排除优化需要周期 3 天以上的性能隐患 100+ ，及时排除类似数据采集数据丢失,超时导致批处理中断等隐患。
2）完善大批量数据处理能力，提升对高维实时数据和高维历史数据进行建模、存储和分析性能。对黑名单，风险预警系统，账户管理等多个源系统的数据采集测试，在日均任务： 2w ，作业量：近千，集群节点规模： 100+ 总体背景下；经过非功能测试， 日均处理消息量可以达到百万级别，峰值处理消息量可以达到十万条每秒，整体作业流执行时间窗口控制在 4 小时内。满足 7*24 小时稳定性处理要求。
 3） 提升历史数据查询及分析应用能力。类似总资产及各类资产余额查询，个人收支历史明细查询毫秒级响应。
# *未来展望*
 在数据中台提供提供良好的数据基础；后续数据中台会通过完善联邦学习、数据资产管理等功能， 加速企业从数据到业务价值的过程 。整体非功能质量保证也将会更加的复杂。路漫漫其修远兮、吾将上下而求索。

数据中台压力测试大数据

著作权归作者所有

如果觉得我的文章对您有用，请点赞。您的支持将鼓励我继续创作！

添加新评论1 条评论

zenith12345网络工程师rqsj
2022-03-15 15:23

学习了。

Ctrl+Enter 发表

匿名评论

某城商行数据中台压测收获

添加新评论1 条评论

本文隶属于专栏

作者其他文章

相关文章

相关问题

相关资料