nkj2021
作者nkj2021·2023-12-06 16:36
系统架构师·某证券企业

券商算法交易系统如何进行硬件层选型、持续监测和性能优化?交流共识总结

字数 13060阅读 5102评论 0赞 3

导读:

近些年随着金融市场的快速发展,算法交易成为券商的核心竞争业务之一。不同的券商对算法交易的具体侧重略有不同,但对于交易稳定性和性能要求是完全一致的,这就要求券商有能力对交易链路进行全面的监控和管理,并持续对交易链路进行优化。算法交易系统性能涉及到硬件层、数据库层、软件层等多个方面,其中硬件层对IO、交易延迟有关键影响,如高性能服务器的选择、低延迟网卡的选择、CPU亲和性调度优化、高性能交换机的选择等等。

本期线上同行交流twt社区特别邀请多位券商算法交易系统专家、戴尔科技和英特尔技术专家一同参与线上的交流探讨,本期重点从“券商算法交易系统如何进行调优,减小交易延迟?”、“券商算法交易系统如何使用硬件加速和实现硬件层面的监控?”、“券商算法交易系统如何进行硬件选型测试?”三个方面交流主题进行总结,为券商用户更好地实现算法交易系统的极致性能带来帮助。

一、券商算法交易系统如何进行调优,减小交易延迟?

针对低延迟的算法交易系统进行调优,需要在操作系统、内存管理、I/O优化、网络优化等方面进行综合考虑和优化。

1.针对低延时交易,如何做硬件选型?对于服务器、网卡、系统都有哪些调优方向?

(1)目前市面上的服务器型号、CPU型号众多,如何选择适合低延交易使用的基础设施?
(2)低延时应用部署上线,如何对交易各个环节进行时延监控,对服务器、网卡、系统层面如何进行调优设置,提升系统时延表现?

嘉宾:赵中 高级系统工程师 , 戴尔(中国)有限公司
戴尔在服务器全球的市场份额长期处于前列,所以也有众多的针对低延时交易这块的服务器产品,具体来说在服务器上我们会选择高主频的CPU如6444Y(基频3.5,负载上来后,可以睿频到更高的频率),内存方面会选择将所有通道都插满并选择DDR5 4800的内存,磁盘上优选选择Nvme SSD 可以极大的提高磁盘的iops和吞吐率,网卡会选择低延时的Solarflare的,系统方面通常不同券商会有自己定制优化后内核的OS 所有的前提都是能够提供更好的延时性能,如果是选择商业版本的如Redhat SUSE可以找到OS供应商提供针对该购买版本的OS层面Kernel层面低延时优化好的参数信息,也会提高低延时的性能。

嘉宾:mxin辛旻 资深工程师
对于低延时交易,以下是一些硬件选型和系统调优的建议:
(1)服务器硬件选型:选择高性能的CPU、内存、硬盘等硬件设备,以及支持高速网络的网卡。例如,Intel Xeon E5-2699 v4和AMD EPYC 7742等高性能CPU可以提供出色的计算能力。为了降低存储延迟,可以考虑使用NVMe固态硬盘。此外,InfiniBand或10Gbps Ethernet等高速网络接口也可以显著提高网络传输速率。
(2)网卡和系统层面的调优:选择支持低延迟和高吞吐量的网络接口卡,如Mellanox ConnectX-5和Intel X520等。在操作系统方面,可以选择性能较好的Linux系统,并进行一系列优化操作,包括关闭不必要的服务、优化内核参数等。特别地,为了降低延迟并保持稳定性,关键线程应避免被中断。即使中断发生时线程是空闲的,重新回到用户态后CPU缓存可能被污染,导致下一次处理请求的延迟变得不稳定。
(3)应用程序层面的调优:优化应用程序的代码以减少不必要的计算和IO操作,提高程序的执行效率也是必要的。
(4)部署和监测:高频交易公司通常会将服务器放在交易所撮合引擎服务器所在的数据中心里以达到最低的延迟。在这种情况下,可以使用同长度的电缆和相同的延迟时间来确保所有机器都达到最优表现。同时,进行时延监控可以帮助识别并改进系统中可能存在的性能瓶颈。

2.硬件层当下最优的低延时解决方案分享?

嘉宾:赵中 高级系统工程师 , 戴尔(中国)有限公司
在硬件层面上,当下最优的低延时解决方案的选择可能包括以下几个方面:
(1)使用高性能硬件:使用更快的处理器和更大的内存可以加快系统的处理速度,从而减少延时。此外,使用专门为高性能计算设计的硬件,如低延迟网卡和FPGA,也可以提高计算速度并降低延时。优化硬件配置:对硬件进行优化配置,可以使其更好地适应特定的计算需求。例如,优化BIOS对系统的延迟进行控制。选择最新的技术、更快速度的产品,比如第四代intel xeon处理器,同时选择专业服务器/网络产品,在提升性能,降低延迟的同时,提供最优的可靠性。
(3)缩短网络传输延迟:网络传输延迟是导致系统延时的一个重要因素。为了减少网络传输延迟,可以采取以下措施:
a.使用更快的网络协议:例如,使用UDP或QUIC等更快速的网络传输协议可以减少数据传输的延迟。
b.减少网络层级:通过减少网络层级,可以减少数据传输的跳数和延时。
(3)操作系统/软件:操作系统/软件的核心优化与设置,低延迟调优与实时处理能力。
DELL在低延迟解决方案上,提供业界领先的服务器/网络/存储/管理/服务,端到端的解决方案,并且具备国内外证券低延迟系统丰富的案例和调优经验。在服务器低延迟系统选择/调优等方面提供专业的低延迟选型与调优指导白皮书,帮助用户快速、专业的选择最优的低延迟方案。

3.硬件层如何更好地助力用户适配人工智能场景?

嘉宾:吴跃 AI解决方案架构师 , 戴尔科技集团
从面向AI应用场景的基础设施硬件适配,我们有几点建议供您参考:
(1)明确您当前的AI业务场景,区分传统AI模型与生成式AI/AI大模型,AI的不用业务阶段:训练/微调还是推理,针对不同的业务场景确立最适合的加速芯片硬件选型;大模型对于算力和显存的要求,要高于传统AI算法模型;
(2)从系统的角度,我们建议从AI全生命周期Pipeline进行AI基础设施的架构设计与性能规划,包含异构加速计算-网络通讯-存储I/O,避免出现系统组件性能不匹配而出现“木桶短板”;
(3)针对当前更大的AI模型算力需求,我们可以提供基于多机多卡的AI分布式训练技术,避免对单机或者单个算力卡过高的性能压力;
(4)不论是针对模型开发训练,还是AI线上推理部署,通过一些AI软件技术和解决方案,比如GPU池化、虚拟化技术,更加灵活的资源管理与调度机制,可以能够更加有效地提升AI硬件资源的有效利用率。

4.选型时如何平衡处理器的主频与核数?

嘉宾:nkj2021 系统架构师 , 某证券企业
(1)明确性能需求:首先需要明确算法交易系统的性能需求。这些需求可能包括订单处理速度、数据计算速度、交易决策速度等。根据这些需求,评估处理器的主频和核数对系统性能的影响。
(2)处理器架构:不同的处理器架构对算法交易系统的性能有不同的影响。一些处理器架构可能更适合某些类型的算法交易任务。因此,在选型时需要考虑处理器架构的优缺点,以选择最适合自身业务需求的处理器。
(3)如果需要处理单线程或者单任务的计算请求,并目对响应延迟要求较高,那么应该选择主频较高的处理器。因为主频越高,处理单个计算请求的速度就越快。
(4)如果需要处理多线程和多任务的计算请求,并且要求提高单机的计算处理量,那么应该选择核数较多的处理器。因为核数越多,处理多个计算请求的能力就起越强.
综上所述,在券商算法交易系统选型时,需要综合考虑处理器的性能需求、架构、多线程和并行处理能力以及其他因素,以平衡处理器的主频与核数,选择最适合自身业务需求的处理器。

嘉宾:rice 系统架构师 , 华泰证券
取决于承载的具体业务类型,有的业务逻辑较简单但吞吐量大,注重核数,比如查资金持仓成交等;有的业务逻辑复杂但并发量不高,比如风控试算,两融量化交易等,注重高主频。如果需要尽量兼顾两者,以核数优先,并保障主频在2.5ghz以上。

嘉宾:Adamzhang Engineer , Intel英特尔
1)低延时交易系统对CPU的主频要求较高,如果低延时在方案里面是个强需求,建议优先考虑CPU主频相对较高的型号。当然CPU的主频并不等价于执行效率,这里面还涉及到CPU的架构、缓存、内存控制等因素。
2)大多数情况下低延时解决方案对核数需求并不会特别高,为了避免其他进程对核心进程的干扰,很多软件提供商不会在低延时方案中跑太多的进程。同一代次的CPU中,核数最多的通常主频会稍低。以第四代英特尔至强可扩展处理器为例,16-32核的规格是比较推荐的核数。当然最终选型还是取决方案架构的设计
3)为了减少对低延时主进程的干扰,同时提升CPU利用率,英特尔还提供了SST\\RDT技术,用于资源隔离。SST可以提升主进程的频率,RDT可以提升主进程在缓存、内存带宽等方面的资源分配,从而减少性能干扰。

5.各服务器厂商针对算法交易系统是否有专门的调优?

各服务器厂商,对于通用型X86架构服务器,是否针对算法交易系统有专门的硬件或软件用于调优。

嘉宾:赵中 高级系统工程师 , 戴尔(中国)有限公司
针对算法交易系统的低延迟服务器通常需要专门的调优,主要涉及下面内容:
(1)交易服务器本身硬件调优,bois下面:关闭超线程,关闭处理器节能cstate,内存ECC disable、 风扇默认转速最大、网卡调优等;
(2)交易平台OS,主要是Linux 调优,例如: intel cstate=disable;NUMA balance disable等参数调整;
(3)应用本身调优,需要经多场景测试;
DELL提供官方低延迟交易服务器的调优指导手册,内容比较多,涉及处理器选型,bios调优,架构调整,Linux内核调整,散热调整等软硬件调优的全面指导。

6.针对低延迟的算法交易系统,在做好硬件选型之后,如何在系统层面进行调优,最大发挥硬件性能,减小交易延迟?

(1)如何对交易各个环节进行时延监控,对服务器、网卡、系统层面如何进行调优设置,提升系统时延表现?
(2)现有低延迟技术MKL,DPDK等,硬件方面的FPGA、ASIC各有何优缺点,能够提升多少?

嘉宾:mxin辛旻 资深工程师 , 上海宝信软件股份有限公司
对于低延迟的算法交易系统,以下是一些建议在硬件选型后的系统层面进行调优的方法来发挥硬件性能和减小交易延迟:
(1)时延监控: 可以通过高精度时延分析工具对交易各个环节进行时延监控,包括服务器处理速度、网络传输速度、数据存储等环节。这样可以帮助我们定位系统中可能存在的性能瓶颈并针对性地进行优化。
(2)操作系统参数调优:可以针对操作系统的调度策略、内存管理等方面进行调优,以减少不必要的上下文切换和内存拷贝操作,从而提高系统的响应速度。
(3)应用程序优化:通过代码优化、算法优化等方式提高应用程序的执行效率,例如使用更快的排序算法或并行计算等方法。关于现有低延迟技术MKL,DPDK,硬件方面的FPGA,ASIC的优缺点和提升能力。
(4)MKL(Intel Math Kernel Library):MKL是英特尔提供的一个数学库,用于加速科学计算和数据分析任务。它的优点是可以在英特尔处理器上提供很好的性能,但缺点是它只能用于英特尔处理器。
(5)DPDK(Data Plane Development Kit):DPDK是一个用于快速数据包处理的开发工具包。它的优点是能够显著提高数据包处理的性能,但缺点是需要对数据平面编程有深入的了解。
(6)FPGA(Field-Programmable Gate Array):FPGA是一种可编程逻辑器件,可以根据需要重新配置其内部逻辑。FPGA的优点是具有很高的灵活性和可定制性,但其缺点是开发难度较大且成本较高。
(7)ASIC(Application-Specific Integrated Circuit):ASIC是一种专门为特定任务设计的集成电路。ASIC的优点是具有很高的性能和低功耗,但其缺点是开发成本较高且不具有通用性。

嘉宾:nkj2021 系统架构师 , 某证券企业
在系统层面,针对低延迟的算法交易系统进行调优,以最大发挥硬件性能并减小交易延迟,可以考虑以下几个方面:
1.优化操作系统:选择适合算法交易系统的操作系统,并对其进行优化,以提高系统的整体性能。例如,使用Linux系统通过调整内核参数、使用高性能的IO调度策略等方式进行优化。
2.内存管理:算法交易系统需要高效地管理内存资源,以避免内存不足或内存碎片化等问题。可以通过调整内存分配策略、使用缓存等技术手段来提高内存管理效率。
3.I/O优化: 在算法交易系统中,I/O操作是影响交易延迟的重要因素之一。可以通过使用高速的存储设备、优化文件系统、使用RAID等技术手段来提高I/O性能。
4.网络优化:在算法交易系统中,网络延迟也是影响交易延迟的重要因素之一。可以通过使用高性能的网络设备、优化网络协议、增加网络带宽等方式来降低网络延迟.
针对低延迟的算法交易系统进行调优,需要在操作系统、内存管理、I/O优化、网络优化等方面进行综合考虑和优化。

嘉宾:rice 系统架构师 , 华泰证券
第一个问题:
(1)操作系统选型,从交易系统供应商的推荐版本中选择。
(2)重视业务系统本身优化和架构部署,减少中间链路;
(3)需要有手段发现时延抖动,以及能够定位到具体的模块,是软件,网络,还是数据库存储。
第二个问题:
FPGA的优点:能够提供低且稳定的交易时延,波动小,意味着每笔订单的耗时可预期,有助于某些算法策略的实施。
目前没有大规模落地的原因在于:成本比较高,适用业务范围窄,故障发现定位困难,不够普及,难以形成配套生态,和主流的极速交易软件供应商产品不兼容等。

嘉宾:赵中 高级系统工程师 , 戴尔(中国)有限公司
如果是选择商业版本的如Redhat SUSE可以找到OS供应商提供针对该购买版本的OS层面Kernel层面低延时优化好的参数信息,会提高低延时的性能,如果是非商业版本的,比如是从戴尔购买的整套服务器,我们建议是:从硬件上将所有的驱动和固件升级止最新的版本(如BIOS,iDRAC,NIC等),同时还需要观察后续的版本的更新,如有必要可以进行更新到最新的版本,OS层面需要从不能将服务器处于节能状态,需要设置发挥最大的性能,同时在kernel、网卡、内存上设置满足低延时需求的参数。

7.如何对CPU参数和操作系统层级进行调优,实现低延迟低抖动的业务处理?

现代的操作系统都支持多任务并发,在多核CPU上进行进程的切换,会导致进程的上下文切换,是否可以通过参数的调优,保障交易进程的CPU部分核数独占,实现低延迟,降低抖动?

嘉宾:nkj2021 系统架构师 , 某证券企业
对CPU参数和操作系统层级进行调优,以实现低延迟低抖动的业务处理,可以考虑以下几个方面:
(1)CPU绑定:尝试使用taskset把进程绑定到一个或者多个CPU上,确保进程不会在处理器之间跳跃,导致cache刷新,这样可以提高CPU缓存的命中率,减少跨CPU调度带来的上下文切换问题。
(2)CPU独占:跟CPU绑定类似,进一步将CPU分组,并通过CPU亲和性机制为其分配进程。这样,这些CPU就由指定的进程独占。换句话来说,不允许其他进程来便用这些CPU。
(3)数据内存化:确保所有数据都在内存中可以大大减少I/O操作带来的延迟。这通常意味着需要管理内存中的数据结构以及维护现有记录,这样在重启机器或进程后能够重建之前的状态。
(4)保持系统未充分使用:低延迟总是需要有资源来处理新的请求不要试图运行到软硬件资源的极限。
以上是调优CPU参数和操作系统层级实现低延迟低抖动的业务处理的一些方法,具体方法要根据具体的系统和业务需求进行调整。

嘉宾:wangql 系统工程师 , NULL
可以,就是cpu的亲和力设置
系统管理级别:
Linux:taskset,比如taskset -c -p 0 1342,把进程1342绑定到cpu0上
aix:bindprocessor,比如bindprocessor 1342 1,把进程1342绑定到cpu1上
开发级别,使用系统提供的函数
Linux:进程:sched_setaffinity 线程:pthread_setaffinity_np
aix:也是bindprocessor

嘉宾:rice 系统架构师 , 华泰证券
考虑以下方法:
(1)绑核。
(2)操作系统缓存区相关参数调整。
(3)主机BIOS参数调整。
(4)数据库应用在操作系统层参数调优。
(5)内存交易系统中的内存分页策略调整。
(6)配合压测观察耗时变化。

嘉宾:Adamzhang Engineer , Intel英特尔
对于低延迟交易系统场景,在参数调优层面建议可以尝试以下方法进行测试验证:
(1)BIOS设置Maximum Performance
(2)CPU设置Disable c-state&p-state
(3)关闭超线程
(4)关闭不必要的服务
(5)对进程进行绑核
(6)使用英特尔SST(针对CPU频率)、RDT(针对缓存、内存带宽等)技术进行资源隔离,避免其他进程干扰,保证低时延进程的高优执行。

8.低延迟的量化/算法交易中,Docker部署与传统直接安装部署,在性能调优的要点上有哪些要异同?

嘉宾:赵中 高级系统工程师 , 戴尔(中国)有限公司
低延迟的量化/算法交易中,docker部署与传统直接安装部署,可能会考虑下面几点:
(1)docker部署的优势是可以实现更轻量、快速部署,对于部署来说可以减少部署的时间和人力成本。
(2)docker部署还可以实现跨平台的兼容性,避免因为不同的操作系统或硬件环境而导致的性能差异。
(3)docker部署的劣势是可能会引入一些额外的延迟,比如网络延迟、容器启动延迟、容器间通信延迟等。docker部署还需要考虑容器的安全性、稳定性、可扩展性等方面的问题。
(4)传统直接安装部署的优势是可以充分利用硬件资源,提高交易系统的性能和效率。传统直接安装部署还可以更灵活地进行性能调优,比如选择合适的网络协议、操作系统参数、应用程序设置等。

9.如果计算出服务器与网络设备的低延迟与交易软件之间最有平衡点?

嘉宾:赵中 高级系统工程师 , 戴尔(中国)有限公司
针对证券算法交易系统,量化平台的硬件选型倾向于高性能、高并发、高吞吐;针对低延迟平台则更倾向于CPU的高主频和链路的低延迟,两者都有对应的BIOS/iDRAC/OS层面的调优方案。这些是底层基础设施的构建思路,目标是支撑上层软件业务系统的要求,所以业务要求是首要问题,由业务要求转化为IT基础设施的需求是Dell金融团队关注的重点,如果您有进一步的需求可以随时联系我们。

嘉宾:mxin辛旻 资深工程师
低延迟交易是算法交易的一个分支,目的是使资本市场参与者对市场事件进行更快速的反应,从而低延迟交易是算法交易的一个分支,目的是使资本市场参与者对市场事件进行更快速的反应,从而利用极其细微的反应时差来获得更多的盈利。为了在硬件和软件之间找到最优的平衡点,需要考虑以下因素:
(1) 网络设备:选择高速的网络设备,如交换机、路由器等,以减少数据传输的延迟。
(2) 数据库设计:优化数据库的设计和结构,以提高数据访问速度。
(3) 交易算法:选择高效的交易算法,这可以进一步减少处理时间。
(4) 系统架构:采用高可靠性的系统架构,确保系统的稳定运行并及时响应交易请求。
(5)延迟监控与优化:持续监控交易系统的延迟,并根据实际数据进行优化。
此外,由于低延迟交易中机会稍瞬即逝,因此必须确保整个系统从硬件到软件都能够提供稳定且低延迟的服务。这不仅需要高性能的硬件,还需要经过精心设计和优化的软件。

二、券商算法交易系统如何使用硬件加速和实现硬件层面的监控?

使用FPGA硬件加速交易执行过程具有高效性和稳定性等优点,但也存在成本高、技术门槛高等缺点。在选择使用FPGA硬件加速交易执行时,需要根据具体情况进行权衡和决策。

1.用FPGA硬件加速交易执行过程的优缺点?

随着机构交易业务的蓬勃发展,券商也在不断地探索如何更快地执行订单,FPGA是其中一个较为火热的方向,且已有落地方案,但距离大规模对客服务仍有较长的路要走。请问用FPGA硬件加速交易执行过程的优缺点以及实际使用过程中的注意事项有哪些?

嘉宾:nkj2021 系统架构师 , 某证券企业
使用FPGA硬件加速交易执行过程的优缺点如下:
优点是:
(1)高效性: FPGA可实现并行计算,提高交易执行速度,从而降低交易延迟。
(2)稳定性: FPGA的硬件设计经过验证和测试,能够保证交易过程的稳定性。
(3)低延迟:FPGA能够实现高速数据传输和处理,有助于降低交易延迟
缺点是:
(1)成本高:FPGA的设计和生产成本较高增加了交易系统的整体成本
(2)技术门槛高:FPGA需要具备较高的硬件设计和编程能力,技术门槛较高。
综上所述,使用FPGA硬件加速交易执行过程具有高效性和稳定性等优点,但也存在成本高、技术门槛高等缺点。在选择使用FPGA硬件加速交易执行时,需要根据具体情况进行权衡和决策。

嘉宾:Adamzhang Engineer , Intel英特尔
FPGA优点:
(1)允许用户定制硬件电路,提高并行性,降低延时
(2)在特定工作负载下,FPGA通过定制硬件电路,实现比CPU更高的能效
(3)一般来说FPGA的latency更稳定
缺点:
(1)FPGA开发需要使用硬件描述语言如Verilog,开发成本较高,周期较长,编程和调试比较复杂
(2)为低延迟交易场景设计的FPGA硬件相比CPU更加昂贵
(3)FPGA更适合逻辑较为简单明确的场景,针对市场行情交易策略多变的情况,FPGA回测时间机会成本更高,CPU方案则更灵活,可以频繁更新且适用更多场景。

嘉宾:zyz_twt 技术经理 , 上海某证券公司
优势:
(1)系统穿透延迟低,运行稳定,最低至1.5us;
(2)纯硬件交易系统,提供全链路延迟优化解决方案;
(3)具备灵活、全面的事前风控检测规则,且不增加系统穿透延迟,风控规则支持灵活配置,实时生效。

实际使用过程中的注意事项:
(1)不易于频繁维护,重新烧写板卡需要重装DMA驱动,增加迭代、测试周期;
(2)部分行情FPGA使用组播协议,存在一定丢包风险;
(3)FPGA板卡容量有限,导致系统设计容量有限,增加成本。
(4)应急手段弱,不适用于复杂逻辑。

2.如何实现订单在硬件层面的监控?

一般情况下一笔订单需要经过系统软件、操作系统、CPU、内存、网卡、网络传输等多个环节,实现订单的全面监控有助于进一步优化链路,提升交易速度,相较于系统软件,硬件层面实现业务层的监控效果会复杂很多,比如从网络包里解析及还原订单信息。请教下在硬件层面实现业务监控有哪些方法,以及如何分析是否已遇到硬件瓶颈?

嘉宾:nkj2021 系统架构师 , 某证券企业
在硬件层面实现业务监控,可以考虑以下方法:
1.使用硬件性能监控工具:可以针对硬件设备进行性能监控,包括CPU使用率、内存使用情况、网络带宽等指标。这些工具可以提供实时的性能数据,帮助分析是否存在硬件瓶颈。
2.网络监控:可以通过网络监控工具来监控网络传输情况,包括网络延迟、丢包率等指标。对于一些复杂的网络环境,可能要使用专业的网络分析工具来诊断问题
3.业务监控:对于具体的业务操作,可以针对关键环节进行监控,例如订单的创建修改、支付等过程。通过捕获和分析业务数据,可以发现潜在的性能瓶颈和优化机会

嘉宾:赵中 高级系统工程师 , 戴尔(中国)有限公司
Dell金融团队为客户提供算法交易解决方案会涉及硬件选型和系统调优,为证券订单系统做好基础设施侧的底层支撑,在保证上层软件性能和延迟的前提下,提供稳定运行的环境。订单的运行状态监控则一般会反馈在软件层面,如何实现在硬件层面的监控可以从具体的业务需求出发点做进一步分析,如果您有具体需求可以随时联系我们Dell金融团队。

三、券商算法交易系统如何进行硬件选型测试?

在券商算法交易系统选型时,需要综合考虑处理器的性能需求、架构、多线程和并行处理能力以及其他因素,以平衡处理器的主频与核数,选择最适合自身业务需求的处理器。

1.核心存储或者分布式存储硬件选型中对延时的关注?

嘉宾:赵中 高级系统工程师 , 戴尔(中国)有限公司
核心存储或者分布式存储硬件选型中对延时的关注,分以下几种状况:
(1) 针对低时延平台,一般都在内存中执行交易,如果涉及存储一般建议使用服务器本地NVMe,以达到延时最低;
(2) 针对集中交易,结构化数据,建议选择集中式存储,低延时、强一致性、数据服务能力更强;比如DELLEMC的Powermax\\Powerstore\\Powerflex 都是不错的选择;
(3) 针对其它应用,需求整合结构化数据和非结构化数据,可以考虑分布式存储,需要构建数据湖,比如DELLEMC 的PowersSale\\ECS

嘉宾:Alice 项目经理 , 上海
分为集中式和分布式存储,但是不是那种存储对时延有影响的主要是两大块:
一、集中式存储
1、硬盘:全NVMe SSD;
2、网络:不要求信创,带宽不大可以考虑FC,如果带宽比较大可以考虑25G 、100G ,RDMA,走nvme-of协议;
二、分布式存储
除了上述提到的硬盘和网络以外还需要考虑分布式存储软件是否可以发挥硬件的全部性能。
2、券商算法交易系统在进行硬件选型测试时,如何区分判断是需要硬件优化还是应该操作系统、应用软件优化?

嘉宾:赵中 高级系统工程师 , 戴尔(中国)有限公司
硬件选型测试考虑的内容的确比较多,首选硬件、操作系统的优化调优是第一步也是必须的, 在此基础上测试如果仍无法达到要求,还需要考虑网络环境、应用软件优化。另外应用软件的开发商也会针对各自软件提出对硬件和操作系统的调整建议,这个也是要考虑的。有些测试结果和硬件性能是强相关的,比和内存带宽、I/O、浮点运算等,这些是能够推算出理论值的,如果测试的结果和理论值偏离较远,也需要考虑软件方面的调优。
在性能对比测试环节,通常要考虑统一标准的原则,对比环境要基于相同标准:比如相同的网络环境,相同的OS版本和内核调整,相同的应用软件版本和参数设置等。

2.高性能服务器是在CPU选型偏向高主频服务器,还是偏核数多、还是综合型?

嘉宾:nkj2021 系统架构师 , 某证券企业
高性能服务器是在CPU选型偏向高主频服务器,还是偏核数多,或者综合型?需要结合具体情况来看:
(1)需要处理单线程或者单任务的计算请求,并目对响应延迟要求较高,那么应该选择主频较高的处理器。因为主频越高,处理单个计算请求的速度就越快。
(2)需要处理多线程和多任务的计算请求,并且要求提高单机的计算处理量,那么应该选择核数较多的处理器。因为核数越多,处理多个计算请求的能力就起越强。
(3)对服务器的整体性能有较高的要求,既需要处理单线程或者单任务的计算请求,又需要处理多线程和多任务的计算请求那么可以选择综合型的服务器。这种服务器通常具有较高的主频和较多的核数,能够满足多种应用场景的需求。
总之,在选择高性能服务器时,需要根据具体的应用场景和需求进行综合考虑,选择合适的CPU类型和配置。

嘉宾:mxin辛旻 资深工程师 , 上海宝信软件股份有限公司
在考虑高性能服务器的CPU选型时,需要综合考虑多个因素。首先,核心数和线程数是两个关键指标,它们直接影响着服务器在处理多任务和复杂计算时的能力。一般来说,服务器的核心数越多,处理能力越强,但同时也会伴随着更高的能耗。因此,如果您的工作负载主要是多任务处理,那么选择具有更多核心的CPU可能更合适。
另一方面,主频也是一个重要的性能指标。较高的主频通常意味着更快的运算速度,特别是在单任务处理的场景下。但是,值得注意的是,并非所有处理器核心都具有同等的功能,因此您需要确保选择的处理器在所有核心上都能提供良好的性能。
当前市场上,Intel和AMD都是主要的CPU供应商,它们在不同方面有着不同的特点。例如,Intel的处理器在稳定性、高效性和耐用性方面通常被认为更胜一筹,而AMD则在价格方面具有一定的竞争优势。因此,可以根据具体需求和预算来选择合适的CPU供应商。

嘉宾:赵中 高级系统工程师 , 戴尔(中国)有限公司
主要看应用场景对算力的需求,本次交流的算法交易系统中,针对策略机,需要高算力处理,兼顾并发和高性能,在CPU选型上考张虑兼顾多核心和高主频;针对低延迟交易报盘服务器高主频(高睿频、大L3缓存)通常是考虑重点。对高速行情通常也是要兼顾多核心和高主频。

3.如果使用虚拟化网络,如何选型流量回溯产品?

嘉宾:nkj2021 系统架构师 , 某证券企业
(1)虚拟化环境支持:确认所选流量回溯产品是否支持虚拟化环境,如VMware、Hyper-V或OpenStack等。了解产品是否支持虚拟化网络和虚拟机之间的流量回溯。
(2)性能和扩展性:评估所选产品的性能,包括数据包捕获、处理和存储的能力。考虑产品是否能够满足虚拟化网络的需求,特别是在大规模虚拟化环境中。了解产品是查具有可扩展性,以适应虚拟化网络的的增长。
(3)安全性和隐私保护:确保所选流量回溯产品具有足够的安全性,能够保护虚拟化网络的数据隐私和完整性。了解产品如何处理敏感教据,并确保其符合相关法规和标准。
(4)客户支持和售后服务:了解所选产品的客户支持和服务质量。一个好的售后团队可以提供及时的技术支持和解决方案,以确保您的虚拟化网络正常运行。
综上所述,选择适合虚拟化网络的流量回溯产品需要考虑多个因素,包括虚拟化环境支持性能和扩展性、安全性、客户支持等。在选择过程中,建议与虚拟化管理员、网络管理员和安全团队进行讨论和评估,以确保所选产品能够满足您的特定需求。

四、交流达成的共识总结

通过本场交流活动达成了一定的交流共识如下,供同行参考:

活动后券商行业用户组织代表反馈算法交易系统性能优化的关键点(N=20)

1.低延迟是券商对算法交易系统最主要遇到的性能瓶颈之一。对于低延迟的算法交易系统进行调优,需要在操作系统、内存管理、I/O优化、网络优化等方面进行综合考虑和优化

活动后券商行业用户组织代表反馈针对算法交易系统性能优化最关注的调优手段(N=20)

2.对于低延迟交易,系统调优的建议是关闭不必要的服务、优化内核参数等。特别地,为了降低延迟并保持稳定性,关键线程应避免被中断。
3.对于证券算法交易系统,硬件选型倾向于高性能、高并发、高吞吐;针对低延迟平台则更倾向于CPU的高主频和链路的低延迟。
4.在券商算法交易系统选型时,需要综合考虑处理器的性能需求、架构、多线程和并行处理能力以及其他因素,以平衡处理器的主频与核数,选择最适合自身业务需求的处理器。
5.操作系统参数的调优需要根据具体的硬件和应用场景进行调整,需要进行充分的测试和评估,以确保调整后的系统能够满足性能要求,并且稳定可靠。
6.通过硬件层面的业务监控,可以全面了解系统的运行情况,及时发现并解决问题,提升系统的性能和可靠性。

社区课题主持:周尤珠 某证券; 王飞 某证券; 聂嘉 某证券;

课题协作:915122026yjt; Ciao; jordan_huang; rein07; ufpstarhawk; whitewindmind; aoe888; Deucelife; gavin_zhang; Zion; cao_lei; manpure; cfpl_900; shiwei123; 金祥; zhaok; creator001; zhoujb2000; sufeicn; chenlii; faiy0000;

参与互动用户来自企业:
金元证券; 兴业证券; 国金证券; 东北证券; 浙商证券; 国联证券; 国盛证券; 招商证券; 申万宏源证券; 中金公司; 中信证券; 国信证券; 安信证券; 方正证券; 东吴证券; 财通证券; 西部证券; 九州证券; 银河证券; 中信建投证券; 海通证券; 华泰证券;

点击回看交流活动精彩分享和更多互动
https://www.talkwithtrend.com/Activity/?id=2113

如果觉得我的文章对您有用,请点赞。您的支持将鼓励我继续创作!

3

添加新评论0 条评论

Ctrl+Enter 发表

作者其他文章

相关文章

相关问题

相关资料

X社区推广