architecture – 夏清然的日志 https://www.qingran.net Xia Qingran Geek Blog Sun, 07 Aug 2016 09:50:33 +0000 en-US hourly 1 https://wordpress.org/?v=4.6.1 112893047 NUMA微架构 https://www.qingran.net/2011/09/numa%e5%be%ae%e6%9e%b6%e6%9e%84/ https://www.qingran.net/2011/09/numa%e5%be%ae%e6%9e%b6%e6%9e%84/#respond Thu, 08 Sep 2011 04:02:51 +0000 https://www.qingran.net/?p=1484 现在开始补日志,逐步的扫清以前写了一半的和“欠账未还的”。半年之前开的头,今天先把NUMA说完。

PC硬件结构近5年的最大变化是多核CPU在PC上的普及,多核最常用的SMP微架构:

  1. 多个CPU之间是平等的,无主从关系(对比IBM Cell);
  2. 多个CPU平等的访问系统内存,也就是说内存是统一结构、统一寻址的(UMA,Uniform Memory Architecture);
  3. CPU到CPU的访问必须通过系统总线。

结构如图所示:

SMP的问题主要在CPU和内存之间的通信延迟较大、通信带宽受限于系统总线带宽,同时总线带宽会成为整个系统的瓶颈。

由此应运而生了NUMA架构:

NUMA(Non-Uniform Memory Access)是起源于AMD Opteron的微架构,同时被Intel Nehalem采用(英特尔志强E5500以上的CPU和桌面的i3、i5、i7均基于此架构)。这也应该是继AMD64后AMD对CPU架构的又一项重要改进。

在这个架构中,每个处理器有其可以直接访问其自身的“本地”内存池,使CPU和这块儿内存之间拥有更小的延迟和更大的带宽。而且整个内存仍然可做为一个整体,可以接受来自任何CPU的访问。简言之就是CPU访问自己领地内的内存延迟最小独占带宽,访问其他的内存区域稍慢并且共享带宽。

GNU/Linux如何管理NUMA:

  1. probe硬件,了解物理CPU数量,内存大小等;
  2. 根据物理CPU的数量(不是core)分配node,一个物理CPU对应一个node;
  3. 把属于一个node的内存模块和其node相联系;
  4. 测试各个CPU到各个内存区域的通信延迟;

在一台16GB内存,双Xeon E5620 CPU Dell R710用numactl得到以下信息:

# numactl --hardware

available: 2 nodes (0-1)

node 0 size: 8080 MB

node 0 free: 5643 MB

node 1 size: 8051 MB

node 1 free: 2294 MB

node distances:

node 0 1

0: 10 20

1: 20 10

  • 第一列node0和node1就是对应物理CPU0和CPU1;
  • size就是指在此节点NUMA分配的内存总数;
  • free是指此节点NUMA的内存空闲数量;
  • node distances就是指node到各个内存节点之间的距离,默认情况10是指本地内存,21是指跨区域访问。

因为就近内存访问的快速性,所以默认情况下一个CPU只访问其所属区域的内存空间。此时造成的问题是在大内存占用的一些应用时会有CPU近线内存不够的情况,可以使用如下方式把CPU对内存区域的访问变为round robin方式。此时需要通过以下方式修改:

# echo 0 > /proc/sys/vm/zone_reclaim_mode

# numactl --interleave=all

memcached、redis、monodb等应该做以上的优化修改。

另外,如果有时间,下一篇会总结一下自己对于此问题的思考:如果自己实现一个内存池,并发挥NUMA架构的最大效能,如何设计?

参考自:

http://en.wikipedia.org/wiki/Non-Uniform_Memory_Access

Ulrich Drepper, Memory part 4: NUMA support http://lwn.net/Articles/254445/

http://www.kernel.org/doc/Documentation/sysctl/vm.txt

 

]]>
https://www.qingran.net/2011/09/numa%e5%be%ae%e6%9e%b6%e6%9e%84/feed/ 0 1484
MMORPG网游架构分析 https://www.qingran.net/2011/07/mmorpg%e7%bd%91%e6%b8%b8%e6%9e%b6%e6%9e%84%e5%88%86%e6%9e%90/ https://www.qingran.net/2011/07/mmorpg%e7%bd%91%e6%b8%b8%e6%9e%b6%e6%9e%84%e5%88%86%e6%9e%90/#comments Thu, 14 Jul 2011 05:09:45 +0000 https://www.qingran.net/?p=1324 近两年的网游开发暂时告一段落,这段有时间总结一下。

试图从四个方面聊聊MMORPG的软件架构,:

  • 整体构架
  • 服务器端架构
  • 3D引擎
  • 游戏逻辑

要说的东西很多,其中也有很多不是我所擅长的,尽力而为吧。

]]>
https://www.qingran.net/2011/07/mmorpg%e7%bd%91%e6%b8%b8%e6%9e%b6%e6%9e%84%e5%88%86%e6%9e%90/feed/ 1 1324
传统互联网应用和网游技术架构差异 https://www.qingran.net/2010/07/%e4%bc%a0%e7%bb%9f%e4%ba%92%e8%81%94%e7%bd%91%e5%ba%94%e7%94%a8%e5%92%8c%e7%bd%91%e6%b8%b8%e6%8a%80%e6%9c%af%e6%9e%b6%e6%9e%84%e5%b7%ae%e5%bc%82/ https://www.qingran.net/2010/07/%e4%bc%a0%e7%bb%9f%e4%ba%92%e8%81%94%e7%bd%91%e5%ba%94%e7%94%a8%e5%92%8c%e7%bd%91%e6%b8%b8%e6%8a%80%e6%9c%af%e6%9e%b6%e6%9e%84%e5%b7%ae%e5%bc%82/#comments Wed, 21 Jul 2010 04:16:56 +0000 https://www.qingran.net/?p=545 传统互联网应用(包括电子邮件、博客、以及最近很火的“微博”)在技术架构上强调大用户量、高并发和高PV,并且对7×24小时的不间断运行有强烈的要求。所以在架构上要求横向的可扩展,并且在每一个节点都需要做到冗余。但是每个链接的应用逻辑不太复杂。

网络游戏与之正好相反,在应用逻辑的复杂的前提下,逻辑的正确性和顺序性是最先要保障的。同时游戏的表现力,包括画面的质量,3D动作的流畅,以及音效次之。但对用户量、并发和冗余性都不是非常关注。

现在是这样,未来呢?

]]>
https://www.qingran.net/2010/07/%e4%bc%a0%e7%bb%9f%e4%ba%92%e8%81%94%e7%bd%91%e5%ba%94%e7%94%a8%e5%92%8c%e7%bd%91%e6%b8%b8%e6%8a%80%e6%9c%af%e6%9e%b6%e6%9e%84%e5%b7%ae%e5%bc%82/feed/ 3 545
W3C Web Architecture big picture https://www.qingran.net/2010/03/w3c-web-architecture-big-picture/ https://www.qingran.net/2010/03/w3c-web-architecture-big-picture/#comments Fri, 12 Mar 2010 03:46:10 +0000 https://www.qingran.net/?p=179 W3C Web Architecture big picture :

来自w3c的slide:How fast does the Web Change?

http://www.w3.org/2008/Talks/0910how-fast/

]]>
https://www.qingran.net/2010/03/w3c-web-architecture-big-picture/feed/ 1 179