03月 22, 2011

环境：

两个互相容错的HP刀片机C7000机箱，每个机箱内前端16台640C刀片机运行ESX4.01，后端6个网络连接模块、两个光纤连接模块和两个OA(Onboard Administrator)模块。

6个网络连接模块中的24个接口被定义了许多的虚拟网络(VLAN)。两个光纤模块直接连在SAN上面。在这个结构上面，大约300多台虚拟机运行。

宿主机1和3运行在机箱1内，宿主机2和4运行在机箱2内；
宿主机1上面运行了虚拟机11，12 ，13，14；
宿主机2上面运行了虚拟机21，22 ，23，24
宿主机3上面运行了虚拟机31，32 ，33，34
宿主机4上面运行了虚拟机41，42 ，43，44
虚拟机X1/2在同一虚拟网上（VLAN100）；虚拟机X3/4在同一虚拟网上（VLAN200）。

问题：

同一族里面的同一虚拟网里面的几台虚拟机不能互相通讯。

例：
虚拟机11，12 不能跟虚拟机31，32通讯；跟其它虚拟机通讯正常。
虚拟机11，12 之间通讯正常；虚拟机31，32之间通讯正常。

虚拟机21，22 不能跟虚拟机41，42通讯；跟其它虚拟机通讯正常。
虚拟机21，22 之间通讯正常；虚拟机41，42之间通讯正常。

虚拟机13，14，23，24，33，34，43，44之间通讯正常。

放狗、必应都没有答案。打电话给VMWARE技术支持，前后跨度达两个月，每次检查都不能定位问题的所在。探视也的确帮我们发现了一些网络交换机上设置的问题。

开始的时候，这个问题只是发生在这几台机器之间，简单的把这些机器迁移到同一台宿主机上问题便解决了。所以，这个问题一直拖着，时间快2年，系统组跟网络组之间互相推诿。后来又加了许多的虚拟机，这个问题也越来越显得严重。更可恶的是，再过两周我就要休年假了。难道让我带着这个噩梦去休假？

没办法的办法—-做梦。居然梦到了，梦里看到是跟虚拟网络有关系，但是又不在网络交换机上面。醒了就开始做逻辑分析：

找了一个网络组的铁哥们儿，一起来找问题。首先我们来看看这些虚拟机是否可以在交换机上面看到，怎么看？查物理地址。结果发现，宿主机1上面的机子在交换机上找不到！原因是主交换机与端口交换机之间的虚拟网络没通，（#￥%……&）改吧。改好了，问题依旧。（·#￥%……&）

排出了交换机的问题，再找虚拟机和宿主机的问题吧，可是，虚拟机与宿主机也没有问题啊，在不同的机箱之间或者在同一台宿主机上虚拟机们通讯没有任何问题啊！那就只能找机箱的毛病了，跟虚拟网络有关的就是惠普的虚拟网络管理器了。物理端口不会有问题，可能大家已经明白了，那就是端口的设置的问题了。端口设置有许多的参数，没办法，一个个的找。打电话给另一哥们儿，问问他们的设置是怎样做的，问了半天真的是鸡同鸭讲，因为他们用的是直连，没有用虚拟连接管理！！！只好回到自己的环境里来做比较了。X3/4，VLAN200不是没问题吗，好，就从这里开始对比，不比不知道，一比，才知道有猫腻了。
在定义以太网的窗口里面X3/4，VLAN200的端口Smart Link和VLAN Tunneling是激活了的，专用网(Private Network)是没有设置的，而X1/2，VLAN100的端口，三个选项都是被激活了的！

来看看专用网(Private Network)是干什么用的：The Private Networks option provides extra networking security. When checked, the network is configured so that all server ports connected to it cannot communicate with each other within the Virtual Connect domain. All packets from servers are sent through the VC domain and out the uplink ports only. Servers on the network can only communicate with each other through an external Layer 3 router that redirects the traffic back to the VC domain.

好嘛，再问问网络组的铁哥们儿，被告知，交换机上有此选项，没被使用！KAO!!!偶滴神啊，人家交换机上面都没有用，你在这里把这个选上，不就是要让它们不通讯吗？前任离开已经有3月了，找不到人去核对为什么要选这个？发了一大堆垃圾邮件询问为什么，结果是石沉大海。最后打电话给惠普寻求改变的结果和步骤，惠普的工程师电话都懒得给我回，直接发个电子邮件告诉我，没影响大胆的改。最后还幽默了我们一下，“Private network should not be checked, that has a very specific function.”（！·#￥%……&*（）无奈，要求改变吧。

休假前的最后一个星期天早晨3点，改了设置，问题解决了！Gone Fishing…..