<div dir="ltr">Thank you Hitoshi. After testing the iSCSI solution we will try the reconnection feature. For the testing we'll have to trigger a "software failure" then reconnect in a reproducible way. Do you have any suggestion how to achieve that?<br></div><div class="gmail_extra"><br><div class="gmail_quote">2015-08-14 22:19 GMT+08:00 Hitoshi Mitake <span dir="ltr"><<a href="mailto:mitake.hitoshi@gmail.com" target="_blank">mitake.hitoshi@gmail.com</a>></span>:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><span class="">On Fri, Aug 14, 2015 at 5:10 PM, Zhaohui Yang <<a href="mailto:yezonghui@gmail.com">yezonghui@gmail.com</a>> wrote:<br>
> We have an openstack cluster whose compute nodes have sheepdog installed and<br>
> configured the "standard" way as sheepdog documentation described. That is,<br>
> the qemu/KVM virtual machines uses sheepdog VDI by attaching to a the local<br>
> sheepdog gateway through the qemu block driver.<br>
><br>
> When one sheep decided it has lost connection with the rest of cluster nodes<br>
> (caused by software problem), all VMs on the same node instantly "lost"<br>
> their VDI and cannot work. In this regard the storage layer is not fully HA.<br>
> We would expect a better situation where the VMs still work fine as long as<br>
> sheeps on other nodes are functioning and network is up.<br>
<br>
</span>Currently, the qemu driver supports the reconnection feature. If you<br>
can simply restart sheep daemon, QEMU VMs can restart their I/O.<br>
# BTW, the reconnection feature is unfriendly with VDI locking. VDI<br>
locking is disabled in v0.9.2. Could you update sheepdog to v0.9.2?<br>
<span class=""><br>
><br>
> We found a "kind of " solution to this in the following article, where the<br>
> sheepdog storage cluster is deployed separately from the compute cluster,<br>
> connected via a switch, through a iSCSI interface exposed by tgtd sitting<br>
> before sheepdog. The client has to use special iSCSI multipath-tool to be<br>
> able to fail over to another tgtd upon sheepdog node failure.<br>
> <a href="http://events.linuxfoundation.org/sites/events/files/slides/COJ2015_Sheepdog_20150604.pdf" rel="noreferrer" target="_blank">http://events.linuxfoundation.org/sites/events/files/slides/COJ2015_Sheepdog_20150604.pdf</a><br>
><br>
> However this solution add 2 more layers to the complexity - the iSCSI<br>
> multipath-tool on client side and tgtd on the server side. Also the<br>
> performance will degrade as everything has to go through the network and<br>
> iSCSI simulation. We surely don't want to go this direction if there are<br>
> simpler solutions we are not aware of - e.g. patches to sheepdog or the qemu<br>
> block driver that perform automatic failovers.<br>
<br>
</span>Based on our performance evaluation, iSCSI components (e.g. tgtd)<br>
become bottlenecks in some extreme cases. e.g. 10Gbps and read heavy<br>
traffic. Did you evaluate performance?<br>
# of course management cost will increase<br>
<br>
Because of the design principle of sheepdog, QEMU driver doesn't<br>
support HA. The VMs and the sheep process coexist in single host. They<br>
are assumed to be living or dying togather because power and network<br>
failure can effect both of them. However, the principle doesn't<br>
consider about software faults. For this problem, the above<br>
reconnection feature is supported. Could you test the reconnection<br>
feature?<br>
<br>
Thanks,<br>
Hitoshi<br>
<div class="HOEnZb"><div class="h5"><br>
><br>
> Please point a link to us if such solutions exists, or share your idea how<br>
> to avoid "VM losing VDI when sheep on same machine leaves cluster". The<br>
> version of sheepdog we are using is 0.9.0.<br>
><br>
><br>
> Thanks and Regards,<br>
><br>
> Yang, Zhaohui<br>
><br>
</div></div><span class="HOEnZb"><font color="#888888">> --<br>
> sheepdog-users mailing lists<br>
> <a href="mailto:sheepdog-users@lists.wpkg.org">sheepdog-users@lists.wpkg.org</a><br>
> <a href="https://lists.wpkg.org/mailman/listinfo/sheepdog-users" rel="noreferrer" target="_blank">https://lists.wpkg.org/mailman/listinfo/sheepdog-users</a><br>
><br>
</font></span></blockquote></div><br><br clear="all"><br>-- <br><div class="gmail_signature">Regards,<div><br>Yang, Zhaohui</div></div>
</div>