<div dir="ltr"><div><div><div>Hi,<br><br></div>i use sheepdog in production in a small cluster of 3 nodes and i am planning to use it in an other cluster of 4 nodes.</div><div><br></div><div>As we can read in the following document on page 28 "Sheepdog satisfies all features for block storage and<br>is ready for commercial use from v0.9.1 or later".</div><div><br></div><div><a href="http://events.linuxfoundation.jp/sites/events/files/slides/COJ2015_Sheepdog_20150604.pdf">http://events.linuxfoundation.jp/sites/events/files/slides/COJ2015_Sheepdog_20150604.pdf</a></div><br>In my little experience I recommend using v1.01 with zookeeper.<br><br>Why do these doubts about the use in production?<br><br></div>Thanks,<br><div><div></div><div><br></div><div class="gmail_extra"><br><div class="gmail_quote">2017-11-17 8:04 GMT+01:00 Vasiliy Tolstov <span dir="ltr"><<a href="mailto:v.tolstov@selfip.ru" target="_blank">v.tolstov@selfip.ru</a>></span>:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><span class="">2017-11-16 16:00 GMT+03:00 Raymond Burkholder <<a href="mailto:ray@oneunified.net">ray@oneunified.net</a>>:<br>
> If you don't mind some questions:<br>
><br>
> On 11/16/2017 03:42 AM, Vasiliy Tolstov wrote:<br>
>><br>
>> 2017-11-15 22:49 GMT+03:00 Gandalf Corvotempesta<br>
>> <<a href="mailto:gandalf.corvotempesta@gmail.com">gandalf.corvotempesta@gmail.<wbr>com</a>>:<br>
>>><br>
>>> 1) is sheepdog stable and ready for production use?<br>
>><br>
>><br>
>> It contains rough edges firstly with cluster recovery when nodes up/down.<br>
><br>
><br>
> Even with the rough edges, do you think it is good enough to run?  You are<br>
> still using it?<br>
<br>
</span>I'm not using it. I'm test sheepdog, ceph and scst. When i'm poweroff<br>
cycle sheepdog node (1 node with 64 disks) sheepdog started and write<br>
to error log<br>
do_epoch_log_read(178) invalid epoch 1 log, also my tests (i'm use<br>
infiniband interconnect) displays that scst based solution much faster<br>
then sheepdog or ceph<br>
<span class=""><br>
<br>
><br>
>><br>
>>> 2) do I need any metadata servers (like Ceph) or the only needed<br>
>>> servers are the storage ones (like Gluster) ?<br>
>><br>
>><br>
>> No metadata needed, but you need cluster manager (zookeeper, corosync).<br>
>> I'm try corosync and it not very stable (not sheepdog, but corosync)<br>
>> Sometimes i have split bran when cluster<br>
>> divided on parts and only restart corosync solved this issue. (i'm try<br>
>> corosync 2.x)<br>
><br>
><br>
> Do you lose data when you encounter these situations or are you able to<br>
> recover successfully and return to normal operation?<br>
><br>
<br>
<br>
</span>Data is safe in this case, but you need manual steps to fixup cluster.<br>
<span class=""><br>
<br>
>><br>
>>> 3) can I use multiple disks in a server, or each server should<br>
>>> "expose" a single filesystem (thus, I have to use RAID)<br>
>><br>
>><br>
>> Sheepdog supports multidisk but you need metastore to save epoch and<br>
>> config data so raid is preferrable.<br>
><br>
><br>
> So, just to confirm, you recommend a raid system of some sort on each host,<br>
> in addition to the replication across hosts which Sheepdog supplies?  Is<br>
> there some reference information I could read about the metastore, epoch,<br>
> and config data?<br>
><br>
<br>
</span><a href="https://github.com/sheepdog/sheepdog/wiki/Multi-disk-on-Single-Node-Support" rel="noreferrer" target="_blank">https://github.com/sheepdog/<wbr>sheepdog/wiki/Multi-disk-on-<wbr>Single-Node-Support</a><br>
<span class=""><br>
>><br>
>>> 7) any "scrub" feature to be sure that all object a replicated<br>
>>> properly and not subject to "bit-rot" ?<br>
>><br>
>><br>
>> No, but sheepdog have cluster check (in my case works sometimes with<br>
>> errors)<br>
><br>
><br>
> What sort of errors do you see?  Is there something to fix or do you ignore<br>
> them?<br>
><br>
>><br>
<br>
</span>I don't know can you ignore it or not, but check sometimes displays<br>
that i don't have some objects.<br>
<span class="im HOEnZb"><br>
<br>
--<br>
Vasiliy Tolstov,<br>
e-mail: <a href="mailto:v.tolstov@selfip.ru">v.tolstov@selfip.ru</a><br>
</span><div class="HOEnZb"><div class="h5">--<br>
sheepdog-users mailing lists<br>
<a href="mailto:sheepdog-users@lists.wpkg.org">sheepdog-users@lists.wpkg.org</a><br>
<a href="https://lists.wpkg.org/mailman/listinfo/sheepdog-users" rel="noreferrer" target="_blank">https://lists.wpkg.org/<wbr>mailman/listinfo/sheepdog-<wbr>users</a><br>
</div></div></blockquote></div><br><br clear="all"><div class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div><font><b><font color="#990000"><i>Cristian <br></i></font></b></font></div></div></div>
</div></div></div>