<div>I removed the files in the journal folder and started the sheep again. It started successfully.</div><div><br></div><div>However, I found all the vdi are lost (All the node recovery has completed.). What happened? and how can I get my lost vdi?</div><div><br></div><div>thanks,</div><div><br></div><div>Hongyi</div><div>================================================</div><div>> collie vdi list</div><div><div>collie vdi list</div><div>  Name        Id    Size    Used  Shared    Creation time   VDI id  Copies  Tag</div><div>Failed to read object 801d5fbd00000000 No object found</div><div>Failed to read inode header</div><div>Failed to read object 80791a2400000000 No object found</div><div>Failed to read inode header</div><div>Failed to read object 809133bf00000000 No object found</div><div>Failed to read inode header</div><div>Failed to read object 809133c000000000 No object found</div><div>Failed to read inode header</div><div>Failed to read object 80d322dd00000000 No object found</div><div>Failed to read inode header</div></div><div>================================================</div><div><includetail><div> I started sheep on 3 nodes, here is the sheep.log shows:</div><div>z1:</div><div>....</div><div><div>May 23 21:53:49 [rw] sheep_exec_req(547) failed No object found</div><div>May 23 21:53:49 [rw] default_link(374) failed to link from /sheep/disk1/.stale/00d322dd000039f0.14 to /sheep/disk1/00d322dd000039f0, No such file or directory</div><div>May 23 21:53:49 [rw] sheep_exec_req(547) failed No object found</div><div>May 23 21:53:49 [rw] default_link(374) failed to link from /sheep/disk1/.stale/00d322dd000039f0.13 to /sheep/disk1/00d322dd000039f0, No such file or directory</div><div>May 23 21:53:49 [rw] do_epoch_log_read(93) failed to open epoch 12 log, No such file or directory</div><div>May 23 21:53:49 [main] recover_object_main(612) done:9311 count:9311, oid:d322dd000039f0</div><div>May 23 21:53:49 [main] modify_event(151) event info for fd 29 not found</div></div><div><br></div><div>z2:</div><div>....</div><div><div>May 23 22:14:38 [rw] default_link(374) failed to link from /sheep/disk2/.stale/001d5fbd00001480.14 to /sheep/disk2/001d5fbd00001480, No such file or directoy</div><div>May 23 22:14:38 [rw] sheep_exec_req(547) failed No object found</div><div>May 23 22:14:38 [rw] do_epoch_log_read(93) failed to open epoch 13 log, No such file or directory</div><div>May 23 22:14:38 [rw] sheep_exec_req(547) failed No object found</div><div>May 23 22:14:38 [rw] do_epoch_log_read(93) failed to open epoch 12 log, No such file or directory</div><div>May 23 22:14:38 [main] recover_object_main(612) done:15244 count:15244, oid:1d5fbd00001480</div><div>May 23 22:14:38 [main] modify_event(151) event info for fd 36 not found</div><div>May 23 22:14:38 [main] modify_event(151) event info for fd 38 not found</div><div>May 23 22:14:38 [main] modify_event(151) event info for fd 39 not found</div><div>May 23 22:14:38 [main] modify_event(151) event info for fd 43 not found</div><div>May 23 22:14:38 [main] modify_event(151) event info for fd 42 not found</div></div><div><br></div><div>z3:</div><div>....</div><div><div>May 08 07:22:52 [io 19984] do_epoch_log_read(93) failed to open epoch 11 log, No such file or directory</div><div>May 08 07:22:52 [io 19984] do_epoch_log_read(93) failed to open epoch 10 log, No such file or directory</div><div>May 08 07:22:52 [io 19984] do_epoch_log_read(93) failed to open epoch 9 log, No such file or directory</div><div>May 08 07:22:52 [io 19984] do_epoch_log_read(93) failed to open epoch 8 log, No such file or directory</div><div>May 08 07:22:52 [io 19984] do_epoch_log_read(93) failed to open epoch 7 log, No such file or directory</div><div>May 08 07:22:52 [io 19984] do_epoch_log_read(93) failed to open epoch 6 log, No such file or directory</div><div>May 08 07:22:57 [gway 20019] gateway_read_obj(60) local read 801d5fbd00000000 failed, No object found</div><div>May 08 07:22:57 [gway 20019] sheep_exec_req(547) failed No object found</div><div>May 08 07:22:57 [gway 19975] sheep_exec_req(547) failed No object found</div><div>May 08 07:22:57 [gway 19975] sheep_exec_req(547) failed No object found</div><div>May 08 07:22:57 [gway 20019] sheep_exec_req(547) failed No object found</div><div>May 08 07:22:57 [gway 20019] sheep_exec_req(547) failed No object found</div><div>May 08 07:22:57 [gway 19975] gateway_read_obj(60) local read 809133c000000000 failed, No object found</div><div>May 08 07:22:57 [gway 19975] sheep_exec_req(547) failed No object found</div><div>May 08 07:22:57 [gway 20019] gateway_read_obj(60) local read 80d322dd00000000 failed, No object found</div><div>May 08 07:22:57 [gway 20019] sheep_exec_req(547) failed No object found</div><div>May 08 07:30:46 [gway 19975] gateway_read_obj(60) local read 801d5fbd00000000 failed, No object found</div><div>May 08 07:30:46 [gway 19975] sheep_exec_req(547) failed No object found</div><div>May 08 07:30:46 [gway 20019] sheep_exec_req(547) failed No object found</div><div>May 08 07:30:46 [gway 20019] sheep_exec_req(547) failed No object found</div><div>May 08 07:30:46 [gway 19975] sheep_exec_req(547) failed No object found</div><div>May 08 07:30:46 [gway 19975] sheep_exec_req(547) failed No object found</div><div>May 08 07:30:46 [gway 20019] gateway_read_obj(60) local read 809133c000000000 failed, No object found</div><div>May 08 07:30:46 [gway 20019] sheep_exec_req(547) failed No object found</div><div>May 08 07:30:46 [gway 19975] gateway_read_obj(60) local read 80d322dd00000000 failed, No object found</div><div>May 08 07:30:46 [gway 19975] sheep_exec_req(547) failed No object found</div><div>May 08 07:31:13 [gway 20019] gateway_read_obj(60) local read 801d5fbd00000000 failed, No object found</div><div>May 08 07:31:13 [gway 20019] sheep_exec_req(547) failed No object found</div><div>May 08 07:31:13 [gway 19975] sheep_exec_req(547) failed No object found</div><div>May 08 07:31:13 [gway 19975] sheep_exec_req(547) failed No object found</div><div>May 08 07:31:13 [gway 20019] sheep_exec_req(547) failed No object found</div><div>May 08 07:31:13 [gway 20019] sheep_exec_req(547) failed No object found</div><div>May 08 07:31:13 [gway 19975] gateway_read_obj(60) local read 809133c000000000 failed, No object found</div><div>May 08 07:31:13 [gway 19975] sheep_exec_req(547) failed No object found</div><div>May 08 07:31:13 [gway 20019] gateway_read_obj(60) local read 80d322dd00000000 failed, No object found</div><div>May 08 07:31:13 [gway 20019] sheep_exec_req(547) failed No object found</div><div>May 08 07:31:32 [gway 19975] gateway_read_obj(60) local read 801d5fbd00000000 failed, No object found</div><div>May 08 07:31:32 [gway 19975] sheep_exec_req(547) failed No object found</div><div>May 08 07:31:32 [gway 20019] sheep_exec_req(547) failed No object found</div><div>May 08 07:31:32 [gway 20019] sheep_exec_req(547) failed No object found</div><div>May 08 07:31:32 [gway 19975] sheep_exec_req(547) failed No object found</div><div>May 08 07:31:32 [gway 19975] sheep_exec_req(547) failed No object found</div><div>May 08 07:31:32 [gway 20019] gateway_read_obj(60) local read 809133c000000000 failed, No object found</div><div>May 08 07:31:32 [gway 20019] sheep_exec_req(547) failed No object found</div><div>May 08 07:31:32 [gway 19975] gateway_read_obj(60) local read 80d322dd00000000 failed, No object found</div><div>May 08 07:31:32 [gway 19975] sheep_exec_req(547) failed No object found</div></div><div><br></div><div>============================================================================</div><div><br></div><div><br></div><div><br></div><div><br></div><div><br></div><div> </div><div style="font:Verdana normal 14px;color:#000;"><div style="FONT-SIZE: 12px;FONT-FAMILY: Arial Narrow;padding:2px 0 2px 0;">------------------ Original ------------------</div><div style="FONT-SIZE: 12px;background:#efefef;padding:8px;"><div id="menu_sender"><b>From: </b> "Liu Yuan"<namei.unix@gmail.com>;</div><div><b>Date: </b> Thu, May 23, 2013 01:37 PM</div><div><b>To: </b> "Hongyi Wang"<hongyi@zelin.io>; <wbr></div><div><b>Cc: </b> "sheepdog"<sheepdog@lists.wpkg.org>; "k"<k@zelin.io>; <wbr></div><div><b>Subject: </b> Re: [sheepdog] zookeeper quitting unexpectedly causes recoveringfrom journal file failed</div></div><div> </div>On 05/23/2013 01:29 PM, Hongyi Wang wrote:<br>> Hi, <br>> <br>> This is followed by our last test. One sheep node in our cluster<br>> connected zookeeper timeout so we tried to restart sheep on the node.<br>> However, the sheep cannot be started successfully, <br>> I am not sure if zk connection timeout could somehow causes recovering<br>> from journal file failed? Is this a bug of journal replay?<br><br>I guess it is a bug of journal replay for some corner cases. Pass 'skip'<br>for -j or simply remove files in journal dir will start the sheep again.<br><br>Thanks,<br>Yuan<br></div></includetail></div>