<div><span style="font-size: 12px">Hi All,<br><br>I have a strange behavior where only one image is visible in webUI.<br>I get UBI "no space left" errors when I try to update/flash new image.<br>I dont have steps to reproduce and dont know how my BMC ended up in this state.<br><br>How do I recover from this error? /proc/mtd shows all partitions/volumes properly. <br>Is there any way to recover alternate partition without erasing SPI from uboot?</span></div><div><span style="font-size: 12px"><br></span></div><div>Logs:<br></div><div><br></div><div><span style="font-family: menlo, consolas, courier new, monospace, sans-serif;"><span style="font-size: 12px">Dec 17 09:26:21 obmc phosphor-version-software-manager[1531]: Untaring                                                  <br></span></span></div><div><span style="font-family: menlo, consolas, courier new, monospace, sans-serif;"><span style="font-size: 12px">Dec 17 09:26:21 obmc phosphor-mapper[1300]: Found invalid association on path /xyz/openbmc_project/software/c35db0b8    <br></span></span></div><div><span style="font-family: menlo, consolas, courier new, monospace, sans-serif;"><span style="font-size: 12px">Dec 17 09:26:21 obmc phosphor-mapper[1300]: Found invalid association on path /xyz/openbmc_project/software/c35db0b8    <br></span></span></div><div><span style="font-family: menlo, consolas, courier new, monospace, sans-serif;"><span style="font-size: 12px">Dec 17 09:26:21 obmc phosphor-mapper[1300]: Found invalid association on path /xyz/openbmc_project/software/c35db0b8    <br></span></span></div><div><span style="font-family: menlo, consolas, courier new, monospace, sans-serif;"><span style="font-size: 12px">Dec 17 09:26:22 obmc phosphor-image-updater[1464]: BMC image activating - BMC reboots are disabled.                     <br></span></span></div><div><span style="font-family: menlo, consolas, courier new, monospace, sans-serif;"><span style="font-size: 12px">Dec 17 09:26:22 obmc systemd[1]: Starting Enable a guard that blocks BMC reboot...                                      <br></span></span></div><div><span style="font-family: menlo, consolas, courier new, monospace, sans-serif;"><span style="font-size: 12px">Dec 17 09:26:23 obmc systemd[1]: reboot-guard-enable.service: Succeeded.                                                <br></span></span></div><div><span style="font-family: menlo, consolas, courier new, monospace, sans-serif;"><span style="font-size: 12px">Dec 17 09:26:23 obmc systemd[1]: Started Enable a guard that blocks BMC reboot.                                         <br></span></span></div><div><span style="font-family: menlo, consolas, courier new, monospace, sans-serif;"><span style="font-size: 12px">Dec 17 09:26:24 obmc systemd[1]: Created slice system-obmc\x2dflash\x2dbmc\x2dubiro.slice.                              <br></span></span></div><div><span style="font-family: menlo, consolas, courier new, monospace, sans-serif;"><span style="font-size: 12px">Dec 17 09:26:24 obmc systemd[1]: Starting Store read-only images c35db0b8 to BMC storage...                             <br></span></span></div><div><span style="font-family: menlo, consolas, courier new, monospace, sans-serif;"><span style="font-size: 12px">Dec 17 09:26:24 obmc systemd[1]: Starting Create BMC read-write ubi volume...                                           <br></span></span></div><div><span style="font-family: menlo, consolas, courier new, monospace, sans-serif;"><span style="font-size: 12px">Dec 17 09:26:25 obmc systemd[1]: obmc-flash-bmc-ubirw.service: Succeeded.                                               <br></span></span></div><div><span style="font-family: menlo, consolas, courier new, monospace, sans-serif;"><span style="font-size: 12px">Dec 17 09:26:25 obmc systemd[1]: Started Create BMC read-write ubi volume.                                              <br></span></span></div><div><span style="font-family: menlo, consolas, courier new, monospace, sans-serif;"><span style="font-size: 12px">Dec 17 09:26:27 obmc kernel: ubi4 error: ubi_create_volume: not enough PEBs, only 315 available                         <br></span></span></div><div><span style="font-family: menlo, consolas, courier new, monospace, sans-serif;"><span style="font-size: 12px">Dec 17 09:26:27 obmc kernel: ubi4 error: ubi_create_volume: cannot create volume 0, error -28                           <br></span></span></div><div><span style="font-family: menlo, consolas, courier new, monospace, sans-serif;"><span style="font-size: 12px">Dec 17 09:26:27 obmc obmc-flash-bmc[2205]: ubimkvol: error!: cannot UBI create volume                                   <br></span></span></div><div><span style="font-family: menlo, consolas, courier new, monospace, sans-serif;"><span style="font-size: 12px">Dec 17 09:26:27 obmc obmc-flash-bmc[2205]:           error 28 (No space left on device)                                 <br></span></span></div><div><span style="font-family: menlo, consolas, courier new, monospace, sans-serif;"><span style="font-size: 12px">Dec 17 09:26:27 obmc systemd[1]: </span></span><a href="mailto:obmc-flash-bmc-ubiro@c35db0b8.service"><span style="font-family: menlo, consolas, courier new, monospace, sans-serif;"><span style="font-size: 12px">obmc-flash-bmc-ubiro@c35db0b8.service</span></span></a><span style="font-family: menlo, consolas, courier new, monospace, sans-serif;"><span style="font-size: 12px">: Main process exited, code=exited, status=255/EXCN<br></span></span></div><div><span style="font-family: menlo, consolas, courier new, monospace, sans-serif;"><span style="font-size: 12px">Dec 17 09:26:27 obmc systemd[1]: </span></span><a href="mailto:obmc-flash-bmc-ubiro@c35db0b8.service"><span style="font-family: menlo, consolas, courier new, monospace, sans-serif;"><span style="font-size: 12px">obmc-flash-bmc-ubiro@c35db0b8.service</span></span></a><span style="font-family: menlo, consolas, courier new, monospace, sans-serif;"><span style="font-size: 12px">: Failed with result 'exit-code'.                 <br></span></span></div><div><span style="font-family: menlo, consolas, courier new, monospace, sans-serif;"><span style="font-size: 12px">Dec 17 09:26:27 obmc systemd[1]: Failed to start Store read-only images c35db0b8 to BMC storage.                        <br></span></span></div><div><span style="font-family: menlo, consolas, courier new, monospace, sans-serif;"><span style="font-size: 12px">Dec 17 09:26:27 obmc phosphor-image-updater[1464]: BMC activation has ended - BMC reboots are re-enabled.               <br></span></span></div><div><span style="font-family: menlo, consolas, courier new, monospace, sans-serif;"><span style="font-size: 12px">Dec 17 09:26:27 obmc systemd[1]: </span></span><a href="mailto:obmc-flash-bmc-ubiro@c35db0b8.service"><span style="font-family: menlo, consolas, courier new, monospace, sans-serif;"><span style="font-size: 12px">obmc-flash-bmc-ubiro@c35db0b8.service</span></span></a><span style="font-family: menlo, consolas, courier new, monospace, sans-serif;"><span style="font-size: 12px">: Triggering OnFailure= dependencies.             <br></span></span></div><div><span style="font-family: menlo, consolas, courier new, monospace, sans-serif;"><span style="font-size: 12px">Dec 17 09:26:27 obmc systemd[1]: Starting Removes the guard that blocks BMC reboot...                                   <br></span></span></div><div><span style="font-family: menlo, consolas, courier new, monospace, sans-serif;"><span style="font-size: 12px">Dec 17 09:26:27 obmc systemd[1]: Created slice system-obmc\x2dflash\x2dbmc\x2dubiro\x2dremove.slice.                    <br></span></span></div><div><span style="font-family: menlo, consolas, courier new, monospace, sans-serif;"><span style="font-size: 12px">Dec 17 09:26:27 obmc systemd[1]: Starting Deletes read-only and kernel ubi volume c35db0b8...                           <br></span></span></div><div><span style="font-family: menlo, consolas, courier new, monospace, sans-serif;"><span style="font-size: 12px">Dec 17 09:26:28 obmc systemd[1]: reboot-guard-disable.service: Succeeded.                                               <br></span></span></div><div><span style="font-family: menlo, consolas, courier new, monospace, sans-serif;"><span style="font-size: 12px">Dec 17 09:26:28 obmc systemd[1]: Started Removes the guard that blocks BMC reboot.                                      <br></span></span></div><div><span style="font-family: menlo, consolas, courier new, monospace, sans-serif;"><span style="font-size: 12px">Dec 17 09:26:28 obmc systemd[1]: </span></span><a href="mailto:obmc-flash-bmc-ubiro-remove@c35db0b8.service"><span style="font-family: menlo, consolas, courier new, monospace, sans-serif;"><span style="font-size: 12px">obmc-flash-bmc-ubiro-remove@c35db0b8.service</span></span></a><span style="font-family: menlo, consolas, courier new, monospace, sans-serif;"><span style="font-size: 12px">: Succeeded.                               <br></span></span></div><div><span style="font-family: menlo, consolas, courier new, monospace, sans-serif;"><span style="font-size: 12px">Dec 17 09:26:28 obmc systemd[1]: Started Deletes read-only and kernel ubi volume c35db0b8.                              <br></span></span></div><div><span style="font-family: menlo, consolas, courier new, monospace, sans-serif;"><span style="font-size: 12px">root@obmc:~#                                                                                             <br></span></span></div><div><span style="font-size: 12px"><span style="font-family: menlo, consolas, courier new, monospace, sans-serif;">root@obmc:~#<br></span></span></div><div><br></div><div><span style="font-size: 12px"><span style="font-family: menlo, consolas, courier new, monospace, sans-serif;">root@obmc:~# ubinfo                                                                                                     <br></span></span></div><div><span style="font-size: 12px"><span style="font-family: menlo, consolas, courier new, monospace, sans-serif;">UBI version:                    1                                                                                        <br></span></span></div><div><span style="font-size: 12px"><span style="font-family: menlo, consolas, courier new, monospace, sans-serif;">Count of UBI devices:           2                                                                                        <br></span></span></div><div><span style="font-size: 12px"><span style="font-family: menlo, consolas, courier new, monospace, sans-serif;">UBI control device major/minor: 10:59                                                                                    <br></span></span></div><div><span style="font-size: 12px"><span style="font-family: menlo, consolas, courier new, monospace, sans-serif;">Present UBI devices:            ubi0, ubi4</span></span><br></div><div><span style="font-size: 12px"><span style="font-family: menlo, consolas, courier new, monospace, sans-serif;"></span></span><br></div><div><span style="font-family: menlo, consolas, courier new, monospace, sans-serif;"><span style="font-size: 12px">root@obmc:~# ubinfo -d 0 -n 0                                                                                           <br></span></span></div><div><span style="font-family: menlo, consolas, courier new, monospace, sans-serif;"><span style="font-size: 12px">Volume ID:   0 (on ubi0)                                                                                                 <br></span></span></div><div><span style="font-family: menlo, consolas, courier new, monospace, sans-serif;"><span style="font-size: 12px">Type:        static                                                                                                      <br></span></span></div><div><span style="font-family: menlo, consolas, courier new, monospace, sans-serif;"><span style="font-size: 12px">Alignment:   1                                                                                                           <br></span></span></div><div><span style="font-family: menlo, consolas, courier new, monospace, sans-serif;"><span style="font-size: 12px">Size:        293 LEBs (19164544 bytes, 18.2 MiB)                                                                         <br></span></span></div><div><span style="font-family: menlo, consolas, courier new, monospace, sans-serif;"><span style="font-size: 12px">Data bytes:  19128320 bytes (18.2 MiB)                                                                                   <br></span></span></div><div><span style="font-family: menlo, consolas, courier new, monospace, sans-serif;"><span style="font-size: 12px">State:       OK                                                                                                          <br></span></span></div><div><span style="font-family: menlo, consolas, courier new, monospace, sans-serif;"><span style="font-size: 12px">Name:        rofs-956f13ca                                                                                               <br></span></span></div><div><span style="font-family: menlo, consolas, courier new, monospace, sans-serif;"><span style="font-size: 12px">Character device major/minor: 246:1                                                                                      <br></span></span></div><div><span style="font-family: menlo, consolas, courier new, monospace, sans-serif;"><span style="font-size: 12px">root@obmc:~# ubinfo -d 0 -n 1                                                                                           <br></span></span></div><div><span style="font-family: menlo, consolas, courier new, monospace, sans-serif;"><span style="font-size: 12px">Volume ID:   1 (on ubi0)                                                                                                 <br></span></span></div><div><span style="font-family: menlo, consolas, courier new, monospace, sans-serif;"><span style="font-size: 12px">Type:        static                                                                                                      <br></span></span></div><div><span style="font-family: menlo, consolas, courier new, monospace, sans-serif;"><span style="font-size: 12px">Alignment:   1                                                                                                           <br></span></span></div><div><span style="font-family: menlo, consolas, courier new, monospace, sans-serif;"><span style="font-size: 12px">Size:        43 LEBs (2812544 bytes, 2.6 MiB)                                                                            <br></span></span></div><div><span style="font-family: menlo, consolas, courier new, monospace, sans-serif;"><span style="font-size: 12px">Data bytes:  2767008 bytes (2.6 MiB)                                                                                     <br></span></span></div><div><span style="font-family: menlo, consolas, courier new, monospace, sans-serif;"><span style="font-size: 12px">State:       OK                                                                                                          <br></span></span></div><div><span style="font-family: menlo, consolas, courier new, monospace, sans-serif;"><span style="font-size: 12px">Name:        kernel-956f13ca                                                                                             <br></span></span></div><div><span style="font-family: menlo, consolas, courier new, monospace, sans-serif;"><span style="font-size: 12px">Character device major/minor: 246:2                                                                                      <br></span></span></div><div><span style="font-family: menlo, consolas, courier new, monospace, sans-serif;"><span style="font-size: 12px">root@obmc:~# ubinfo -d 0 -n 2                                                                                           <br></span></span></div><div><span style="font-family: menlo, consolas, courier new, monospace, sans-serif;"><span style="font-size: 12px">Volume ID:   2 (on ubi0)                                                                                                 <br></span></span></div><div><span style="font-family: menlo, consolas, courier new, monospace, sans-serif;"><span style="font-size: 12px">Type:        dynamic                                                                                                     <br></span></span></div><div><span style="font-family: menlo, consolas, courier new, monospace, sans-serif;"><span style="font-size: 12px">Alignment:   1                                                                                                           <br></span></span></div><div><span style="font-family: menlo, consolas, courier new, monospace, sans-serif;"><span style="font-size: 12px">Size:        97 LEBs (6344576 bytes, 6.0 MiB)                                                                            <br></span></span></div><div><span style="font-family: menlo, consolas, courier new, monospace, sans-serif;"><span style="font-size: 12px">State:       OK                                                                                                          <br></span></span></div><div><span style="font-family: menlo, consolas, courier new, monospace, sans-serif;"><span style="font-size: 12px">Name:        rwfs                                                                                                        <br></span></span></div><div><span style="font-family: menlo, consolas, courier new, monospace, sans-serif;"><span style="font-size: 12px">Character device major/minor: 246:3                                                                                      <br></span></span></div><div><span style="font-family: menlo, consolas, courier new, monospace, sans-serif;"><span style="font-size: 12px">root@obmc:~# ubinfo -d 0 -n 3                                                                                           <br></span></span></div><div><span style="font-family: menlo, consolas, courier new, monospace, sans-serif;"><span style="font-size: 12px">ubinfo: error!: cannot get information about UBI volume 3 on ubi0                                                        <br></span></span></div><div><span style="font-family: menlo, consolas, courier new, monospace, sans-serif;"><span style="font-size: 12px">        error 2 (No such file or directory)                                                                              <br></span></span></div><div><br></div><div><span style="font-family: menlo, consolas, courier new, monospace, sans-serif;"><span style="font-size: 12px">root@obmc:~# ubinfo -d 4 -n 0                                                                                           <br></span></span></div><div><span style="font-family: menlo, consolas, courier new, monospace, sans-serif;"><span style="font-size: 12px">ubinfo: error!: cannot get information about UBI volume 0 on ubi4                                                        <br></span></span></div><div><span style="font-family: menlo, consolas, courier new, monospace, sans-serif;"><span style="font-size: 12px">        error 2 (No such file or directory)                                                                              <br></span></span></div><div><span style="font-family: menlo, consolas, courier new, monospace, sans-serif;"><span style="font-size: 12px">root@obmc:~# ubinfo -d 4 -n 1                                                                                           <br></span></span></div><div><span style="font-family: menlo, consolas, courier new, monospace, sans-serif;"><span style="font-size: 12px">Volume ID:   1 (on ubi4)                                                                                                 <br></span></span></div><div><span style="font-family: menlo, consolas, courier new, monospace, sans-serif;"><span style="font-size: 12px">Type:        static                                                                                                      <br></span></span></div><div><span style="font-family: menlo, consolas, courier new, monospace, sans-serif;"><span style="font-size: 12px">Alignment:   1                                                                                                           <br></span></span></div><div><span style="font-family: menlo, consolas, courier new, monospace, sans-serif;"><span style="font-size: 12px">Size:        43 LEBs (2812544 bytes, 2.6 MiB)                                                                            <br></span></span></div><div><span style="font-family: menlo, consolas, courier new, monospace, sans-serif;"><span style="font-size: 12px">Data bytes:  2767008 bytes (2.6 MiB)                                                                                     <br></span></span></div><div><span style="font-family: menlo, consolas, courier new, monospace, sans-serif;"><span style="font-size: 12px">State:       OK                                                                                                          <br></span></span></div><div><span style="font-family: menlo, consolas, courier new, monospace, sans-serif;"><span style="font-size: 12px">Name:        kernel-7e7e1530                                                                                             <br></span></span></div><div><span style="font-family: menlo, consolas, courier new, monospace, sans-serif;"><span style="font-size: 12px">Character device major/minor: 245:2                                                                                      <br></span></span></div><div><span style="font-family: menlo, consolas, courier new, monospace, sans-serif;"><span style="font-size: 12px">root@obmc:~# ubinfo -d 4 -n 2                                                                                           <br></span></span></div><div><span style="font-family: menlo, consolas, courier new, monospace, sans-serif;"><span style="font-size: 12px">Volume ID:   2 (on ubi4)                                                                                                 <br></span></span></div><div><span style="font-family: menlo, consolas, courier new, monospace, sans-serif;"><span style="font-size: 12px">Type:        dynamic                                                                                                     <br></span></span></div><div><span style="font-family: menlo, consolas, courier new, monospace, sans-serif;"><span style="font-size: 12px">Alignment:   1                                                                                                           <br></span></span></div><div><span style="font-family: menlo, consolas, courier new, monospace, sans-serif;"><span style="font-size: 12px">Size:        97 LEBs (6344576 bytes, 6.0 MiB)                                                                            <br></span></span></div><div><span style="font-family: menlo, consolas, courier new, monospace, sans-serif;"><span style="font-size: 12px">State:       OK                                                                                                          <br></span></span></div><div><span style="font-family: menlo, consolas, courier new, monospace, sans-serif;"><span style="font-size: 12px">Name:        rwfs                                                                                                        <br></span></span></div><div><span style="font-family: menlo, consolas, courier new, monospace, sans-serif;"><span style="font-size: 12px">Character device major/minor: 245:3                                                                                      <br></span></span></div><div><span style="font-family: menlo, consolas, courier new, monospace, sans-serif;"><span style="font-size: 12px">root@obmc:~# ubinfo -d 4 -n 3                                                                                           <br></span></span></div><div><span style="font-family: menlo, consolas, courier new, monospace, sans-serif;"><span style="font-size: 12px">Volume ID:   3 (on ubi4)                                                                                                 <br></span></span></div><div><span style="font-family: menlo, consolas, courier new, monospace, sans-serif;"><span style="font-size: 12px">Type:        static                                                                                                      <br></span></span></div><div><span style="font-family: menlo, consolas, courier new, monospace, sans-serif;"><span style="font-size: 12px">Alignment:   1                                                                                                           <br></span></span></div><div><span style="font-family: menlo, consolas, courier new, monospace, sans-serif;"><span style="font-size: 12px">Size:        43 LEBs (2812544 bytes, 2.6 MiB)                                                                            <br></span></span></div><div><span style="font-family: menlo, consolas, courier new, monospace, sans-serif;"><span style="font-size: 12px">Data bytes:  2767008 bytes (2.6 MiB)                                                                                     <br></span></span></div><div><span style="font-family: menlo, consolas, courier new, monospace, sans-serif;"><span style="font-size: 12px">State:       OK                                                                                                          <br></span></span></div><div><span style="font-family: menlo, consolas, courier new, monospace, sans-serif;"><span style="font-size: 12px">Name:        kernel-956f13ca                                                                                             <br></span></span></div><div><span style="font-family: menlo, consolas, courier new, monospace, sans-serif;"><span style="font-size: 12px">Character device major/minor: 245:4                                                                                      <br></span></span></div><div><span style="font-family: menlo, consolas, courier new, monospace, sans-serif;"><span style="font-size: 12px">root@obmc:~#</span></span><br></div>