Rozsypujący się system plików (brak "sync"?)

[Gość mariaczi]

Cześć.

Na sprzęcia jak poniżej rozsypał się system plików ext4. "ls" pokazywał, tak jakby katalogów nie było. "testdisk" pokazuje. że "etc" to plik a nie katalog.

Zrobiłem reinstalację systemu. Na drugiej konsoli struktura katalogów oraz zajętośc dysku wyglądała w porządku, więc restart... a po restarcie system nie wstał. Po uruchomieniu z USB Live sprawdiłem i system plików znów rozsypany. Brak katalogów, tak jakby nie zostały zapisane. Ponowna reinstalacja i tym razem przed restartem zrobiłem "sync" "z palca" - dyski mieliły chwilę czasu. Gdy zgasły ich kontrolki wykonałem restart, system wstał poprawnie.

Co może być przyczyną takiej sytuacji? Uszkodzony któryś z dysków? (kontroler pokazuje wszystkie jako OK :/) Uszkodzony kontroler?

Jak mogę próbować znaleźć przyczynę tego wysypywanie się/nie zapisywania się danych na macierzy(ach)?

 

Płyta:

# dmidecode -t 1
# dmidecode 3.0
Getting SMBIOS data from sysfs.
SMBIOS 2.7 present.

Handle 0x0001, DMI type 1, 27 bytes
System Information
    Manufacturer: Supermicro
    Product Name: X9DRW
    Version: 0123456789
    Serial Number: 0123456789
    UUID: 00000000-0000-0000-0000-002590E9A478
    Wake-up Type: Power Switch
    SKU Number: To be filled by O.E.M.
    Family: To be filled by O.E.M.

Invalid entry length (16). Fixed up to 11

Konfiguracja RAID i Cache:

# /opt/MegaRAID/storcli/storcli64 -LDinfo -Lall -aAll

Adapter 0 -- Virtual Drive Information:
Virtual Drive: 0 (Target Id: 0)
Name                :
RAID Level          : Primary-6, Secondary-0, RAID Level Qualifier-3
Size                : 4.545 TB
Physical Sector Size: 512
Logical Sector Size : 512
VD has Emulated PD  : No
Parity Size         : 1.818 TB
State               : Optimal
Strip Size          : 256 KB
Number Of Drives    : 7
Span Depth          : 1
Creation Date     : 16-05-2014
Creation Time     : 10:53:00 PM
Default Cache Policy: WriteThrough, ReadAhead, Direct, No Write Cache if Bad BBU
Current Cache Policy: WriteThrough, ReadAhead, Direct, No Write Cache if Bad BBU
Default Access Policy: Read/Write
Current Access Policy: Read/Write
Disk Cache Policy   : Enabled
Encryption Type     : None
PI type: No PI

Is VD Cached: No

Exit Code: 0x00

Kontroler:

# /opt/MegaRAID/storcli/storcli64 -AdpAllInfo -aAll
Adapter #0

==============================================================================
                    Versions
                ================
Product Name    : LSI MegaRAID SAS 9271-8i
Serial No       : SV41418540
FW Package Build: 23.12.0-0011

                    Mfg. Data
                ================
Mfg. Date       : 04/01/14
Rework Date     : 00/00/00
Revision No     : 10B
Battery FRU     : N/A

                Image Versions in Flash:
                ================
BIOS Version       : 5.38.00_4.12.05.00_0x05270000
WebBIOS Version    : 6.1-62-e_62-Rel
Preboot CLI Version: 05.07-00:#%00011
FW Version         : 3.240.05-2282
NVDATA Version     : 2.1304.03-0117
Boot Block Version : 2.05.00.00-0010
BOOT Version       : 07.26.13.219

BBU brak:

 

# /opt/MegaRAID/storcli/storcli64  -AdpBbuCmd -GetBbuStatus -aAll --nolog
-Adapter 0: Get BBU Status Failed.

FW error description:
 The required hardware component is not present.  

Exit Code: 0x22

Edytowano Czerwiec 13, 2017 przez mariaczi (zobacz historię edycji)

[maniektme 99]

0. Pokaż jakie masz ustawione opcje, np. poleceniem MegaCli -LDInfo -LAll -a0 -> jeśli nie masz BBU to powinienieś mieć wyłączone to MegaCli -LDSetProp NoCachedBadBBU -LALL -aALL

1. Sprawdź logi kontrolera, skoro to LSI to możesz użyć MegaCli -adpeventlog -getevents -f lsi.log -aAll -nolog

2. Upgrade FW kontrolera.

[Gość mariaczi]

Dzięki za zainteresowanie tematem.

- Ustawienia opcji RAID i Cache podałem w poście (patrz drugi blok code).

- Zebrałem logi z kontrolera. Zacząłem przeglądać ale analiza "tego śmietnika" nie jest przyjemna i przyjazna. Na szybki rzut okiem nie znalazłem aby walił błędami.

- Wykonałem upgrade FW.

Generalnie wydaje mi się, że jak na taki porządny kontroler to wydajność I/O (mam coprawda dyski SATA) jest kiepska.

[theONE 526]

A jaka masz wydajność I/O i jak testujesz? Przy długim teście zapisu i tak nie będziesz miał więcej niż dadzą dyski.

[Gość mariaczi]

Extra testów nie wykonywałem. Potrzebowałem zrobić kopię katalogu (około 1TB) na tej samej partycji. Zapuściłem rsync'a i w iotop'ie odczyty były w okolicy 6M/s natomiast I/O waity utrzymywały się na poziomie 99,9%. Choć load serwera był bardzo niski to nawet konsolę przycinało; partycja root jest osobno.

Możesz podesłać link/info jak konkretnie wykonać testy?

 

-== edycja ==-

z iotop'a:

 

1286 be/3 root          0.00 B    136.00 K  0.00 %  9.85 % [jbd2/sda5-8]
  777 be/3 root          0.00 B      8.00 K  0.00 %  4.97 % [jbd2/sda2-8]

 

Może jakiś tuning samego filesystemu zrobić? Jest ext4 z domyślnymi opcjami montowania.

Edytowano Czerwiec 30, 2017 przez mariaczi (zobacz historię edycji)