Niska wydajność kontrolera PERC 5/i

[ambrozy 0]

Proszę o pomoc w zdiagnozowaniu przyczyny niskiej wydajności kontrolera DELL PERC 5/I

 

Aktualnie wygląda to tak:

 

./iops --num_threads 1 --time 2 /dev/sda

/dev/sda, 299.44 GB, 32 threads:

512 B blocks: 149.7 IO/s, 74.9 KiB/s (613.3 kbit/s)

1 KiB blocks: 140.6 IO/s, 140.6 KiB/s ( 1.2 Mbit/s)

2 KiB blocks: 130.9 IO/s, 261.8 KiB/s ( 2.1 Mbit/s)

4 KiB blocks: 123.2 IO/s, 492.7 KiB/s ( 4.0 Mbit/s)

8 KiB blocks: 118.6 IO/s, 948.5 KiB/s ( 7.8 Mbit/s)

16 KiB blocks: 108.2 IO/s, 1.7 MiB/s ( 14.2 Mbit/s)

32 KiB blocks: 90.4 IO/s, 2.8 MiB/s ( 23.7 Mbit/s)

64 KiB blocks: 63.4 IO/s, 4.0 MiB/s ( 33.2 Mbit/s)

128 KiB blocks: 49.3 IO/s, 6.2 MiB/s ( 51.7 Mbit/s)

256 KiB blocks: 39.2 IO/s, 9.8 MiB/s ( 82.2 Mbit/s)

512 KiB blocks: 30.3 IO/s, 15.1 MiB/s (126.9 Mbit/s)

 

dd if=/dev/zero of=/tmp/test bs=64k count=10k conv=fdatasync

10240+0 przeczytanych recordów

10240+0 zapisanych recordów

skopiowane 671088640 bajtów (671 MB), 15,4827 s, 43,3 MB/s

 

dd if=/dev/zero of=test bs=64k count=10k conv=fdatasync

10240+0 przeczytanych recordów

10240+0 zapisanych recordów

skopiowane 671088640 bajtów (671 MB), 21,5216 s, 31,2 MB/s

 

Parametry kontrolera: http://pastebin.com/ADmCBTCm

Edytowano Styczeń 25, 2013 przez ambrozy (zobacz historię edycji)

[theONE 526]

1) Czy podczas testów dyski nic innego nie robia?

2) Jak dyski są podłączone bezpośrednio to jaka jest wydajność

3) Jakie dyski

4) Jaka wydajność dysków bez kontrolera

[ambrozy 0]

1. uruchomionych jest parę serwerów wirtualnych, ale dyski praktycznie nic nie robią

2. niestety nie wiem

3. Vendor: MAXTOR
Product: ATLAS10K5_300SAS

4. niestety nie wiem, jak w punkcie 2

[przemon 35]

Hej

 

To jest coś co dopiero postawiłeś i wydajnośc jest niska, czy to już działało poprawnie jakiś czas i nagle kwiatki wychodzą?

 

[nesti 67]

Podaj modele wszystkich dysków. (seria firmware, wszystko)

Edytowano Styczeń 25, 2013 przez nesti (zobacz historię edycji)

[Gość patrys]

Jaka to wirtualizacja?

SAS nie będzie miał wysokich IO/s, odczyty są takie sobie Perc szału nigdy nie robił.

 

Masz takie porównanie SSD vs SATA na testowym HP z lepszym kontrolerem.

[root@hptest ~]# python iops --num_threads 1 --time 2 /dev/sda1
/dev/sda1, 268.44 MB, 1 threads:
 512   B blocks: 70172.4 IO/s,  34.3 MiB/s (287.4 Mbit/s)
   1 KiB blocks: 69755.9 IO/s,  68.1 MiB/s (571.4 Mbit/s)
   2 KiB blocks: 107480.9 IO/s, 209.9 MiB/s (  1.8 Gbit/s)
   4 KiB blocks: 103281.2 IO/s, 403.4 MiB/s (  3.4 Gbit/s)
   8 KiB blocks: 91986.2 IO/s, 718.6 MiB/s (  6.0 Gbit/s)
  16 KiB blocks: 78153.4 IO/s,   1.2 GiB/s ( 10.2 Gbit/s)
  32 KiB blocks: 56921.7 IO/s,   1.7 GiB/s ( 14.9 Gbit/s)
  64 KiB blocks: 37891.7 IO/s,   2.3 GiB/s ( 19.9 Gbit/s)
 128 KiB blocks: 23289.6 IO/s,   2.8 GiB/s ( 24.4 Gbit/s)
 256 KiB blocks: 9641.8 IO/s,   2.4 GiB/s ( 20.2 Gbit/s)
 512 KiB blocks: 4770.6 IO/s,   2.3 GiB/s ( 20.0 Gbit/s)
   1 MiB blocks: 2347.4 IO/s,   2.3 GiB/s ( 19.7 Gbit/s)
   2 MiB blocks:  703.5 IO/s,   1.4 GiB/s ( 11.8 Gbit/s)
   4 MiB blocks:  399.4 IO/s,   1.6 GiB/s ( 13.4 Gbit/s)
   8 MiB blocks:  192.8 IO/s,   1.5 GiB/s ( 12.9 Gbit/s)
  16 MiB blocks:  121.8 IO/s,   1.9 GiB/s ( 16.4 Gbit/s)
  32 MiB blocks:   18.4 IO/s, 590.1 MiB/s (  5.0 Gbit/s)
  64 MiB blocks:    2.7 IO/s, 171.9 MiB/s (  1.4 Gbit/s)
 128 MiB blocks:    2.8 IO/s, 354.5 MiB/s (  3.0 Gbit/s)
[root@hptest ~]# python iops --num_threads 1 --time 2 /dev/sdb1
/dev/sdb1,   1.00 TB, 1 threads:
 512   B blocks:   62.4 IO/s,  31.2 KiB/s (255.8 kbit/s)
   1 KiB blocks:   62.3 IO/s,  62.3 KiB/s (510.2 kbit/s)
   2 KiB blocks:   61.6 IO/s, 123.2 KiB/s (  1.0 Mbit/s)
   4 KiB blocks:   55.1 IO/s, 220.3 KiB/s (  1.8 Mbit/s)
   8 KiB blocks:   49.4 IO/s, 395.5 KiB/s (  3.2 Mbit/s)
  16 KiB blocks:   34.3 IO/s, 548.8 KiB/s (  4.5 Mbit/s)
  32 KiB blocks:   30.8 IO/s, 984.6 KiB/s (  8.1 Mbit/s)
  64 KiB blocks:   23.2 IO/s,   1.5 MiB/s ( 12.2 Mbit/s)
 128 KiB blocks:   24.9 IO/s,   3.1 MiB/s ( 26.1 Mbit/s)
 256 KiB blocks:   20.7 IO/s,   5.2 MiB/s ( 43.4 Mbit/s)
 512 KiB blocks:   17.4 IO/s,   8.7 MiB/s ( 72.8 Mbit/s)
   1 MiB blocks:   11.8 IO/s,  11.8 MiB/s ( 99.1 Mbit/s)
   2 MiB blocks:    9.1 IO/s,  18.1 MiB/s (152.2 Mbit/s)
   4 MiB blocks:    6.2 IO/s,  24.8 MiB/s (207.9 Mbit/s)
   8 MiB blocks:    5.9 IO/s,  47.3 MiB/s (396.6 Mbit/s)
  16 MiB blocks:    6.0 IO/s,  96.5 MiB/s (809.4 Mbit/s)
  32 MiB blocks:    3.9 IO/s, 126.3 MiB/s (  1.1 Gbit/s)
  64 MiB blocks:    2.3 IO/s, 144.8 MiB/s (  1.2 Gbit/s)
 128 MiB blocks:    1.4 IO/s, 184.2 MiB/s (  1.5 Gbit/s)
 256 MiB blocks:    0.7 IO/s, 191.1 MiB/s (  1.6 Gbit/s)

[ambrozy 0]

przemon: niestety od niedawna administruje tym systemem

nesti: informacje o dyskach ze SMARTa: http://pastebin.com/kLh2TZy3 i z kontrolera: http://pastebin.com/VEWm3hMF

patrys: to serwer postawiony na Debianie 5.0.9 2.6.32.12-grsec

 

 

Wydaje mi się, że przyczyną problemu jest padnięta bateria pomimo, iż jej stan określony jest jako "Operational". Mianowicie nie mogę ustawić WriteBack dla Current Cache Policy:

# megacli -LDInfo -L0 -a0

Adapter 0 -- Virtual Drive Information:
Virtual Drive: 0 (Target Id: 0)
Name :
RAID Level : Primary-1, Secondary-0, RAID Level Qualifier-0
Size : 278.875 GB
Mirror Data : 278.875 GB
State : Optimal
Strip Size : 64 KB
Number Of Drives : 2
Span Depth : 1
Default Cache Policy: WriteBack, ReadAdaptive, Cached, No Write Cache if Bad BBU
Current Cache Policy: WriteThrough, ReadAdaptive, Cached, No Write Cache if Bad BBU
Default Access Policy: Read/Write
Current Access Policy: Read/Write
Disk Cache Policy : Enabled
Encryption Type : None
Is VD Cached: No


#megacli -AdpEventLog -GetSinceReboot -f events.log -aALL

Time: Fri Jan 25 10:58:35 2013
Event Description: Battery relearn started

Time: Fri Jan 25 10:58:52 2013
Event Description: Battery is discharging

Time: Fri Jan 25 10:58:52 2013
Event Description: Battery relearn in progress

Time: Fri Jan 25 10:58:52 2013
Event Description: BBU enabled; changing WT virtual disks to WB

Time: Fri Jan 25 10:58:52 2013
Event Description: Policy change on VD 00/0 to [iD=00,dcp=6d,ccp=6d,ap=0,dc=1,dbgi=0] from [iD=00,dcp=6d,ccp=6c,ap=0,dc=1,dbgi=0]

Time: Fri Jan 25 11:01:07 2013
Event Description: Policy change on VD 00/0 to [iD=00,dcp=6d,ccp=6c,ap=0,dc=1,dbgi=0] from [iD=00,dcp=6d,ccp=6d,ap=0,dc=1,dbgi=0]

Time: Fri Jan 25 11:32:07 2013
Event Description: Battery started charging

Time: Fri Jan 25 11:32:07 2013
Event Description: Current capacity of the battery is below threshold

[szirok 0]

BBWC sprawne jest ?

[nesti 67]

Nie chcę Cię martwić, ale bateria jest bardzo droga. Ważne też żeby firmware dysków był ten sam, to raid 0 czy 1?

[ambrozy 0]

szirok: W sensie bateria? Informacje o BBU zamieściłem na samym dole: http://pastebin.com/ADmCBTCm

 

Battery State : Operational

Battery Replacement required : No

Remaining Capacity: 416 mAh
Full Charge Capacity: 418 mAh

Design Capacity: 1900 mAh

 

Full Charge Capacity znacznie odbiega od Design Capacity.

 

nesti: RAID 1, nie wiem czy FW dysków jest taki sam...nigdzie nie mogę znaleźć informacji o FW...Revision jest taki sam.

[theONE 526]

Ale ten cache powinno dać się włączyć niezależnie od stanu baterii, fakt faktem jest to ryzykowne ale kontroler powinien na to pozwolić, bateria jest stara ale nie wygląda na wadliwą.

[Gość patrys]

To uroki LSI, ale bateryjka nadaje się do wymiany choć pytanie czy warto...

[Gość Adam Szendzielorz]

Spróbuj:

 

megacli -LDSetProp CachedBadBBU -L0 -a0

 

I potem ew. jak jeszcze dalej nie jest writeback to:

 

megacli -LDSetProp WB -L0 -a0

 

 

To uroki LSI, ale bateryjka nadaje się do wymiany choć pytanie czy warto...

 

Pytanie o to gdzie stoją maszyny i jak pewne jest zasilanie. Jak serwerownia pewna to spokojnie przy takiej bateryjce ~400mAh bym się o write-back nie obawiał

[ambrozy 0]

megacli -LDSetProp CachedBadBBU -L0 -a0

 

Adam: dzięki, powyższa opcja wymusiła WriteBack:

Current Cache Policy: WriteBack, ReadAdaptive, Cached, Write Cache OK if Bad BBU

 

Jest poprawa: skopiowane 671088640 bajtów (671 MB), 10,4656 s, 64,1 MB/s

 

Co jeszcze polecilibyście sprawdzić?

[Gość patrys]

Nic wszystko jest ok, sam na większości serwerów z LSI mam to w większości wymuszone w taki sposób, bo nie było innego wyjścia z tym.

Dla poprawienia wydajności dorzucił bym dwa dyski i zrobił raid 10 z tego.

 

[ambrozy 0]

patrys: ok, wielkie dzięki