Как Π½Π°ΡΡ‚Ρ€ΠΎΠΈΡ‚ΡŒ Π·Π΅Ρ€ΠΊΠ°Π»Π° Π½Π° Solaris: ZFS ΠΈ iSCSI

НСпосрСдствСнная настройка Π·Π΅Ρ€ΠΊΠ°Π» Π½Π° Oracle Solaris начинаСтся с ΠΏΡ€ΠΎΠ²Π΅Ρ€ΠΊΠΈ физичСской доступности дисковых устройств Ρ‡Π΅Ρ€Π΅Π· ΡƒΡ‚ΠΈΠ»ΠΈΡ‚Ρƒ format ΠΈΠ»ΠΈ ΠΊΠΎΠΌΠ°Π½Π΄Ρƒ zpool status для ΠΈΡΠΊΠ»ΡŽΡ‡Π΅Π½ΠΈΡ Π°ΠΏΠΏΠ°Ρ€Π°Ρ‚Π½Ρ‹Ρ… ошибок ΠΏΠ΅Ρ€Π΅Π΄ созданиСм ΠΏΡƒΠ»Π°. Если Π²Ρ‹ ΠΏΠ»Π°Π½ΠΈΡ€ΡƒΠ΅Ρ‚Π΅ Ρ€Π΅Π°Π»ΠΈΠ·ΠΎΠ²Π°Ρ‚ΡŒ ΠΎΡ‚ΠΊΠ°Π·ΠΎΡƒΡΡ‚ΠΎΠΉΡ‡ΠΈΠ²ΠΎΡΡ‚ΡŒ Π΄Π°Π½Π½Ρ‹Ρ…, ΠΏΠ΅Ρ€Π²ΠΈΡ‡Π½Ρ‹ΠΌ шагом являСтся идСнтификация свободных дисков, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ Π±ΡƒΠ΄ΡƒΡ‚ ΠΎΠ±ΡŠΠ΅Π΄ΠΈΠ½Π΅Π½Ρ‹ Π² Π·Π΅Ρ€ΠΊΠ°Π»ΡŒΠ½ΡƒΡŽ структуру ZFS mirror ΠΈΠ»ΠΈ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Π½Ρ‹ ΠΊΠ°ΠΊ Ρ†Π΅Π»ΠΈ для iSCSI. ΠžΡˆΠΈΠ±ΠΎΡ‡Π½Ρ‹ΠΉ Π²Ρ‹Π±ΠΎΡ€ диска Π½Π° этом этапС ΠΌΠΎΠΆΠ΅Ρ‚ привСсти ΠΊ ΠΏΠΎΡ‚Π΅Ρ€Π΅ Π΄Π°Π½Π½Ρ‹Ρ… Π½Π° смСТных Ρ€Π°Π·Π΄Π΅Π»Π°Ρ…, поэтому Π²Π½ΠΈΠΌΠ°Ρ‚Π΅Π»ΡŒΠ½Π°Ρ диагностика β€” критичСски Π²Π°ΠΆΠ½Ρ‹ΠΉ этап.

Для Ρ€Π°Π±ΠΎΡ‚Ρ‹ с дисковой подсистСмой Π²Π°ΠΌ потрСбуСтся Π½Π°Π»ΠΈΡ‡ΠΈΠ΅ ΠΏΡ€Π°Π² ΡΡƒΠΏΠ΅Ρ€ΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚Π΅Π»Ρ ΠΈΠ»ΠΈ использованиС профиля Primary Administrator. Π’ зависимости ΠΎΡ‚ вСрсии ΠΎΠΏΠ΅Ρ€Π°Ρ†ΠΈΠΎΠ½Π½ΠΎΠΉ систСмы Solaris 10 ΠΈΠ»ΠΈ Solaris 11, синтаксис Π½Π΅ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Ρ… ΠΊΠΎΠΌΠ°Π½Π΄ ΠΌΠΎΠΆΠ΅Ρ‚ Π½Π΅Π·Π½Π°Ρ‡ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎ ΠΎΡ‚Π»ΠΈΡ‡Π°Ρ‚ΡŒΡΡ, Π½ΠΎ базовая Π»ΠΎΠ³ΠΈΠΊΠ° построСния Π·Π΅Ρ€ΠΊΠ°Π» остаСтся Π½Π΅ΠΈΠ·ΠΌΠ΅Π½Π½ΠΎΠΉ. Π’Π°ΠΆΠ½ΠΎ ΠΏΠΎΠ½ΠΈΠΌΠ°Ρ‚ΡŒ, Ρ‡Ρ‚ΠΎ созданиС Π·Π΅Ρ€ΠΊΠ°Π»Π° β€” это Π½Π΅ просто ΠΊΠΎΠΏΠΈΡ€ΠΎΠ²Π°Π½ΠΈΠ΅ Ρ„Π°ΠΉΠ»ΠΎΠ², Π° Ρ„ΠΎΡ€ΠΌΠΈΡ€ΠΎΠ²Π°Π½ΠΈΠ΅ логичСского Ρ‚ΠΎΠΌΠ° с ΠΈΠ·Π±Ρ‹Ρ‚ΠΎΡ‡Π½ΠΎΡΡ‚ΡŒΡŽ.

ΠŸΠ΅Ρ€Π²Ρ‹ΠΌ шагом Π² процСссС конфигурирования являСтся физичСскоС ΠΏΠΎΠ΄ΠΊΠ»ΡŽΡ‡Π΅Π½ΠΈΠ΅ дисков ΠΈ ΠΈΡ… ΠΎΠ±Π½Π°Ρ€ΡƒΠΆΠ΅Π½ΠΈΠ΅ ΠΎΠΏΠ΅Ρ€Π°Ρ†ΠΈΠΎΠ½Π½ΠΎΠΉ систСмой. Π’Ρ‹ Π΄ΠΎΠ»ΠΆΠ½Ρ‹ ΡƒΠ±Π΅Π΄ΠΈΡ‚ΡŒΡΡ, Ρ‡Ρ‚ΠΎ ΠΊΠΎΠ½Ρ‚Ρ€ΠΎΠ»Π»Π΅Ρ€ дисков ΠΏΡ€Π°Π²ΠΈΠ»ΡŒΠ½ΠΎ ΠΎΠΏΡ€Π΅Π΄Π΅Π»ΠΈΠ» Π½ΠΎΠ²Ρ‹Π΅ устройства, ΠΈ ΠΎΠ½ΠΈ ΠΎΡ‚ΠΎΠ±Ρ€Π°ΠΆΠ°ΡŽΡ‚ΡΡ Π² систСмС Π±Π΅Π· ошибок.

Π˜ΡΠΏΠΎΠ»ΡŒΠ·ΡƒΠΉΡ‚Π΅ ΠΊΠΎΠΌΠ°Π½Π΄Ρƒ format для просмотра списка доступных дисков. Π’ ΠΈΠ½Ρ‚Π΅Ρ€Π°ΠΊΡ‚ΠΈΠ²Π½ΠΎΠΌ Ρ€Π΅ΠΆΠΈΠΌΠ΅ ΡƒΡ‚ΠΈΠ»ΠΈΡ‚Ρ‹ ΠΌΠΎΠΆΠ½ΠΎ Π³Π΅ΠΎΠΌΠ΅Ρ‚Ρ€ΠΈΡŽ диска ΠΈ Π΅Π³ΠΎ состояниС. Если диск Π½ΠΎΠ²Ρ‹ΠΉ, ΠΎΠ½ ΠΌΠΎΠΆΠ΅Ρ‚ ΠΏΠΎΡ‚Ρ€Π΅Π±ΠΎΠ²Π°Ρ‚ΡŒ форматирования ΠΈΠ»ΠΈ создания Ρ‚Π°Π±Π»ΠΈΡ†Ρ‹ Ρ€Π°Π·Π΄Π΅Π»ΠΎΠ² ΠΏΠ΅Ρ€Π΅Π΄ использованиСм Π² ΠΏΡƒΠ»Π΅ ZFS.

ΠΠ»ΡŒΡ‚Π΅Ρ€Π½Π°Ρ‚ΠΈΠ²Π½Ρ‹ΠΌ способом ΠΏΡ€ΠΎΠ²Π΅Ρ€ΠΊΠΈ являСтся использованиС ΠΊΠΎΠΌΠ°Π½Π΄Ρ‹ cfgadm -al, которая ΠΏΠΎΠΊΠ°Π·Ρ‹Π²Π°Π΅Ρ‚ состояниС Ρ‚ΠΎΡ‡Π΅ΠΊ ΠΏΠΎΠ΄ΠΊΠ»ΡŽΡ‡Π΅Π½ΠΈΡ ΠΈ устройств. Π­Ρ‚ΠΎ особСнно ΠΏΠΎΠ»Π΅Π·Π½ΠΎ Π² срСдах с горячим Π·Π°ΠΌΠ΅Π½ΠΎΠΉ дисков, Π³Π΄Π΅ Π²Π°ΠΆΠ½ΠΎ Π²ΠΈΠ΄Π΅Ρ‚ΡŒ статус ΠΏΠΎΠ΄ΠΊΠ»ΡŽΡ‡Π΅Π½ΠΈΡ Π±Π΅Π· ΠΏΠ΅Ρ€Π΅Π·Π°Π³Ρ€ΡƒΠ·ΠΊΠΈ систСмы.

Π‘ΠΎΠ·Π΄Π°Π½ΠΈΠ΅ Π·Π΅Ρ€ΠΊΠ°Π»ΡŒΠ½ΠΎΠ³ΠΎ ΠΏΡƒΠ»Π° ZFS

ΠžΡΠ½ΠΎΠ²Π½Ρ‹ΠΌ инструмСнтом для ΠΎΡ€Π³Π°Π½ΠΈΠ·Π°Ρ†ΠΈΠΈ дискового пространства Π² соврСмСнных вСрсиях Solaris являСтся файловая систСма ZFS. Π‘ΠΎΠ·Π΄Π°Π½ΠΈΠ΅ Π·Π΅Ρ€ΠΊΠ°Π»Π° осущСствляСтся Ρ‡Π΅Ρ€Π΅Π· ΠΊΠΎΠΌΠ°Π½Π΄Ρƒ zpool create с ΡƒΠΊΠ°Π·Π°Π½ΠΈΠ΅ΠΌ ΠΊΠ»ΡŽΡ‡Π΅Π²ΠΎΠ³ΠΎ слова mirror. Бинтаксис Ρ‚Ρ€Π΅Π±ΡƒΠ΅Ρ‚ пСрСчислСния устройств, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ Π±ΡƒΠ΄ΡƒΡ‚ Π²Ρ…ΠΎΠ΄ΠΈΡ‚ΡŒ Π² Π·Π΅Ρ€ΠΊΠ°Π»ΠΎ, Π½Π°ΠΏΡ€ΠΈΠΌΠ΅Ρ€: zpool create datapool mirror c1t0d0 c1t1d0.

ПослС выполнСния ΠΊΠΎΠΌΠ°Π½Π΄Ρ‹ систСма автоматичСски Π½Π°Ρ‡Π½Π΅Ρ‚ процСсс синхронизации Π΄Π°Π½Π½Ρ‹Ρ… ΠΌΠ΅ΠΆΠ΄Ρƒ дисками. Π’ этот ΠΌΠΎΠΌΠ΅Π½Ρ‚ ΠΏΡ€ΠΎΠΈΠ·Π²ΠΎΠ΄ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎΡΡ‚ΡŒ дисковой подсистСмы ΠΌΠΎΠΆΠ΅Ρ‚ Π±Ρ‹Ρ‚ΡŒ Π²Ρ€Π΅ΠΌΠ΅Π½Π½ΠΎ сниТСна, Ρ‡Ρ‚ΠΎ являСтся Π½ΠΎΡ€ΠΌΠ°Π»ΡŒΠ½Ρ‹ΠΌ ΠΏΠΎΠ²Π΅Π΄Π΅Π½ΠΈΠ΅ΠΌ. Бтатус процСсса ΠΌΠΎΠΆΠ½ΠΎ ΠΎΡ‚ΡΠ»Π΅ΠΆΠΈΠ²Π°Ρ‚ΡŒ с ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ ΠΊΠΎΠΌΠ°Π½Π΄Ρ‹ zpool status, которая ΠΏΠΎΠΊΠ°ΠΆΠ΅Ρ‚ ΠΏΡ€ΠΎΡ†Π΅Π½Ρ‚ выполнСния синхронизации.

  • πŸ”Ή Π£Π±Π΅Π΄ΠΈΡ‚Π΅ΡΡŒ, Ρ‡Ρ‚ΠΎ диски ΠΈΠΌΠ΅ΡŽΡ‚ ΠΎΠ΄ΠΈΠ½Π°ΠΊΠΎΠ²Ρ‹ΠΉ ΠΈΠ»ΠΈ Π±Π»ΠΈΠ·ΠΊΠΈΠΉ объСм, ΠΈΠ½Π°Ρ‡Π΅ объСм Π·Π΅Ρ€ΠΊΠ°Π»Π° Π±ΡƒΠ΄Π΅Ρ‚ ΠΎΠ³Ρ€Π°Π½ΠΈΡ‡Π΅Π½ наимСньшим диском.
  • πŸ”Ή Π˜ΡΠΏΠΎΠ»ΡŒΠ·ΡƒΠΉΡ‚Π΅ ΠΈΠ΄Π΅Π½Ρ‚ΠΈΡ„ΠΈΠΊΠ°Ρ‚ΠΎΡ€Ρ‹ устройств (Π½Π°ΠΏΡ€ΠΈΠΌΠ΅Ρ€, c1t0d0) вмСсто ΠΈΠΌΠ΅Π½, Ρ‡Ρ‚ΠΎΠ±Ρ‹ ΠΈΠ·Π±Π΅ΠΆΠ°Ρ‚ΡŒ ΠΏΡ€ΠΎΠ±Π»Π΅ΠΌ ΠΏΡ€ΠΈ ΠΏΠ΅Ρ€Π΅Π·Π°Π³Ρ€ΡƒΠ·ΠΊΠ΅.
  • πŸ”Ή ΠŸΡ€ΠΎΠ²Π΅Ρ€ΡŒΡ‚Π΅ состояниС ΠΏΡƒΠ»Π° ΠΊΠΎΠΌΠ°Π½Π΄ΠΎΠΉ zpool status -v для Π΄Π΅Ρ‚Π°Π»ΡŒΠ½ΠΎΠ³ΠΎ Π°Π½Π°Π»ΠΈΠ·Π°.

⚠️ Π’Π½ΠΈΠΌΠ°Π½ΠΈΠ΅: Команда zpool create ΠΏΠΎΠ»Π½ΠΎΡΡ‚ΡŒΡŽ ΡƒΠ½ΠΈΡ‡Ρ‚ΠΎΠΆΠ°Π΅Ρ‚ Π΄Π°Π½Π½Ρ‹Π΅ Π½Π° ΡƒΠΊΠ°Π·Π°Π½Π½Ρ‹Ρ… дисках. Π£Π±Π΅Π΄ΠΈΡ‚Π΅ΡΡŒ Ρ‚Ρ€ΠΈΠΆΠ΄Ρ‹, Ρ‡Ρ‚ΠΎ Π²Ρ‹ Π²Ρ‹Π±Ρ€Π°Π»ΠΈ ΠΏΡ€Π°Π²ΠΈΠ»ΡŒΠ½Ρ‹Π΅ устройства, особСнно Π² Ρ€Π°Π±ΠΎΡ‡Π΅ΠΉ срСдС с мноТСством ΠΏΠΎΠ΄ΠΊΠ»ΡŽΡ‡Π΅Π½Π½Ρ‹Ρ… Π½Π°ΠΊΠΎΠΏΠΈΡ‚Π΅Π»Π΅ΠΉ.

Π—Π΅Ρ€ΠΊΠ°Π»ΠΎ ZFS обСспСчиваСт ΠΌΠ³Π½ΠΎΠ²Π΅Π½Π½ΡƒΡŽ ΠΎΡ‚ΠΊΠ°Π·ΠΎΡƒΡΡ‚ΠΎΠΉΡ‡ΠΈΠ²ΠΎΡΡ‚ΡŒ: Ссли ΠΎΠ΄ΠΈΠ½ ΠΈΠ· дисков Π²Ρ‹Ρ…ΠΎΠ΄ΠΈΡ‚ ΠΈΠ· строя, Π΄Π°Π½Π½Ρ‹Π΅ ΠΎΡΡ‚Π°ΡŽΡ‚ΡΡ доступными с ΠΎΡΡ‚Π°Π²ΡˆΠ΅Π³ΠΎΡΡ диска. Π—Π°ΠΌΠ΅Π½Π° нСисправного диска производится ΠΊΠΎΠΌΠ°Π½Π΄ΠΎΠΉ zpool replace, послС Ρ‡Π΅Π³ΠΎ начинаСтся автоматичСская рСконструкция Π΄Π°Π½Π½Ρ‹Ρ….

Настройка iSCSI Target для сСтСвых Π·Π΅Ρ€ΠΊΠ°Π»

Если ваша Π·Π°Π΄Π°Ρ‡Π° Π·Π°ΠΊΠ»ΡŽΡ‡Π°Π΅Ρ‚ΡΡ Π² прСдоставлСнии Π±Π»ΠΎΡ‡Π½ΠΎΠ³ΠΎ доступа ΠΊ Ρ…Ρ€Π°Π½ΠΈΠ»ΠΈΡ‰Ρƒ ΠΏΠΎ сСти, Π½Π΅ΠΎΠ±Ρ…ΠΎΠ΄ΠΈΠΌΠΎ Π½Π°ΡΡ‚Ρ€ΠΎΠΈΡ‚ΡŒ iSCSI Target. Π’ Oracle Solaris Π·Π° это ΠΎΡ‚Π²Π΅Ρ‡Π°Π΅Ρ‚ слуТба iscsi-target. ΠŸΠ΅Ρ€Π²ΠΎΠ½Π°Ρ‡Π°Π»ΡŒΠ½Π°Ρ настройка Π²ΠΊΠ»ΡŽΡ‡Π°Π΅Ρ‚ Π²ΠΊΠ»ΡŽΡ‡Π΅Π½ΠΈΠ΅ слуТбы ΠΈ созданиСTargets, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ Π±ΡƒΠ΄ΡƒΡ‚ ΠΏΡ€Π΅Π΄ΡΡ‚Π°Π²Π»ΡΡ‚ΡŒ собой логичСскиС Ρ‚ΠΎΠΌΠ° ΠΈΠ»ΠΈ Ρ„Π°ΠΉΠ»Ρ‹, доступныС initiators'Π°ΠΌ.

Для управлСния Ρ†Π΅Π»Π΅Π²Ρ‹ΠΌΠΈ устройствами ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΠ΅Ρ‚ΡΡ ΡƒΡ‚ΠΈΠ»ΠΈΡ‚Π° itadm. Π‘Π½Π°Ρ‡Π°Π»Π° создаСтся target, Π·Π°Ρ‚Π΅ΠΌ Π΅ΠΌΡƒ назначаСтся бэк-энд Ρ…Ρ€Π°Π½ΠΈΠ»ΠΈΡ‰Π΅ (LU - Logical Unit). Π­Ρ‚ΠΎ позволяСт Ρ†Π΅Π½Ρ‚Ρ€Π°Π»ΠΈΠ·ΠΎΠ²Π°Π½Π½ΠΎ ΡƒΠΏΡ€Π°Π²Π»ΡΡ‚ΡŒ дисковым пространством Π½Π΅ΡΠΊΠΎΠ»ΡŒΠΊΠΈΡ… сСрвСров, создавая распрСдСлСнныС Π·Π΅Ρ€ΠΊΠ°Π»ΡŒΠ½Ρ‹Π΅ структуры.

πŸ“Š Какой ΠΌΠ΅Ρ‚ΠΎΠ΄ рСзСрвирования Π²Ρ‹ ΠΏΡ€Π΅Π΄ΠΏΠΎΡ‡ΠΈΡ‚Π°Π΅Ρ‚Π΅?
ZFS Mirror
iSCSI Replication
Π‘Π½ΠΈΠΌΠΊΠΈ ZFS (Snapshots)
Π Π΅Π·Π΅Ρ€Π²Π½ΠΎΠ΅ ΠΊΠΎΠΏΠΈΡ€ΠΎΠ²Π°Π½ΠΈΠ΅ Π½Π° Π»Π΅Π½Ρ‚Ρƒ
svcadm enable -r svc:/system/iscsi/target:default

itadm create-target

itadm create-lu /dev/zvol/dsk/datapool/vol1

itadm create-mapping target_name lu_name

ПослС создания target'Π° Π½Π΅ΠΎΠ±Ρ…ΠΎΠ΄ΠΈΠΌΠΎ Π½Π°ΡΡ‚Ρ€ΠΎΠΈΡ‚ΡŒ Π°ΡƒΡ‚Π΅Π½Ρ‚ΠΈΡ„ΠΈΠΊΠ°Ρ†ΠΈΡŽ, Ρ‡Ρ‚ΠΎΠ±Ρ‹ ΠΏΡ€Π΅Π΄ΠΎΡ‚Π²Ρ€Π°Ρ‚ΠΈΡ‚ΡŒ нСсанкционированный доступ. Solaris ΠΏΠΎΠ΄Π΄Π΅Ρ€ΠΆΠΈΠ²Π°Π΅Ρ‚ CHAP (Challenge-Handshake Authentication Protocol) для Π·Π°Ρ‰ΠΈΡ‚Ρ‹ соСдинСний iSCSI. Настройка ΠΏΠ°Ρ€Π°ΠΌΠ΅Ρ‚Ρ€ΠΎΠ² CHAP выполняСтся Ρ‡Π΅Ρ€Π΅Π· свойства target'Π°.

  • πŸ”Ή Π’ΠΊΠ»ΡŽΡ‡ΠΈΡ‚Π΅ слуТбу svcadm enable svc:/system/iscsi/target.
  • πŸ”Ή Π‘ΠΎΠ·Π΄Π°ΠΉΡ‚Π΅ target с ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ itadm create-target.
  • πŸ”Ή ΠΠ°Π·Π½Π°Ρ‡ΡŒΡ‚Π΅ LUN ΠΈ настройтС доступ для ΠΊΠΎΠ½ΠΊΡ€Π΅Ρ‚Π½Ρ‹Ρ… ΠΈΠ½ΠΈΡ†ΠΈΠ°Ρ‚ΠΎΡ€ΠΎΠ².

ΠšΠΎΠ½Ρ„ΠΈΠ³ΡƒΡ€ΠΈΡ€ΠΎΠ²Π°Π½ΠΈΠ΅ iSCSI Initiator

На сторонС ΠΊΠ»ΠΈΠ΅Π½Ρ‚Π°, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹ΠΉ Π±ΡƒΠ΄Π΅Ρ‚ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒ ΡƒΠ΄Π°Π»Π΅Π½Π½ΠΎΠ΅ Π·Π΅Ρ€ΠΊΠ°Π»ΠΎ, Π½Π΅ΠΎΠ±Ρ…ΠΎΠ΄ΠΈΠΌΠΎ Π½Π°ΡΡ‚Ρ€ΠΎΠΈΡ‚ΡŒ iSCSI Initiator. Π‘Π»ΡƒΠΆΠ±Π° iscsi-initiator ΠΎΡ‚Π²Π΅Ρ‡Π°Π΅Ρ‚ Π·Π° ΠΎΠ±Π½Π°Ρ€ΡƒΠΆΠ΅Π½ΠΈΠ΅ ΠΈ ΠΏΠΎΠ΄ΠΊΠ»ΡŽΡ‡Π΅Π½ΠΈΠ΅ ΠΊ target'Π°ΠΌ. ΠŸΠ΅Ρ€Π²ΠΈΡ‡Π½Π°Ρ Π·Π°Π΄Π°Ρ‡Π° β€” ΠΎΠ±Π½Π°Ρ€ΡƒΠΆΠΈΡ‚ΡŒ доступныС target'Ρ‹ Π½Π° сСрвСрС хранСния Π΄Π°Π½Π½Ρ‹Ρ….

ИспользованиС ΠΊΠΎΠΌΠ°Π½Π΄Ρ‹ iscsiadm позволяСт ΡΠΊΠ°Π½ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ ΡΠ΅Ρ‚ΡŒ Π½Π° Π½Π°Π»ΠΈΡ‡ΠΈΠ΅ доступных iSCSI устройств. ПослС обнаруТСния target Π½Π΅ΠΎΠ±Ρ…ΠΎΠ΄ΠΈΠΌΠΎ явно Π΄ΠΎΠ±Π°Π²ΠΈΡ‚ΡŒ Π΅Π³ΠΎ Π² ΠΊΠΎΠ½Ρ„ΠΈΠ³ΡƒΡ€Π°Ρ†ΠΈΡŽ ΠΈ Π²Ρ‹ΠΏΠΎΠ»Π½ΠΈΡ‚ΡŒ Π»ΠΎΠ³ΠΈΠ½. Π­Ρ‚ΠΎ дСйствиС создаст локальноС Π±Π»ΠΎΡ‡Π½ΠΎΠ΅ устройство, ΠΊΠΎΡ‚ΠΎΡ€ΠΎΠ΅ Π±ΡƒΠ΄Π΅Ρ‚ Π²Ρ‹Π³Π»ΡΠ΄Π΅Ρ‚ΡŒ ΠΊΠ°ΠΊ ΠΎΠ±Ρ‹Ρ‡Π½Ρ‹ΠΉ диск.

Команда ОписаниС дСйствия ΠŸΡ€ΠΈΠΌΠ΅Ρ€ использования
iscsiadm modify discovery Π’ΠΊΠ»ΡŽΡ‡Π΅Π½ΠΈΠ΅ статичСского ΠΈΠ»ΠΈ динамичСского обнаруТСния iscsiadm modify discovery -s enable
iscsiadm add discovery-address Π”ΠΎΠ±Π°Π²Π»Π΅Π½ΠΈΠ΅ адрСса ΠΏΠΎΡ€Ρ‚Π°Π»Π° обнаруТСния iscsiadm add discovery-address 192.168.1.10:3260
iscsiadm list target Бписок ΠΎΠ±Π½Π°Ρ€ΡƒΠΆΠ΅Π½Π½Ρ‹Ρ… target'ΠΎΠ² iscsiadm list target
iscsiadm update target ОбновлСниС ΠΏΠ°Ρ€Π°ΠΌΠ΅Ρ‚Ρ€ΠΎΠ² target (Π»ΠΎΠ³ΠΈΠ½/Π»ΠΎΠ³ΠΈΠ½-всё) iscsiadm update target -u

ПослС ΡƒΡΠΏΠ΅ΡˆΠ½ΠΎΠ³ΠΎ ΠΏΠΎΠ΄ΠΊΠ»ΡŽΡ‡Π΅Π½ΠΈΡ устройство появится Π² систСмС, ΠΈ Π΅Π³ΠΎ ΠΌΠΎΠΆΠ½ΠΎ Π±ΡƒΠ΄Π΅Ρ‚ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒ для создания Ρ„Π°ΠΉΠ»ΠΎΠ²ΠΎΠΉ систСмы ΠΈΠ»ΠΈ добавлСния Π² ΡΡƒΡ‰Π΅ΡΡ‚Π²ΡƒΡŽΡ‰ΠΈΠΉ ZFS ΠΏΡƒΠ» ΠΊΠ°ΠΊ кэш ΠΈΠ»ΠΈ Π»ΠΎΠ³-устройство. Π’Π°ΠΆΠ½ΠΎ ΠΏΡ€Π°Π²ΠΈΠ»ΡŒΠ½ΠΎ Π½Π°ΡΡ‚Ρ€ΠΎΠΈΡ‚ΡŒ ΠΏΠ°Ρ€Π°ΠΌΠ΅Ρ‚Ρ€Ρ‹ Ρ‚Π°ΠΉΠΌΠ°ΡƒΡ‚ΠΎΠ² для прСдотвращСния Ρ€Π°Π·Ρ€Ρ‹Π²ΠΎΠ² соСдинСния ΠΏΡ€ΠΈ Π²Ρ€Π΅ΠΌΠ΅Π½Π½Ρ‹Ρ… ΠΏΡ€ΠΎΠ±Π»Π΅ΠΌΠ°Ρ… сСти.

β˜‘οΈ ΠŸΡ€ΠΎΠ²Π΅Ρ€ΠΊΠ° готовности iSCSI

Π’Ρ‹ΠΏΠΎΠ»Π½Π΅Π½ΠΎ: 0 / 4

Π£ΠΏΡ€Π°Π²Π»Π΅Π½ΠΈΠ΅ Ρ€Π΅ΠΏΠ»ΠΈΠΊΠ°Ρ†ΠΈΠ΅ΠΉ ΠΈ снимками

Для создания гСографичСски распрСдСлСнных Π·Π΅Ρ€ΠΊΠ°Π» ΠΈΠ»ΠΈ Ρ‚ΠΎΡ‡Π΅ΠΊ восстановлСния Π²ΠΎ Π²Ρ€Π΅ΠΌΠ΅Π½ΠΈ Π² Solaris ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΠ΅Ρ‚ΡΡ ΠΌΠ΅Ρ…Π°Π½ΠΈΠ·ΠΌ Ρ€Π΅ΠΏΠ»ΠΈΠΊΠ°Ρ†ΠΈΠΈ ZFS. Он позволяСт ΠΏΠ΅Ρ€Π΅Π΄Π°Π²Π°Ρ‚ΡŒ снимки (snapshots) ΠΌΠ΅ΠΆΠ΄Ρƒ Ρ€Π°Π·Π½Ρ‹ΠΌΠΈ систСмами. Π­Ρ‚ΠΎ эффСктивно создаСт асинхронноС Π·Π΅Ρ€ΠΊΠ°Π»ΠΎ Π΄Π°Π½Π½Ρ‹Ρ… Π½Π° ΡƒΠ΄Π°Π»Π΅Π½Π½ΠΎΠΌ сСрвСрС.

ΠŸΡ€ΠΎΡ†Π΅ΡΡ начинаСтся с создания снимка Ρ„Π°ΠΉΠ»ΠΎΠ²ΠΎΠΉ систСмы ΠΊΠΎΠΌΠ°Π½Π΄ΠΎΠΉ zfs snapshot. Π—Π°Ρ‚Π΅ΠΌ снимок экспортируСтся Π² ΠΏΠΎΡ‚ΠΎΠΊ Π΄Π°Π½Π½Ρ‹Ρ… ΠΈ пСрСдаСтся ΠΏΠΎ сСти Π½Π° ΡƒΠ΄Π°Π»Π΅Π½Π½ΡƒΡŽ ΠΌΠ°ΡˆΠΈΠ½Ρƒ, Π³Π΄Π΅ принимаСтся ΠΊΠΎΠΌΠ°Π½Π΄ΠΎΠΉ zfs receive. Π’Π°ΠΊΠΎΠΉ ΠΏΠΎΠ΄Ρ…ΠΎΠ΄ ΠΌΠΈΠ½ΠΈΠΌΠΈΠ·ΠΈΡ€ΡƒΠ΅Ρ‚ Π½Π°Π³Ρ€ΡƒΠ·ΠΊΡƒ Π½Π° ΡΠ΅Ρ‚ΡŒ, пСрСдавая Ρ‚ΠΎΠ»ΡŒΠΊΠΎ ΠΈΠ·ΠΌΠ΅Π½Π΅Π½Π½Ρ‹Π΅ Π±Π»ΠΎΠΊΠΈ.

⚠️ Π’Π½ΠΈΠΌΠ°Π½ΠΈΠ΅: ΠŸΡ€ΠΈ настройкС Ρ€Π΅ΠΏΠ»ΠΈΠΊΡ†ΠΈΠΈ ΡƒΠ±Π΅Π΄ΠΈΡ‚Π΅ΡΡŒ, Ρ‡Ρ‚ΠΎ врСмя Π½Π° сСрвСрах синхронизировано Ρ‡Π΅Ρ€Π΅Π· NTP. Рассинхронизация Π²Ρ€Π΅ΠΌΠ΅Π½ΠΈ ΠΌΠΎΠΆΠ΅Ρ‚ привСсти ΠΊ ΠΊΠΎΠ½Ρ„Π»ΠΈΠΊΡ‚Π°ΠΌ ΠΏΡ€ΠΈ ΠΏΠ»Π°Π½ΠΈΡ€ΠΎΠ²Π°Π½ΠΈΠΈ Π·Π°Π΄Π°Ρ‡ Ρ€Π΅ΠΏΠ»ΠΈΠΊΠ°Ρ†ΠΈΠΈ ΠΈ ошибкам Π² Π»ΠΎΠ³Π°Ρ….

Автоматизация процСсса выполняСтся с ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ ΠΏΠ»Π°Π½ΠΈΡ€ΠΎΠ²Ρ‰ΠΈΠΊΠ° Π·Π°Π΄Π°Ρ‡ cron ΠΈΠ»ΠΈ спСциализированных скриптов, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ рСгулярно ΡΠΎΠ·Π΄Π°ΡŽΡ‚ снимки ΠΈ ΠΎΡ‚ΠΏΡ€Π°Π²Π»ΡΡŽΡ‚ ΠΈΠ½ΠΊΡ€Π΅ΠΌΠ΅Π½Ρ‚Π°Π»ΡŒΠ½Ρ‹Π΅ измСнСния. Π­Ρ‚ΠΎ позволяСт ΠΏΠΎΠ΄Π΄Π΅Ρ€ΠΆΠΈΠ²Π°Ρ‚ΡŒ Π°ΠΊΡ‚ΡƒΠ°Π»ΡŒΠ½ΡƒΡŽ копию Π΄Π°Π½Π½Ρ‹Ρ… с минимальной Π·Π°Π΄Π΅Ρ€ΠΆΠΊΠΎΠΉ.

  • πŸ”Ή Π‘ΠΎΠ·Π΄Π°ΠΉΡ‚Π΅ Π±Π°Π·ΠΎΠ²Ρ‹ΠΉ снимок: zfs snapshot datapool/fs@snap1.
  • πŸ”Ή ΠžΡ‚ΠΏΡ€Π°Π²ΡŒΡ‚Π΅ ΠΏΠΎΡ‚ΠΎΠΊ: zfs send datapool/fs@snap1 | ssh remote zfs receive backup/fs.
  • πŸ”Ή Для ΠΈΠ½ΠΊΡ€Π΅ΠΌΠ΅Π½Ρ‚Π°Π»ΡŒΠ½ΠΎΠ³ΠΎ обновлСния ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΠΉΡ‚Π΅ Ρ„Π»Π°Π³ -i с ΡƒΠΊΠ°Π·Π°Π½ΠΈΠ΅ΠΌ ΠΏΡ€Π΅Π΄Ρ‹Π΄ΡƒΡ‰Π΅Π³ΠΎ снимка.
ΠžΠΏΡ‚ΠΈΠΌΠΈΠ·Π°Ρ†ΠΈΡ сСти для Ρ€Π΅ΠΏΠ»ΠΈΠΊΠ°Ρ†ΠΈΠΈ

Для ускорСния ΠΏΠ΅Ρ€Π΅Π΄Π°Ρ‡ΠΈ Π±ΠΎΠ»ΡŒΡˆΠΈΡ… объСмов Π΄Π°Π½Π½Ρ‹Ρ… рСкомСндуСтся ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒ Π²Ρ‹Π΄Π΅Π»Π΅Π½Π½ΡƒΡŽ ΡΠ΅Ρ‚ΡŒ для Ρ€Π΅ΠΏΠ»ΠΈΠΊΠ°Ρ†ΠΈΠΈ ΠΈΠ»ΠΈ Π½Π°ΡΡ‚Ρ€Π°ΠΈΠ²Π°Ρ‚ΡŒ Jumbo Frames (MTU 9000) Π½Π° интСрфСйсах, ΡƒΡ‡Π°ΡΡ‚Π²ΡƒΡŽΡ‰ΠΈΡ… Π² ΠΏΠ΅Ρ€Π΅Π΄Π°Ρ‡Π΅ ZFS ΠΏΠΎΡ‚ΠΎΠΊΠΎΠ². Π­Ρ‚ΠΎ ΠΌΠΎΠΆΠ΅Ρ‚ ΡƒΠ²Π΅Π»ΠΈΡ‡ΠΈΡ‚ΡŒ ΠΏΡ€ΠΎΠΏΡƒΡΠΊΠ½ΡƒΡŽ ΡΠΏΠΎΡΠΎΠ±Π½ΠΎΡΡ‚ΡŒ Π΄ΠΎ 30%.

ΠœΠΎΠ½ΠΈΡ‚ΠΎΡ€ΠΈΠ½Π³ ΠΈ диагностика Π·Π΅Ρ€ΠΊΠ°Π»

ΠŸΠΎΡΡ‚ΠΎΡΠ½Π½Ρ‹ΠΉ ΠΊΠΎΠ½Ρ‚Ρ€ΠΎΠ»ΡŒ состояния Π·Π΅Ρ€ΠΊΠ°Π»ΡŒΠ½Ρ‹Ρ… структур ΠΊΡ€ΠΈΡ‚ΠΈΡ‡Π΅Π½ для обСспСчСния сохранности Π΄Π°Π½Π½Ρ‹Ρ…. Π£Ρ‚ΠΈΠ»ΠΈΡ‚Π° zpool status являСтся основным инструмСнтом ΠΌΠΎΠ½ΠΈΡ‚ΠΎΡ€ΠΈΠ½Π³Π°. Она ΠΎΡ‚ΠΎΠ±Ρ€Π°ΠΆΠ°Π΅Ρ‚ состояниС ΠΊΠ°ΠΆΠ΄ΠΎΠ³ΠΎ диска Π² ΠΏΡƒΠ»Π΅, Π½Π°Π»ΠΈΡ‡ΠΈΠ΅ ошибок чтСния/записи ΠΈ прогрСсс рСконструкции.

Для получСния ΡƒΠ²Π΅Π΄ΠΎΠΌΠ»Π΅Π½ΠΈΠΉ ΠΎΠ± ΠΎΡˆΠΈΠ±ΠΊΠ°Ρ… Π² Ρ€Π΅Π°Π»ΡŒΠ½ΠΎΠΌ Π²Ρ€Π΅ΠΌΠ΅Π½ΠΈ ΠΌΠΎΠΆΠ½ΠΎ Π½Π°ΡΡ‚Ρ€ΠΎΠΈΡ‚ΡŒ слуТбу zfs-monitor ΠΈΠ»ΠΈ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒ SNMP-Π°Π³Π΅Π½Ρ‚Ρ‹. БистСма ZFS способна ΡΠ°ΠΌΠΎΡΡ‚ΠΎΡΡ‚Π΅Π»ΡŒΠ½ΠΎ ΠΎΠ±Π½Π°Ρ€ΡƒΠΆΠΈΠ²Π°Ρ‚ΡŒ ΠΈ ΠΊΠΎΡ€Ρ€Π΅ΠΊΡ‚ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ ошибки Π΄Π°Π½Π½Ρ‹Ρ… ("bit rot") благодаря ΠΊΠΎΠ½Ρ‚Ρ€ΠΎΠ»ΡŒΠ½Ρ‹ΠΌ суммам, Π½ΠΎ администратор Π΄ΠΎΠ»ΠΆΠ΅Π½ Ρ€Π΅Π°Π³ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ Π½Π° прСдупрСТдСния ΠΎ Π΄Π΅Π³Ρ€Π°Π΄Π°Ρ†ΠΈΠΈ ΠΏΡƒΠ»Π°.

zpool status -v datapool

zpool list -o name,size,alloc,free,cap,health

РСгулярноС ΠΏΡ€ΠΎΠ²Π΅Π΄Π΅Π½ΠΈΠ΅ сканирования ΠΏΡƒΠ»Π° (zpool scrub) позволяСт Π²Ρ‹ΡΠ²ΠΈΡ‚ΡŒ скрытыС ошибки Π½Π° дисках, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ Π½Π΅ ΠΏΡ€ΠΎΡΠ²Π»ΡΡŽΡ‚ΡΡ ΠΏΡ€ΠΈ ΠΎΠ±Ρ‹Ρ‡Π½ΠΎΠΌ Ρ‡Ρ‚Π΅Π½ΠΈΠΈ. РСкомСндуСтся Π·Π°ΠΏΡƒΡΠΊΠ°Ρ‚ΡŒ scrub Π½Π΅ Ρ€Π΅ΠΆΠ΅ ΠΎΠ΄Π½ΠΎΠ³ΠΎ Ρ€Π°Π·Π° Π² мСсяц, Ρ‡Ρ‚ΠΎΠ±Ρ‹ ΡƒΠ±Π΅Π΄ΠΈΡ‚ΡŒΡΡ Π² цСлостности всСх Π·Π΅Ρ€ΠΊΠ°Π».

Часто Π·Π°Π΄Π°Π²Π°Π΅ΠΌΡ‹Π΅ вопросы (FAQ)

МоТно Π»ΠΈ Π΄ΠΎΠ±Π°Π²ΠΈΡ‚ΡŒ диск Π² ΡΡƒΡ‰Π΅ΡΡ‚Π²ΡƒΡŽΡ‰Π΅Π΅ Π·Π΅Ρ€ΠΊΠ°Π»ΠΎ ZFS?

Π”Π°, Π²Ρ‹ ΠΌΠΎΠΆΠ΅Ρ‚Π΅ Π΄ΠΎΠ±Π°Π²ΠΈΡ‚ΡŒ Π½ΠΎΠ²Ρ‹ΠΉ диск Π² Π·Π΅Ρ€ΠΊΠ°Π»ΠΎ, Ρ‡Ρ‚ΠΎΠ±Ρ‹ ΡƒΠ²Π΅Π»ΠΈΡ‡ΠΈΡ‚ΡŒ ΠΎΡ‚ΠΊΠ°Π·ΠΎΡƒΡΡ‚ΠΎΠΉΡ‡ΠΈΠ²ΠΎΡΡ‚ΡŒ (ΠΏΡ€Π΅Π²Ρ€Π°Ρ‚ΠΈΠ² Π΅Π³ΠΎ Π² 3-стороннСС Π·Π΅Ρ€ΠΊΠ°Π»ΠΎ), ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΡ ΠΊΠΎΠΌΠ°Π½Π΄Ρƒ zpool attach. Однако Π²Ρ‹ Π½Π΅ ΠΌΠΎΠΆΠ΅Ρ‚Π΅ Π΄ΠΎΠ±Π°Π²ΠΈΡ‚ΡŒ диск для увСличСния объСма ΠΏΡƒΠ»Π° Π² ΡƒΠΆΠ΅ ΡΡƒΡ‰Π΅ΡΡ‚Π²ΡƒΡŽΡ‰Π΅Π΅ Π·Π΅Ρ€ΠΊΠ°Π»ΠΎ, для этого Π½ΡƒΠΆΠ½ΠΎ Π΄ΠΎΠ±Π°Π²Π»ΡΡ‚ΡŒ Π½ΠΎΠ²ΡƒΡŽ Π³Ρ€ΡƒΠΏΠΏΡƒ Π·Π΅Ρ€ΠΊΠ°Π».

Как Π²ΠΎΡΡΡ‚Π°Π½ΠΎΠ²ΠΈΡ‚ΡŒ Π΄Π°Π½Π½Ρ‹Π΅, Ссли ΠΎΠ±Π° диска Π² Π·Π΅Ρ€ΠΊΠ°Π»Π΅ ΠΏΠΎΠ²Ρ€Π΅ΠΆΠ΄Π΅Π½Ρ‹?

Если ΠΏΠΎΠ²Ρ€Π΅ΠΆΠ΄Π΅Π½Ρ‹ всС ΠΊΠΎΠΏΠΈΠΈ Π΄Π°Π½Π½Ρ‹Ρ… Π² Π·Π΅Ρ€ΠΊΠ°Π»Π΅, стандартными срСдствами ZFS Π²ΠΎΡΡΡ‚Π°Π½ΠΎΠ²ΠΈΡ‚ΡŒ Π΄Π°Π½Π½Ρ‹Π΅ Π½Π΅Π²ΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎ. Π’ этом случаС ΠΏΠΎΠΌΠΎΠΆΠ΅Ρ‚ Ρ‚ΠΎΠ»ΡŒΠΊΠΎ Π½Π°Π»ΠΈΡ‡ΠΈΠ΅ внСшнСй Ρ€Π΅Π·Π΅Ρ€Π²Π½ΠΎΠΉ ΠΊΠΎΠΏΠΈΠΈ ΠΈΠ»ΠΈ Ρ€Π΅ΠΏΠ»ΠΈΠΊΠΈ Π½Π° ΡƒΠ΄Π°Π»Π΅Π½Π½ΠΎΠΌ сСрвСрС, созданной Ρ€Π°Π½Π΅Π΅.

ВлияСт Π»ΠΈ настройка Π·Π΅Ρ€ΠΊΠ°Π» Π½Π° ΠΏΡ€ΠΎΠΈΠ·Π²ΠΎΠ΄ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎΡΡ‚ΡŒ записи?

Π—Π°ΠΏΠΈΡΡŒ Π² Π·Π΅Ρ€ΠΊΠ°Π»ΠΎ ZFS ΠΌΠΎΠΆΠ΅Ρ‚ Π±Ρ‹Ρ‚ΡŒ быстрСС, Ρ‡Π΅ΠΌ Π½Π° ΠΎΠ΄ΠΈΠ½ΠΎΡ‡Π½Ρ‹ΠΉ диск, Ρ‚Π°ΠΊ ΠΊΠ°ΠΊ систСма ΠΌΠΎΠΆΠ΅Ρ‚ Ρ€Π°ΡΠΏΠ°Ρ€Π°Π»Π»Π΅Π»ΠΈΠ²Π°Ρ‚ΡŒ ΠΎΠΏΠ΅Ρ€Π°Ρ†ΠΈΠΈ записи Π½Π° Ρ€Π°Π·Π½Ρ‹Π΅ диски Π·Π΅Ρ€ΠΊΠ°Π»Π°, хотя Ρ‡Ρ‚Π΅Π½ΠΈΠ΅ ΠΎΠ±Ρ‹Ρ‡Π½ΠΎ Π²Ρ‹ΠΈΠ³Ρ€Ρ‹Π²Π°Π΅Ρ‚ большС благодаря возмоТности чтСния с любого ΠΈΠ· дисков.

НуТно Π»ΠΈ Ρ„ΠΎΡ€ΠΌΠ°Ρ‚ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ диски ΠΏΠ΅Ρ€Π΅Π΄ созданиСм ΠΏΡƒΠ»Π°?

НСт, ΠΊΠΎΠΌΠ°Π½Π΄Π° zpool create сама Ρ€Π°Π·ΠΌΠ΅Ρ‡Π°Π΅Ρ‚ диски ΠΈ создаСт Π½Π΅ΠΎΠ±Ρ…ΠΎΠ΄ΠΈΠΌΡƒΡŽ структуру. ΠŸΡ€Π΅Π΄Π²Π°Ρ€ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎΠ΅ Ρ„ΠΎΡ€ΠΌΠ°Ρ‚ΠΈΡ€ΠΎΠ²Π°Π½ΠΈΠ΅ Ρ„Π°ΠΉΠ»ΠΎΠ²Ρ‹ΠΌΠΈ систСмами Π²Ρ€ΠΎΠ΄Π΅ UFS Π½Π΅ трСбуСтся ΠΈ Π΄Π°ΠΆΠ΅ Π½Π΅ рСкомСндуСтся.