dc103fd8292a9dfa1778f0d7f95d65697f3f958d
[multipath-tools/.git] / multipath / multipath.conf.5
1 .\" ----------------------------------------------------------------------------
2 .\" Update the date below if you make any significant change.
3 .\" Make sure there are no errors with:
4 .\" groff -z -wall -b -e -t multipath/multipath.conf.5
5 .\" man --warnings -E UTF-8 -l -Tutf8 -Z multipath/multipath.conf.5 >/dev/null
6 .\"
7 .\" ----------------------------------------------------------------------------
8 .
9 .TH MULTIPATH.CONF 5 2018-05-21 Linux
10 .
11 .
12 .\" ----------------------------------------------------------------------------
13 .SH NAME
14 .\" ----------------------------------------------------------------------------
15 .
16 multipath.conf \- multipath daemon configuration file.
17 .
18 .
19 .\" ----------------------------------------------------------------------------
20 .SH DESCRIPTION
21 .\" ----------------------------------------------------------------------------
22 .
23 .B "/etc/multipath.conf"
24 is the configuration file for the multipath daemon. It is used to
25 overwrite the built-in configuration table of \fBmultipathd\fP.
26 Any line whose first non-white-space character is a '#' is considered
27 a comment line. Empty lines are ignored.
28 .PP
29 Currently used multipathd configuration can be displayed with the \fBmultipath -t\fR
30 or \fBmultipathd show config\fR command.
31 .
32 .
33 .\" ----------------------------------------------------------------------------
34 .SH SYNTAX
35 .\" ----------------------------------------------------------------------------
36 .
37 The configuration file contains entries of the form:
38 .RS
39 .nf
40 .ft B
41 .sp
42 <section> {
43 .RS
44 .ft B
45 <attribute> <value>
46 .I "..."
47 .ft B
48 <subsection> {
49 .RS
50 .ft B
51 <attribute> <value>
52 .I "..."
53 .RE
54 .ft B
55 }
56 .RE
57 .ft B
58 }
59 .ft R
60 .fi
61 .RE
62 .LP
63 Each \fIsection\fP contains one or more attributes or subsections. The
64 recognized keywords for attributes or subsections depend on the
65 section in which they occur.
66 .LP
67 .
68 \fB<attribute>\fR and \fB<value>\fR must be on a single line.
69 \fB<attribute>\fR is one of the keywords listed in this man page.
70 \fB<value>\fR is either a simple word (containing no whitespace and none of the
71 characters '\(dq', '#', and '!') or \fIone\fR string enclosed in double
72 quotes ("..."). Outside a quoted string, text starting with '#', and '!' is
73 regarded as a comment and ignored until the end of the line. Inside a quoted
74 string, '#' and '!' are normal characters, and whitespace is preserved.
75 To represent a double quote character inside a double quoted string, use two
76 consecutive double quotes ('""'). Thus '2.5\(dq SSD' can be written as "2.5"" SSD".
77 .LP
78 .
79 Opening braces ('{') must follow the (sub)section name on the same line. Closing
80 braces ('}') that mark the end of a (sub)section must be the only non-whitespace
81 character on the line. Whitespace is ignored except inside double quotes, thus
82 the indentation shown in the above example is helpful for human readers but
83 not mandatory.
84 .LP
85 .
86 .LP
87 .B Note on regular expressions:
88 The \fImultipath.conf\fR syntax allows many attribute values to be specified as POSIX
89 Extended Regular Expressions (see \fBregex\fR(7)). These regular expressions
90 are \fBcase sensitive\fR and \fBnot anchored\fR, thus the expression "bar" matches "barbie",
91 "rhabarber", and "wunderbar", but not "Barbie". To avoid unwanted substring
92 matches, standard regular expression syntax using the special characters "^" and "$" can be used.
93 .
94 .LP
95 .
96 The following \fIsection\fP keywords are recognized:
97 .TP 17
98 .B defaults
99 This section defines default values for attributes which are used
100 whenever no values are given in the appropriate device or multipath
101 sections.
102 .TP
103 .B blacklist
104 This section defines which devices should be excluded from the
105 multipath topology discovery.
106 .TP
107 .B blacklist_exceptions
108 This section defines which devices should be included in the
109 multipath topology discovery, despite being listed in the
110 \fIblacklist\fR section.
111 .TP
112 .B multipaths
113 This section defines the multipath topologies. They are indexed by a
114 \fIWorld Wide Identifier\fR(WWID). For details on the WWID generation
115 see section \fIWWID generation\fR below. Attributes set in this section take
116 precedence over all others.
117 .TP
118 .B devices
119 This section defines the device-specific settings. Devices are identified by
120 vendor, product, and revision.
121 .TP
122 .B overrides
123 This section defines values for attributes that should override the
124 device-specific settings for all devices.
125 .RE
126 .LP
127 .
128 .
129 .\" ----------------------------------------------------------------------------
130 .SH "defaults section"
131 .\" ----------------------------------------------------------------------------
132 .
133 The \fIdefaults\fR section recognizes the following keywords:
134 .
135 .
136 .TP 17
137 .B verbosity
138 Default verbosity. Higher values increase the verbosity level. Valid
139 levels are between 0 and 6.
140 .RS
141 .TP
142 The default is: \fB2\fR
143 .RE
144 .
145 .
146 .TP
147 .B polling_interval
148 Interval between two path checks in seconds. For properly functioning paths,
149 the interval between checks will gradually increase to \fImax_polling_interval\fR.
150 This value will be overridden by the \fIWatchdogSec\fR
151 setting in the multipathd.service definition if systemd is used.
152 .RS
153 .TP
154 The default is: \fB5\fR
155 .RE
156 .
157 .
158 .TP
159 .B max_polling_interval
160 Maximal interval between two path checks in seconds.
161 .RS
162 .TP
163 The default is: \fB4 * polling_interval\fR
164 .RE
165 .
166 .
167 .TP
168 .B reassign_maps
169 Enable reassigning of device-mapper maps. With this option multipathd
170 will remap existing device-mapper maps to always point to multipath
171 device, not the underlying block devices. Possible values are
172 \fIyes\fR and \fIno\fR.
173 .RS
174 .TP
175 The default is: \fBno\fR
176 .RE
177 .
178 .
179 .TP
180 .B multipath_dir
181 Directory where the dynamic shared objects are stored. Defined at compile time,
182 commonly \fI/lib64/multipath/\fR or \fI/lib/multipath/\fR.
183 .RS
184 .TP
185 The default is: \fB<system dependent>\fR
186 .RE
187 .
188 .
189 .TP
190 .B path_selector
191 The default path selector algorithm to use; they are offered by the
192 kernel multipath target. There are three selector algorithms:
193 .RS
194 .TP 12
195 .I "round-robin 0"
196 Loop through every path in the path group, sending the same amount of I/O to
197 each. Some aspects of behavior can be controlled with the attributes:
198 \fIrr_min_io\fR, \fIrr_min_io_rq\fR and \fIrr_weight\fR.
199 .TP
200 .I "queue-length 0"
201 (Since 2.6.31 kernel) Choose the path for the next bunch of I/O based on the amount
202 of outstanding I/O to the path.
203 .TP
204 .I "service-time 0"
205 (Since 2.6.31 kernel) Choose the path for the next bunch of I/O based on the amount
206 of outstanding I/O to the path and its relative throughput.
207 .TP
208 The default is: \fBservice-time 0\fR
209 .RE
210 .
211 .
212 .TP
213 .B path_grouping_policy
214 The default path grouping policy to apply to unspecified
215 multipaths. Possible values are:
216 .RS
217 .TP 12
218 .I failover
219 One path per priority group.
220 .TP
221 .I multibus
222 All paths in one priority group.
223 .TP
224 .I group_by_serial
225 One priority group per serial number.
226 .TP
227 .I group_by_prio
228 One priority group per priority value. Priorities are determined by
229 callout programs specified as a global, per-controller or
230 per-multipath option in the configuration file.
231 .TP
232 .I group_by_node_name
233 One priority group per target node name. Target node names are fetched
234 in \fI/sys/class/fc_transport/target*/node_name\fR.
235 .TP
236 The default is: \fBfailover\fR
237 .RE
238 .
239 .
240 .TP
241 .B uid_attrs
242 .
243 Setting this option activates \fBmerging uevents\fR by WWID, which may improve
244 uevent processing effiency. Moreover, it's an alternative method to configure
245 the udev properties to use for determining unique path identifiers (WWIDs).
246 .RS
247 .PP
248 The value of this option is a space separated list of records like
249 \(dq\fItype:ATTR\fR\(dq, where \fItype\fR is matched against the beginning
250 of the device node name (e.g. \fIsd:ATTR\fR matches \fIsda\fR), and
251 \fIATTR\fR is the name of the udev property to use for matching devices.
252 .PP
253 If this option is configured and matches the device
254 node name of a device, it overrides any other configured  methods for
255 determining the WWID for this device.
256 .PP
257 The default is: \fB<unset>\fR. To enable uevent merging, set it e.g. to
258 \(dqsd:ID_SERIAL dasd:ID_UID nvme:ID_WWN\(dq.
259 .RE
260 .
261 .
262 .TP
263 .B uid_attribute
264 The udev attribute providing a unique path identifier (WWID). If
265 \fIuid_attribute\fR is set to the empty string, WWID determination is done
266 using the \fIsysfs\fR method rather then using udev (not recommended in
267 production; see \fBWWID generation\fR below).
268 .RS
269 .TP
270 The default is: \fBID_SERIAL\fR, for SCSI devices
271 .TP
272 The default is: \fBID_UID\fR, for DASD devices
273 .TP
274 The default is: \fBID_WWN\fR, for NVMe devices
275 .RE
276 .
277 .
278 .TP
279 .B getuid_callout
280 (Superseded by \fIuid_attribute\fR) The default program and args to callout
281 to obtain a unique path identifier. Should be specified with an absolute path.
282 .RS
283 .TP
284 The default is: \fB<unset>\fR
285 .RE
286 .
287 .
288 .TP
289 .B prio
290 The name of the path priority routine. The specified routine
291 should return a numeric value specifying the relative priority
292 of this path. Higher number have a higher priority.
293 \fI"none"\fR is a valid value. Currently the following path priority routines
294 are implemented:
295 .RS
296 .TP 12
297 .I const
298 Return a constant priority of \fI1\fR.
299 .TP
300 .I sysfs
301 Use the sysfs attributes \fIaccess_state\fR and \fIpreferred_path\fR to
302 generate the path priority. This prioritizer accepts the optional prio_arg
303 \fIexclusive_pref_bit\fR.
304 .TP
305 .I emc
306 (Hardware-dependent)
307 Generate the path priority for DGC class arrays as CLARiiON CX/AX and
308 EMC VNX and Unity families.
309 .TP
310 .I alua
311 (Hardware-dependent)
312 Generate the path priority based on the SCSI-3 ALUA settings. This prioritizer
313 accepts the optional prio_arg \fIexclusive_pref_bit\fR.
314 .TP
315 .I ontap
316 (Hardware-dependent)
317 Generate the path priority for NetApp ONTAP class and OEM arrays as IBM NSeries.
318 .TP
319 .I rdac
320 (Hardware-dependent)
321 Generate the path priority for LSI/Engenio/NetApp RDAC class as NetApp SANtricity
322 E/EF Series, and OEM arrays from IBM DELL SGI STK and SUN.
323 .TP
324 .I hp_sw
325 (Hardware-dependent)
326 Generate the path priority for HP/COMPAQ/DEC HSG80 and MSA/HSV arrays with
327 Active/Standby mode exclusively.
328 .TP
329 .I hds
330 (Hardware-dependent)
331 Generate the path priority for Hitachi AMS families of arrays other than AMS 2000.
332 .TP
333 .I random
334 Generate a random priority between 1 and 10.
335 .TP
336 .I weightedpath
337 Generate the path priority based on the regular expression and the
338 priority provided as argument. Requires prio_args keyword.
339 .TP
340 .I path_latency
341 Generate the path priority based on a latency algorithm.
342 Requires prio_args keyword.
343 .TP
344 .I ana
345 (Hardware-dependent)
346 Generate the path priority based on the NVMe ANA settings.
347 .TP
348 .I datacore
349 (Hardware-dependent)
350 Generate the path priority for some DataCore storage arrays. Requires prio_args
351 keyword.
352 .TP
353 .I iet
354 (iSCSI only)
355 Generate path priority for iSCSI targets based on IP address. Requires
356 prio_args keyword.
357 .PP
358 The default depends on the \fBdetect_prio\fR setting: If \fBdetect_prio\fR is
359 \fByes\fR (default), the default priority algorithm is \fBsysfs\fR (except for
360 NetAPP E-Series, where it is \fBalua\fR). If \fBdetect_prio\fR is
361 \fBno\fR, the default priority algorithm is \fBconst\fR.
362 .RE
363 .
364 .
365 .TP
366 .B prio_args
367 Arguments to pass to to the prio function. This only applies to certain
368 prioritizers:
369 .RS
370 .TP 12
371 .I weighted
372 Needs a value of the form
373 \fI"<hbtl|devname|serial|wwn> <regex1> <prio1> <regex2> <prio2> ..."\fR
374 .RS
375 .TP 8
376 .I hbtl
377 Regex can be of SCSI H:B:T:L format. For example: 1:0:.:. , *:0:0:.
378 .TP
379 .I devname
380 Regex can be of device name format. For example: sda , sd.e
381 .TP
382 .I serial
383 Regex can be of serial number format. For example: .*J1FR.*324 . The serial can
384 be looked up through sysfs or by running multipathd show paths format "%z". For
385 example: 0395J1FR904324
386 .TP
387 .I wwn
388 Regex can be of the form \fI"host_wwnn:host_wwpn:target_wwnn:target_wwpn"\fR
389 these values can be looked up through sysfs or by running \fImultipathd show paths format
390 "%N:%R:%n:%r"\fR. For example: 0x200100e08ba0aea0:0x210100e08ba0aea0:.*:.* , .*:.*:iqn.2009-10.com.redhat.msp.lab.ask-06:.*
391 .RE
392 .TP 12
393 .I path_latency
394 Needs a value of the form "io_num=\fI<20>\fR base_num=\fI<10>\fR"
395 .RS
396 .TP 8
397 .I io_num
398 The number of read IOs sent to the current path continuously, used to calculate the average path latency.
399 Valid Values: Integer, [2, 200].
400 .TP
401 .I base_num
402 The base number value of logarithmic scale, used to partition different priority ranks. Valid Values: Integer,
403 [2, 10]. And Max average latency value is 100s, min average latency value is 1us.
404 For example: If base_num=10, the paths will be grouped in priority groups with path latency <=1us, (1us, 10us],
405 (10us, 100us], (100us, 1ms], (1ms, 10ms], (10ms, 100ms], (100ms, 1s], (1s, 10s], (10s, 100s], >100s.
406 .RE
407 .TP 12
408 .I alua
409 If \fIexclusive_pref_bit\fR is set, paths with the \fIpreferred path\fR bit
410 set will always be in their own path group.
411 .TP
412 .I sysfs
413 If \fIexclusive_pref_bit\fR is set, paths with the \fIpreferred path\fR bit
414 set will always be in their own path group.
415 .TP
416 .I datacore
417 .RS
418 .TP 8
419 .I preferredsds
420 (Mandatory) The preferred "SDS name".
421 .TP
422 .I timeout
423 (Optional) The timeout for the INQUIRY, in ms.
424 .RE
425 .TP 12
426 .I iet
427 .RS
428 .TP 8
429 .I preferredip=...
430 (Mandatory) Th preferred IP address, in dotted decimal notation, for iSCSI targets.
431 .RE
432 .TP
433 The default is: \fB<unset>\fR
434 .RE
435 .
436 .
437 .TP
438 .B features
439 Specify any device-mapper features to be used. Syntax is \fInum list\fR
440 where \fInum\fR is the number, between 0 and 8, of features in \fIlist\fR.
441 Possible values for the feature list are:
442 .RS
443 .TP 12
444 .I queue_if_no_path
445 (Deprecated, superseded by \fIno_path_retry\fR) Queue I/O if no path is active.
446 Identical to the \fIno_path_retry\fR with \fIqueue\fR value. If both this
447 feature and \fIno_path_retry\fR are set, the latter value takes
448 precedence. See KNOWN ISSUES.
449 .TP
450 .I pg_init_retries <times>
451 (Since kernel 2.6.24) Number of times to retry pg_init, it must be between 1 and 50.
452 .TP
453 .I pg_init_delay_msecs <msecs>
454 (Since kernel 2.6.38) Number of msecs before pg_init retry, it must be between 0 and 60000.
455 .TP
456 .I queue_mode <mode>
457 (Since kernel 4.8) Select the the queueing mode per multipath device.
458 <mode> can be \fIbio\fR, \fIrq\fR or \fImq\fR, which corresponds to
459 bio-based, request-based, and block-multiqueue (blk-mq) request-based,
460 respectively.
461 The default depends on the kernel parameter \fBdm_mod.use_blk_mq\fR. It is
462 \fImq\fR if the latter is set, and \fIrq\fR otherwise.
463 .TP
464 The default is: \fB<unset>\fR
465 .RE
466 .
467 .
468 .TP
469 .B path_checker
470 The default method used to determine the paths state. Possible values
471 are:
472 .RS
473 .TP 12
474 .I readsector0
475 (Deprecated) Read the first sector of the device. This checker is being
476 deprecated, please use \fItur\fR instead.
477 .TP
478 .I tur
479 Issue a \fITEST UNIT READY\fR command to the device.
480 .TP
481 .I emc_clariion
482 (Hardware-dependent)
483 Query the DGC/EMC specific EVPD page 0xC0 to determine the path state
484 for CLARiiON CX/AX and EMC VNX and Unity arrays families.
485 .TP
486 .I hp_sw
487 (Hardware-dependent)
488 Check the path state for HP/COMPAQ/DEC HSG80 and MSA/HSV arrays with
489 Active/Standby mode exclusively.
490 .TP
491 .I rdac
492 (Hardware-dependent)
493 Check the path state for LSI/Engenio/NetApp RDAC class as NetApp SANtricity E/EF
494 Series, and OEM arrays from IBM DELL SGI STK and SUN.
495 .TP
496 .I directio
497 (Deprecated) Read the first sector with direct I/O. This checker is being
498 deprecated, it could cause spurious path failures under high load.
499 Please use \fItur\fR instead.
500 .TP
501 .I cciss_tur
502 (Hardware-dependent)
503 Check the path state for HP/COMPAQ Smart Array(CCISS) controllers.
504 .TP
505 .I none
506 Do not check the device, fallback to use the values retrieved from sysfs
507 .TP
508 The default is: \fBtur\fR
509 .RE
510 .
511 .
512 .TP
513 .B alias_prefix
514 The \fIuser_friendly_names\fR prefix.
515 .RS
516 .TP
517 The default is: \fBmpath\fR
518 .RE
519 .
520 .
521 .TP
522 .B failback
523 Tell multipathd how to manage path group failback.
524 To select \fIimmediate\fR or a \fIvalue\fR, it's mandatory that the device
525 has support for a working prioritizer.
526 .RS
527 .TP 12
528 .I immediate
529 Immediately failback to the highest priority pathgroup that contains
530 active paths.
531 .TP
532 .I manual
533 Do not perform automatic failback.
534 .TP
535 .I followover
536 Used to deal with multiple computers accessing the same Active/Passive storage
537 devices. Only perform automatic failback when the first path of a pathgroup
538 becomes active. This keeps a cluster node from automatically failing back when
539 another node requested the failover.
540 .TP
541 .I values > 0
542 Deferred failback (time to defer in seconds).
543 .TP
544 The default is: \fBmanual\fR
545 .RE
546 .
547 .
548 .TP
549 .B  rr_min_io
550 Number of I/O requests to route to a path before switching to the next in the
551 same path group. This is only for \fIBlock I/O\fR(BIO) based multipath and
552 only apply to \fIround-robin\fR path_selector.
553 .RS
554 .TP
555 The default is: \fB1000\fR
556 .RE
557 .
558 .
559 .TP
560 .B rr_min_io_rq
561 Number of I/O requests to route to a path before switching to the next in the
562 same path group. This is only for \fIRequest\fR based multipath and
563 only apply to \fIround-robin\fR path_selector.
564 .RS
565 .TP
566 The default is: \fB1\fR
567 .RE
568 .
569 .
570 .TP
571 .B max_fds
572 Specify the maximum number of file descriptors that can be opened by multipath
573 and multipathd. This is equivalent to ulimit \-n. A value of \fImax\fR will set
574 this to the system limit from \fI/proc/sys/fs/nr_open\fR. If this is not set, the
575 maximum number of open fds is taken from the calling process. It is usually
576 1024. To be safe, this should be set to the maximum number of paths plus 32,
577 if that number is greated than 1024.
578 .RS
579 .TP
580 The default is: \fBmax\fR
581 .RE
582 .
583 .
584 .TP
585 .B rr_weight
586 If set to \fIpriorities\fR the multipath configurator will assign path weights
587 as "path prio * rr_min_io". Possible values are
588 .I priorities
589 or
590 .I uniform .
591 Only apply to \fIround-robin\fR path_selector.
592 .RS
593 .TP
594 The default is: \fBuniform\fR
595 .RE
596 .
597 .
598 .TP
599 .B no_path_retry
600 Specify what to do when all paths are down. Possible values are:
601 .RS
602 .TP 12
603 .I value > 0
604 Number of retries until disable I/O queueing.
605 .TP
606 .I fail
607 For immediate failure (no I/O queueing).
608 .TP
609 .I queue
610 For never stop I/O queueing, similar to \fIqueue_if_no_path\fR. See KNOWN ISSUES.
611 .TP
612 The default is: \fBfail\fR
613 .RE
614 .
615 .
616 .TP
617 .B queue_without_daemon
618 If set to
619 .I no
620 , when multipathd stops, queueing will be turned off for all devices.
621 This is useful for devices that set no_path_retry. If a machine is
622 shut down while all paths to a device are down, it is possible to hang waiting
623 for I/O to return from the device after multipathd has been stopped. Without
624 multipathd running, access to the paths cannot be restored, and the kernel
625 cannot be told to stop queueing I/O. Setting queue_without_daemon to
626 .I no
627 , avoids this problem.
628 .RS
629 .TP
630 The default is: \fBno\fR
631 .RE
632 .
633 .
634 .TP
635 .B checker_timeout
636 Specify the timeout to use for path checkers and prioritizers that issue SCSI
637 commands with an explicit timeout, in seconds.
638 .RS
639 .TP
640 The default is: in \fB/sys/block/sd<x>/device/timeout\fR
641 .RE
642 .
643 .
644 .TP
645 .B flush_on_last_del
646 If set to
647 .I yes
648 , multipathd will disable queueing when the last path to a device has been
649 deleted.
650 .RS
651 .TP
652 The default is: \fBno\fR
653 .RE
654 .
655 .
656 .TP
657 .B user_friendly_names
658 If set to
659 .I yes
660 , using the bindings file \fI/etc/multipath/bindings\fR to assign a persistent
661 and unique alias to the multipath, in the form of mpath<n>. If set to
662 .I no
663 use the WWID as the alias. In either case this be will
664 be overridden by any specific aliases in the \fImultipaths\fR section.
665 .RS
666 .TP
667 The default is: \fBno\fR
668 .RE
669 .
670 .
671 .TP
672 .B fast_io_fail_tmo
673 Specify the number of seconds the SCSI layer will wait after a problem has been
674 detected on a FC remote port before failing I/O to devices on that remote port.
675 This should be smaller than dev_loss_tmo. Setting this to
676 .I off
677 will disable the timeout.
678 .RS
679 .TP
680 The default is: \fB5\fR
681 .RE
682 .
683 .
684 .TP
685 .B dev_loss_tmo
686 Specify the number of seconds the SCSI layer will wait after a problem has
687 been detected on a FC remote port before removing it from the system. This
688 can be set to "infinity" which sets it to the max value of 2147483647
689 seconds, or 68 years. It will be automatically adjusted to the overall
690 retry interval \fIno_path_retry\fR * \fIpolling_interval\fR
691 if a number of retries is given with \fIno_path_retry\fR and the
692 overall retry interval is longer than the specified \fIdev_loss_tmo\fR value.
693 The Linux kernel will cap this value to \fI600\fR if \fIfast_io_fail_tmo\fR
694 is not set. See KNOWN ISSUES.
695 .RS
696 .TP
697 The default is: \fB600\fR
698 .RE
699 .
700 .
701 .TP
702 .B bindings_file
703 The full pathname of the binding file to be used when the user_friendly_names
704 option is set.
705 .RS
706 .TP
707 The default is: \fB/etc/multipath/bindings\fR
708 .RE
709 .
710 .
711 .TP
712 .B wwids_file
713 The full pathname of the WWIDs file, which is used by multipath to keep track
714 of the WWIDs for LUNs it has created multipath devices on in the past.
715 .RS
716 .TP
717 The default is: \fB/etc/multipath/wwids\fR
718 .RE
719 .
720 .
721 .TP
722 .B prkeys_file
723 The full pathname of the prkeys file, which is used by multipathd to keep
724 track of the persistent reservation key used for a specific WWID, when
725 \fIreservation_key\fR is set to \fBfile\fR.
726 .RS
727 .TP
728 The default is: \fB/etc/multipath/prkeys\fR
729 .RE
730 .
731 .
732 .TP
733 .B log_checker_err
734 If set to
735 .I once
736 , multipathd logs the first path checker error at logging level 2. Any later
737 errors are logged at level 3 until the device is restored. If set to
738 .I always
739 , multipathd always logs the path checker error at logging level 2.
740 .RS
741 .TP
742 The default is: \fBalways\fR
743 .RE
744 .
745 .
746 .TP
747 .B reservation_key
748 This is the service action reservation key used by mpathpersist. It must be
749 set for all multipath devices using persistent reservations, and it must be
750 the same as the RESERVATION KEY field of the PERSISTENT RESERVE OUT parameter
751 list which contains an 8-byte value provided by the application client to the
752 device server to identify the I_T nexus. If the \fI--param-aptpl\fR option is
753 used when registering the key with mpathpersist, \fB:aptpl\fR must be appended
754 to the end of the reservation key.
755 .RS
756 .PP
757 Alternatively, this can be set to \fBfile\fR, which will store the RESERVATION
758 KEY registered by mpathpersist in the \fIprkeys_file\fR. multipathd will then
759 use this key to register additional paths as they appear.  When the
760 registration is removed, the RESERVATION KEY is removed from the
761 \fIprkeys_file\fR. The prkeys file will automatically keep track of whether
762 the key was registered with \fI--param-aptpl\fR.
763 .TP
764 The default is: \fB<unset>\fR
765 .RE
766 .
767 .
768 .TP
769 .B all_tg_pt
770 Set the 'all targets ports' flag when registering keys with mpathpersist. Some
771 arrays automatically set and clear registration keys on all target ports from a
772 host, instead of per target port per host. The ALL_TG_PT flag must be set to
773 successfully use mpathpersist on these arrays. Setting this option is identical
774 to calling mpathpersist with \fI--param-alltgpt\fR
775 .RS
776 .TP
777 The default is: \fBno\fR
778 .RE
779 .
780 .
781 .TP
782 .B retain_attached_hw_handler
783 (Obsolete for kernels >= 4.3) If set to
784 .I yes
785 and the SCSI layer has already attached a hardware_handler to the device,
786 multipath will not force the device to use the hardware_handler specified by
787 mutipath.conf. If the SCSI layer has not attached a hardware handler,
788 multipath will continue to use its configured hardware handler.
789 .RS
790 .PP
791 The default is: \fByes\fR
792 .PP
793 \fBImportant Note:\fR Linux kernel 4.3 or newer always behaves as if
794 \fB"retain_attached_hw_handler yes"\fR was set.
795 .RE
796 .
797 .
798 .TP
799 .B detect_prio
800 If set to
801 .I yes
802 , multipath will try to detect if the device supports SCSI-3 ALUA. If so, the
803 device will automatically use the \fIsysfs\fR prioritizer if the required sysf
804 attributes \fIaccess_state\fR and \fIpreferred_path\fR are supported, or the
805 \fIalua\fR prioritizer if not. If set to
806 .I no
807 , the prioritizer will be selected as usual.
808 .RS
809 .TP
810 The default is: \fByes\fR
811 .RE
812 .
813 .
814 .TP
815 .B detect_checker
816 if set to
817 .I yes
818 , multipath will try to detect if the device supports SCSI-3 ALUA. If so, the
819 device will automatically use the \fItur\fR checker. If set to
820 .I no
821 , the checker will be selected as usual.
822 .RS
823 .TP
824 The default is: \fByes\fR
825 .RE
826 .
827 .
828 .TP
829 .B force_sync
830 If set to
831 .I yes
832 , multipathd will call the path checkers in sync mode only.  This means that
833 only one checker will run at a time.  This is useful in the case where many
834 multipathd checkers running in parallel causes significant CPU pressure.
835 .RS
836 .TP
837 The default is: \fBno\fR
838 .RE
839 .
840 .
841 .TP
842 .B strict_timing
843 If set to
844 .I yes
845 , multipathd will start a new path checker loop after exactly one second,
846 so that each path check will occur at exactly \fIpolling_interval\fR
847 seconds. On busy systems path checks might take longer than one second;
848 here the missing ticks will be accounted for on the next round.
849 A warning will be printed if path checks take longer than \fIpolling_interval\fR
850 seconds.
851 .RS
852 .TP
853 The default is: \fBno\fR
854 .RE
855 .
856 .
857 .TP
858 .B deferred_remove
859 If set to
860 .I yes
861 , multipathd will do a deferred remove instead of a regular remove when the
862 last path device has been deleted.  This means that if the multipath device is
863 still in use, it will be freed when the last user closes it.  If path is added
864 to the multipath device before the last user closes it, the deferred remove
865 will be canceled.
866 .RS
867 .TP
868 The default is: \fBno\fR
869 .RE
870 .
871 .
872 .TP
873 .B partition_delimiter
874 This parameter controls how multipath chooses the names of partition devices
875 of multipath maps if a multipath map is renamed (e.g. if a map alias is added
876 or changed). If this parameter is set to a string other than "/UNSET/" (even
877 the empty string), multipath inserts that string between device name and
878 partition number to construct the partition device name.
879 Otherwise (i.e. if this parameter is unset or has the value "/UNSET/"),
880 the behavior depends on the map name: if it ends in a digit, a \fI"p"\fR is
881 inserted between name and partition number; otherwise, the partition number is
882 simply appended.
883 Distributions may use a non-null default value for this option; in this case,
884 the user must set it to "/UNSET/" to obtain the original \fB<unset>\fR
885 behavior. Use \fImultipath -T\fR to check the current settings.
886 .RS
887 .TP
888 The default is: \fB<unset>\fR
889 .RE
890 .
891 .
892 .TP
893 .B config_dir
894 If set to anything other than "", multipath will search this directory
895 alphabetically for file ending in ".conf" and it will read configuration
896 information from them, just as if it was in \fI/etc/multipath.conf\fR.
897 config_dir must either be "" or a fully qualified directory name.
898 .RS
899 .TP
900 The default is: \fB/etc/multipath/conf.d/\fR
901 .RE
902 .
903 .
904 .TP
905 .B san_path_err_threshold
906 If set to a value greater than 0, multipathd will watch paths and check how many
907 times a path has been failed due to errors.If the number of failures on a particular
908 path is greater then the san_path_err_threshold, then the path will not reinstate
909 till san_path_err_recovery_time. These path failures should occur within a
910 san_path_err_forget_rate checks, if not we will consider the path is good enough
911 to reinstantate. See "Shaky paths detection" below.
912 .RS
913 .TP
914 The default is: \fBno\fR
915 .RE
916 .
917 .
918 .TP
919 .B san_path_err_forget_rate
920 If set to a value greater than 0, multipathd will check whether the path failures
921 has exceeded  the san_path_err_threshold within this many checks i.e
922 san_path_err_forget_rate . If so we will not reinstante the path till
923 san_path_err_recovery_time. See "Shaky paths detection" below.
924 .RS
925 .TP
926 The default is: \fBno\fR
927 .RE
928 .
929 .
930 .TP
931 .B san_path_err_recovery_time
932 If set to a value greater than 0, multipathd will make sure that when path failures
933 has exceeded the san_path_err_threshold within san_path_err_forget_rate then the path
934 will be placed in failed state for san_path_err_recovery_time duration.Once san_path_err_recovery_time
935 has timeout  we will reinstante the failed path .
936 san_path_err_recovery_time value should be in secs.
937 See "Shaky paths detection" below.
938 .RS
939 .TP
940 The default is: \fBno\fR
941 .RE
942 .
943 .
944 .TP
945 .B marginal_path_double_failed_time
946 One of the four parameters of supporting path check based on accounting IO
947 error such as intermittent error. When a path failed event occurs twice in
948 \fImarginal_path_double_failed_time\fR seconds due to an IO error and all the
949 other three parameters are set, multipathd will fail the path and enqueue
950 this path into a queue of which members are sent a couple of continuous
951 direct reading asynchronous IOs at a fixed sample rate of 10HZ to start IO
952 error accounting process. See "Shaky paths detection" below.
953 .RS
954 .TP
955 The default is: \fBno\fR
956 .RE
957 .
958 .
959 .TP
960 .B marginal_path_err_sample_time
961 One of the four parameters of supporting path check based on accounting IO
962 error such as intermittent error. If it is set to a value no less than 120,
963 when a path fail event occurs twice in \fImarginal_path_double_failed_time\fR
964 second due to an IO error, multipathd will fail the path and enqueue this
965 path into a queue of which members are sent a couple of continuous direct
966 reading asynchronous IOs at a fixed sample rate of 10HZ to start the IO
967 accounting process for the path will last for
968 \fImarginal_path_err_sample_time\fR.
969 If the rate of IO error on a particular path is greater than the
970 \fImarginal_path_err_rate_threshold\fR, then the path will not reinstate for
971 \fImarginal_path_err_recheck_gap_time\fR seconds unless there is only one
972 active path. After \fImarginal_path_err_recheck_gap_time\fR expires, the path
973 will be requeueed for rechecking. If checking result is good enough, the
974 path will be reinstated. See "Shaky paths detection" below.
975 .RS
976 .TP
977 The default is: \fBno\fR
978 .RE
979 .
980 .
981 .TP
982 .B marginal_path_err_rate_threshold
983 The error rate threshold as a permillage (1/1000). One of the four parameters
984 of supporting path check based on accounting IO error such as intermittent
985 error. Refer to \fImarginal_path_err_sample_time\fR. If the rate of IO errors
986 on a particular path is greater than this parameter, then the path will not
987 reinstate for \fImarginal_path_err_recheck_gap_time\fR seconds unless there is
988 only one active path. See "Shaky paths detection" below.
989 .RS
990 .TP
991 The default is: \fBno\fR
992 .RE
993 .
994 .
995 .TP
996 .B marginal_path_err_recheck_gap_time
997 One of the four parameters of supporting path check based on accounting IO
998 error such as intermittent error. Refer to
999 \fImarginal_path_err_sample_time\fR. If this parameter is set to a positive
1000 value, the failed path of  which the IO error rate is larger than
1001 \fImarginal_path_err_rate_threshold\fR will be kept in failed state for
1002 \fImarginal_path_err_recheck_gap_time\fR seconds. When
1003 \fImarginal_path_err_recheck_gap_time\fR seconds expires, the path will be
1004 requeueed for checking. If checking result is good enough, the path will be
1005 reinstated, or else it will keep failed. See "Shaky paths detection" below.
1006 .RS
1007 .TP
1008 The default is: \fBno\fR
1009 .RE
1010 .
1011 .
1012 .TP
1013 .B delay_watch_checks
1014 This option is \fBdeprecated\fR, and mapped to \fIsan_path_err_forget_rate\fR.
1015 If this is set to a value greater than 0 and no \fIsan_path_err\fR options
1016 are set, \fIsan_path_err_forget_rate\fR will be set to the value of
1017 \fIdelay_watch_checks\fR and \fIsan_path_err_threshold\fR will be set to 1.
1018 See the \fIsan_path_err_forget_rate\fR and \fIsan_path_err_threshold\fR
1019 options, and "Shaky paths detection" below for more information.
1020 .RS
1021 .TP
1022 The default is: \fBno\fR
1023 .RE
1024 .
1025 .
1026 .TP
1027 .B delay_wait_checks
1028 This option is \fBdeprecated\fR, and mapped to \fIsan_path_err_recovery_time\fR.
1029 If this is set to a value greater than 0 and no \fIsan_path_err\fR options
1030 are set, \fIsan_path_err_recovery_time\fR will be set to the value of
1031 \fIdelay_wait_checks\fR times \fImax_polling_interval\fR. This will give
1032 approximately the same wait time as delay_wait_checks previously did.
1033 Also, \fIsan_path_err_threshold\fR will be set to 1. See the
1034 \fIsan_path_err_recovery_time\fR and \fIsan_path_err_threshold\fR
1035 options, and "Shaky paths detection" below for more information.
1036 .RS
1037 .TP
1038 The default is: \fBno\fR
1039 .RE
1040 .
1041 .
1042 .TP
1043 .B marginal_pathgroups
1044 If set to \fIno\fR, the \fIdelay_*_checks\fR, \fImarginal_path_*\fR, and
1045 \fIsan_path_err_*\fR options will keep marginal, or \(dqshaky\(dq, paths from
1046 being reinstated until they have been monitored for some time. This can cause
1047 situations where all non-marginal paths are down, and no paths are usable
1048 until multipathd detects this and reinstates a marginal path. If the multipath
1049 device is not configured to queue IO in this case, it can cause IO errors to
1050 occur, even though there are marginal paths available.  However, if this
1051 option is set to \fIyes\fR, when one of the marginal path detecting methods
1052 determines that a path is marginal, it will be reinstated and placed in a
1053 seperate pathgroup that will only be used after all the non-marginal pathgroups
1054 have been tried first. This prevents the possibility of IO errors occuring
1055 while marginal paths are still usable. After the path has been monitored
1056 for the configured time, and is declared healthy, it will be returned to its
1057 normal pathgroup. See "Shaky paths detection" below for more information.
1058 .RS
1059 .TP
1060 The default  is: \fBno\fR
1061 .RE
1062 .
1063 .
1064 .TP
1065 .B find_multipaths
1066 This option controls whether multipath and multipathd try to create multipath
1067 maps over non-blacklisted devices they encounter. This matters a) when a device is
1068 encountered by \fBmultipath -u\fR during udev rule processing (a device is
1069 blocked from further processing by higher layers - such as LVM - if and only
1070 if it\'s considered a valid multipath device path), and b) when multipathd
1071 detects a new device. The following values are possible:
1072 .RS
1073 .TP 10
1074 .I strict
1075 Both multipath and multipathd treat only such devices as multipath devices
1076 which have been part of a multipath map previously, and which are therefore
1077 listed in the \fBwwids_file\fR. Users can manually set up multipath maps using the
1078 \fBmultipathd add map\fR command. Once set up manually, the map is
1079 remembered in the wwids file and will be set up automatically in the future.
1080 .TP
1081 .I no
1082 Multipath behaves like \fBstrict\fR. Multipathd behaves like \fBgreedy\fR.
1083 .TP
1084 .I yes
1085 Both multipathd and multipath treat a device as multipath device if the
1086 conditions for \fBstrict\fR are met, or if at least two non-blacklisted paths
1087 with the same WWID have been detected.
1088 .TP
1089 .I greedy
1090 Both multipathd and multipath treat every non-blacklisted device as multipath
1091 device path.
1092 .TP
1093 .I smart
1094 This differs from \fIfind_multipaths yes\fR only in
1095 the way it treats new devices for which only one path has been
1096 detected yet. When such a device is first encounted in udev rules, it is
1097 treated as a multipath device. multipathd waits whether additional paths with
1098 the same WWID appears. If that happens, it sets up a multipath map. If it
1099 doesn\'t happen until a
1100 timeout expires, or if setting up the map fails, a new uevent is triggered for
1101 the device; at second encounter in the udev rules, the device will be treated
1102 as non-multipath and passed on to upper layers.
1103 \fBNote:\fR this may cause delays during device detection if
1104 there are single-path devices which aren\'t blacklisted.
1105 .TP
1106 The default is: \fBstrict\fR
1107 .RE
1108 .
1109 .
1110 .TP
1111 .B find_multipaths_timeout
1112 Timeout, in seconds, to wait for additional paths after detecting the first
1113 one, if \fIfind_multipaths
1114 "smart"\fR (see above) is set. If the value is \fBpositive\fR, this timeout is used for all
1115 unknown, non-blacklisted devices encountered. If the value is \fBnegative\fR
1116 (recommended), it's only
1117 applied to "known" devices that have an entry in multipath's hardware table,
1118 either in the built-in table or in a \fIdevice\fR section; other ("unknown") devices will
1119 use a timeout of only 1 second to avoid booting delays. The value 0 means
1120 "use the built-in default". If \fIfind_multipath\fR has a value
1121 other than \fIsmart\fR, this option has no effect.
1122 .RS
1123 .TP
1124 The default is: \fB-10\fR (10s for known and 1s for unknown hardware)
1125 .RE
1126 .
1127 .
1128 .TP
1129 .B uxsock_timeout
1130 CLI receive timeout in milliseconds. For larger systems CLI commands
1131 might timeout before the multipathd lock is released and the CLI command
1132 can be processed. This will result in errors like
1133 "timeout receiving packet" to be returned from CLI commands.
1134 In these cases it is recommended to increase the CLI timeout to avoid
1135 those issues.
1136 .RS
1137 .TP
1138 The default is: \fB1000\fR
1139 .RE
1140 .
1141 .
1142 .TP
1143 .B retrigger_tries
1144 Sets the number of times multipathd will try to retrigger a uevent to get the
1145 WWID.
1146 .RS
1147 .TP
1148 The default is: \fB3\fR
1149 .RE
1150 .
1151 .
1152 .TP
1153 .B retrigger_delay
1154 Sets the amount of time, in seconds, to wait between retriggers.
1155 .RS
1156 .TP
1157 The default is: \fB10\fR
1158 .RE
1159 .
1160 .
1161 .TP
1162 .B missing_uev_wait_timeout
1163 Controls how many seconds multipathd will wait, after a new multipath device
1164 is created, to receive a change event from udev for the device, before
1165 automatically enabling device reloads. Usually multipathd will delay reloads
1166 on a device until it receives a change uevent from the initial table load.
1167 .RS
1168 .TP
1169 The default is: \fB30\fR
1170 .RE
1171 .
1172 .
1173 .TP
1174 .B skip_kpartx
1175 If set to
1176 .I yes
1177 , kpartx will not automatically create partitions on the device.
1178 .RS
1179 .TP
1180 The default is: \fBno\fR
1181 .RE
1182 .
1183 .
1184 .TP
1185 .B disable_changed_wwids
1186 This option is deprecated and ignored. If the WWID of a path suddenly changes,
1187 multipathd handles it as if it was removed and then added again.
1188 .RE
1189 .
1190 .
1191 .TP
1192 .B remove_retries
1193 This sets how may times multipath will retry removing a device that is in-use.
1194 Between each attempt, multipath will sleep 1 second.
1195 .RS
1196 .TP
1197 The default is: \fB0\fR
1198 .RE
1199 .
1200 .
1201 .TP
1202 .B max_sectors_kb
1203 Sets the max_sectors_kb device parameter on all path devices and the multipath
1204 device to the specified value.
1205 .RS
1206 .TP
1207 The default is: \fB<device dependent>\fR
1208 .RE
1209 .
1210 .
1211 .TP
1212 .B ghost_delay
1213 Sets the number of seconds that multipath will wait after creating a device
1214 with only ghost paths before marking it ready for use in systemd. This gives
1215 the active paths time to appear before the multipath runs the hardware handler
1216 to switch the ghost paths to active ones. Setting this to \fI0\fR or \fIon\fR
1217 makes multipath immediately mark a device with only ghost paths as ready.
1218 .RS
1219 .TP
1220 The default is: \fBno\fR
1221 .RE
1222 .
1223 .
1224 .TP
1225 .B enable_foreign
1226 Enables or disables foreign libraries (see section
1227 .I FOREIGN MULTIPATH SUPPORT
1228 below). The value is a regular expression; foreign libraries are loaded
1229 if their name (e.g. \(dqnvme\(dq) matches the expression. By default,
1230 all foreign libraries are enabled.
1231 .RS
1232 .TP
1233 The default is: \fB\(dq\(dq\fR (the empty regular expression)
1234 .RE
1235 .
1236 .
1237
1238 .
1239 .\" ----------------------------------------------------------------------------
1240 .SH "blacklist and blacklist_exceptions sections"
1241 .\" ----------------------------------------------------------------------------
1242 .
1243 The \fIblacklist\fR section is used to exclude specific devices from
1244 the multipath topology. It is most commonly used to exclude local disks or
1245 non-disk devices (such as LUNs for the storage array controller) from
1246 being handled by multipath-tools.
1247 .LP
1248 .
1249 .
1250 The \fIblacklist_exceptions\fR section is used to revert the actions of the
1251 \fIblacklist\fR section. This allows one to selectively include ("whitelist") devices which
1252 would normally be excluded via the \fIblacklist\fR section. A common usage is
1253 to blacklist "everything" using a catch-all regular expression, and create
1254 specific blacklist_exceptions entries for those devices that should be handled
1255 by multipath-tools.
1256 .LP
1257 .
1258 .
1259 The following keywords are recognized in both sections. The defaults are empty
1260 unless explicitly stated.
1261 .TP 17
1262 .B devnode
1263 Regular expression matching the device nodes to be excluded/included.
1264 .RS
1265 .PP
1266 The default \fIblacklist\fR consists of the regular expressions
1267 "^(ram|zram|raw|loop|fd|md|dm-|sr|scd|st|dcssblk)[0-9]" and
1268 "^(td|hd|vd)[a-z]". This causes virtual devices, non-disk devices, and some other
1269 device types to be excluded from multipath handling by default.
1270 .RE
1271 .TP
1272 .B wwid
1273 Regular expression for the \fIWorld Wide Identifier\fR of a device to be excluded/included.
1274 .
1275 .TP
1276 .B device
1277 Subsection for the device description. This subsection recognizes the
1278 .B vendor
1279 and
1280 .B product
1281 keywords. Both are regular expressions. For a full description of these keywords please see the
1282 \fIdevices\fR section description.
1283 .TP
1284 .B property
1285 Regular expression for an udev property. All
1286 devices that have matching udev properties will be excluded/included.
1287 The handling of the \fIproperty\fR keyword is special,
1288 because devices \fBmust\fR have at least one whitelisted udev property;
1289 otherwise they're treated as blacklisted, and the message
1290 "\fIblacklisted, udev property missing\fR" is displayed in the logs.
1291 .
1292 .RS
1293 .PP
1294 .B Note:
1295 The behavior of this option has changed in \fBmultipath-tools\fR 0.8.2
1296 compared to previous versions.
1297 Blacklisting by missing properties is only applied to devices which do have the
1298 property specified by \fIuid_attribute\fR (e.g. \fIID_SERIAL\fR)
1299 set. Previously, it was applied to every device, possibly causing devices to be
1300 blacklisted because of temporary I/O error conditions.
1301 .PP
1302 The default \fIblacklist exception\fR is: \fB(SCSI_IDENT_|ID_WWN)\fR, causing
1303 well-behaved SCSI devices and devices that provide a WWN (World Wide Number)
1304 to be included, and all others to be excluded.
1305 .RE
1306 .TP
1307 .B protocol
1308 Regular expression for the protocol of a device to be excluded/included.
1309 .RS
1310 .PP
1311 The protocol strings that multipath recognizes are \fIscsi:fcp\fR,
1312 \fIscsi:spi\fR, \fIscsi:ssa\fR, \fIscsi:sbp\fR, \fIscsi:srp\fR,
1313 \fIscsi:iscsi\fR, \fIscsi:sas\fR, \fIscsi:adt\fR, \fIscsi:ata\fR,
1314 \fIscsi:unspec\fR, \fIccw\fR, \fIcciss\fR, \fInvme\fR, and \fIundef\fR.
1315 The protocol that a path is using can be viewed by running
1316 \fBmultipathd show paths format "%d %P"\fR
1317 .RE
1318 .LP
1319 For every device, these 5 blacklist criteria are evaluated in the the order
1320 "property, dev\%node, device, protocol, wwid". If a device turns out to be
1321 blacklisted by any criterion, it's excluded from handling by multipathd, and
1322 the later criteria aren't evaluated any more. For each
1323 criterion, the whitelist takes precedence over the blacklist if a device
1324 matches both.
1325 .LP
1326 .B
1327 Note:
1328 Besides the blacklist and whitelist, other configuration options such as
1329 \fIfind_multipaths\fR have an impact on
1330 whether or not a given device is handled by multipath-tools.
1331 .
1332 .
1333 .\" ----------------------------------------------------------------------------
1334 .SH "multipaths section"
1335 .\" ----------------------------------------------------------------------------
1336 .
1337 The \fImultipaths\fR section allows setting attributes of multipath maps. The
1338 attributes that are set via the multipaths section (see list below) take
1339 precedence over all other configuration settings, including those from the
1340 \fIoverrides\fR section.
1341 .LP
1342 The only recognized attribute for the \fImultipaths\fR section is the
1343 \fImultipath\fR subsection. If there are multiple \fImultipath\fR subsections
1344 matching a given WWID, the contents of these sections are merged, and settings
1345 from later entries take precedence.
1346 .LP
1347 .
1348 .
1349 The \fImultipath\fR subsection recognizes the following attributes:
1350 .TP 17
1351 .B wwid
1352 (Mandatory) World Wide Identifier. Detected multipath maps are matched agains this attribute.
1353 Note that, unlike the \fIwwid\fR attribute in the \fIblacklist\fR section,
1354 this is \fBnot\fR a regular expression or a substring; WWIDs must match
1355 exactly inside the multipaths section.
1356 .TP
1357 .B alias
1358 Symbolic name for the multipath map. This takes precedence over a an entry for
1359 the same WWID in the \fIbindings_file\fR.
1360 .LP
1361 .
1362 .
1363 The following attributes are optional; if not set the default values
1364 are taken from the \fIoverrides\fR, \fIdevices\fR, or \fIdefaults\fR
1365 section:
1366 .sp 1
1367 .PD .1v
1368 .RS
1369 .TP 18
1370 .B path_grouping_policy
1371 .TP
1372 .B path_selector
1373 .TP
1374 .B prio
1375 .TP
1376 .B prio_args
1377 .TP
1378 .B failback
1379 .TP
1380 .B rr_weight
1381 .TP
1382 .B no_path_retry
1383 .TP
1384 .B rr_min_io
1385 .TP
1386 .B rr_min_io_rq
1387 .TP
1388 .B flush_on_last_del
1389 .TP
1390 .B features
1391 .TP
1392 .B reservation_key
1393 .TP
1394 .B user_friendly_names
1395 .TP
1396 .B deferred_remove
1397 .TP
1398 .B san_path_err_threshold
1399 .TP
1400 .B san_path_err_forget_rate
1401 .TP
1402 .B san_path_err_recovery_time
1403 .TP
1404 .B marginal_path_err_sample_time
1405 .TP
1406 .B marginal_path_err_rate_threshold
1407 .TP
1408 .B marginal_path_err_recheck_gap_time
1409 .TP
1410 .B marginal_path_double_failed_time
1411 .TP
1412 .B delay_watch_checks
1413 .TP
1414 .B delay_wait_checks
1415 .TP
1416 .B skip_kpartx
1417 .TP
1418 .B max_sectors_kb
1419 .TP
1420 .B ghost_delay
1421 .RE
1422 .PD
1423 .LP
1424 .
1425 .
1426 .\" ----------------------------------------------------------------------------
1427 .SH "devices section"
1428 .\" ----------------------------------------------------------------------------
1429 .
1430 \fImultipath-tools\fR have a built-in device table with reasonable defaults
1431 for more than 100 known multipath-capable storage devices. The devices section
1432 can be used to override these settings. If there are multiple matches for a
1433 given device, the attributes of all matching entries are applied to it.
1434 If an attribute is specified in several matching device subsections,
1435 later entries take precedence. Thus, entries in files under \fIconfig_dir\fR (in
1436 reverse alphabetical order) have the highest precedence, followed by entries
1437 in \fImultipath.conf\fR; the built-in hardware table has the lowest
1438 precedence. Inside a configuration file, later entries have higher precedence
1439 than earlier ones.
1440 .LP
1441 The only recognized attribute for the \fIdevices\fR section is the \fIdevice\fR
1442 subsection. Devices detected in the system are matched against the device entries
1443 using the \fBvendor\fR, \fBproduct\fR, and \fBrevision\fR fields, which are
1444 all POSIX Extended regular expressions (see \fBregex\fR(7)).
1445 .LP
1446 The vendor, product, and revision fields that multipath or multipathd detect for
1447 devices in a system depend on the device type. For SCSI devices, they correspond to the
1448 respective fields of the SCSI INQUIRY page. In general, the command '\fImultipathd show
1449 paths format "%d %s"\fR' command can be used to see the detected properties
1450 for all devices in the system.
1451 .LP
1452 .
1453 The \fIdevice\fR subsection recognizes the following attributes:
1454 .TP 17
1455 .B vendor
1456 (Mandatory) Regular expression to match the vendor name.
1457 .TP
1458 .B product
1459 (Mandatory) Regular expression to match the product name.
1460 .TP
1461 .B revision
1462 Regular expression to match the product revision. If not specified, any
1463 revision matches.
1464 .TP
1465 .B product_blacklist
1466 Products with the given \fBvendor\fR matching this string are
1467 blacklisted. This is equivalent to a \fBdevice\fR entry in the \fIblacklist\fR
1468 section with the \fIvendor\fR attribute set to this entry's \fIvendor\fR, and
1469 the \fIproduct\fR attribute set to the value of \fIproduct_blacklist\fR.
1470 .TP
1471 .B alias_prefix
1472 The user_friendly_names prefix to use for this
1473 device type, instead of the default "mpath".
1474 .TP
1475 .B vpd_vendor
1476 The vendor specific vpd page information, using the vpd page abbreviation.
1477 The vpd page abbreviation can be found by running \fIsg_vpd -e\fR. multipathd
1478 will use this information to gather device specific information that can be
1479 displayed with the \fI%g\fR wilcard for the \fImultipathd show maps format\fR
1480 and \fImultipathd show paths format\fR commands. Currently only the
1481 \fBhp3par\fR vpd page is supported.
1482 .TP
1483 .B hardware_handler
1484 The hardware handler to use for this device type.
1485 The following hardware handler are implemented:
1486 .RS
1487 .TP 12
1488 .I 1 emc
1489 (Hardware-dependent)
1490 Hardware handler for DGC class arrays as CLARiiON CX/AX and EMC VNX and Unity
1491 families.
1492 .TP
1493 .I 1 rdac
1494 (Hardware-dependent)
1495 Hardware handler for LSI/Engenio/NetApp RDAC class as NetApp SANtricity E/EF
1496 Series, and OEM arrays from IBM DELL SGI STK and SUN.
1497 .TP
1498 .I 1 hp_sw
1499 (Hardware-dependent)
1500 Hardware handler for HP/COMPAQ/DEC HSG80 and MSA/HSV arrays with
1501 Active/Standby mode exclusively.
1502 .TP
1503 .I 1 alua
1504 (Hardware-dependent)
1505 Hardware handler for SCSI-3 ALUA compatible arrays.
1506 .TP
1507 .I 1 ana
1508 (Hardware-dependent)
1509 Hardware handler for NVMe ANA compatible arrays.
1510 .PP
1511 The default is: \fB<unset>\fR
1512 .PP
1513 \fBImportant Note:\fR Linux kernels 4.3 and newer automatically attach a device
1514 handler to known devices (which includes all devices supporting SCSI-3 ALUA)
1515 and disallow changing the handler
1516 afterwards. Setting \fBhardware_handler\fR for such devices on these kernels
1517 has no effect.
1518 .RE
1519 .
1520 .
1521 .LP
1522 The following attributes are optional; if not set the default values
1523 are taken from the \fIdefaults\fR
1524 section:
1525 .sp 1
1526 .PD .1v
1527 .RS
1528 .TP 18
1529 .B path_grouping_policy
1530 .TP
1531 .B uid_attribute
1532 .TP
1533 .B getuid_callout
1534 .TP
1535 .B path_selector
1536 .TP
1537 .B path_checker
1538 .TP
1539 .B prio
1540 .TP
1541 .B prio_args
1542 .TP
1543 .B features
1544 .TP
1545 .B failback
1546 .TP
1547 .B rr_weight
1548 .TP
1549 .B no_path_retry
1550 .TP
1551 .B rr_min_io
1552 .TP
1553 .B rr_min_io_rq
1554 .TP
1555 .B fast_io_fail_tmo
1556 .TP
1557 .B dev_loss_tmo
1558 .TP
1559 .B flush_on_last_del
1560 .TP
1561 .B user_friendly_names
1562 .TP
1563 .B retain_attached_hw_handler
1564 .TP
1565 .B detect_prio
1566 .TP
1567 .B detect_checker
1568 .TP
1569 .B deferred_remove
1570 .TP
1571 .B san_path_err_threshold
1572 .TP
1573 .B san_path_err_forget_rate
1574 .TP
1575 .B san_path_err_recovery_time
1576 .TP
1577 .B marginal_path_err_sample_time
1578 .TP
1579 .B marginal_path_err_rate_threshold
1580 .TP
1581 .B marginal_path_err_recheck_gap_time
1582 .TP
1583 .B marginal_path_double_failed_time
1584 .TP
1585 .B delay_watch_checks
1586 .TP
1587 .B delay_wait_checks
1588 .TP
1589 .B skip_kpartx
1590 .TP
1591 .B max_sectors_kb
1592 .TP
1593 .B ghost_delay
1594 .TP
1595 .B all_tg_pt
1596 .RE
1597 .PD
1598 .LP
1599 .
1600 .
1601 .\" ----------------------------------------------------------------------------
1602 .SH "overrides section"
1603 .\" ----------------------------------------------------------------------------
1604 .
1605 The overrides section recognizes the following optional attributes; if not set
1606 the values are taken from the \fIdevices\fR or \fIdefaults\fR sections:
1607 .sp 1
1608 .PD .1v
1609 .RS
1610 .TP 18
1611 .B path_grouping_policy
1612 .TP
1613 .B uid_attribute
1614 .TP
1615 .B getuid_callout
1616 .TP
1617 .B path_selector
1618 .TP
1619 .B path_checker
1620 .TP
1621 .B alias_prefix
1622 .TP
1623 .B features
1624 .TP
1625 .B prio
1626 .TP
1627 .B prio_args
1628 .TP
1629 .B failback
1630 .TP
1631 .B rr_weight
1632 .TP
1633 .B no_path_retry
1634 .TP
1635 .B rr_min_io
1636 .TP
1637 .B rr_min_io_rq
1638 .TP
1639 .B flush_on_last_del
1640 .TP
1641 .B fast_io_fail_tmo
1642 .TP
1643 .B dev_loss_tmo
1644 .TP
1645 .B user_friendly_names
1646 .TP
1647 .B retain_attached_hw_handler
1648 .TP
1649 .B detect_prio
1650 .TP
1651 .B detect_checker
1652 .TP
1653 .B deferred_remove
1654 .TP
1655 .B san_path_err_threshold
1656 .TP
1657 .B san_path_err_forget_rate
1658 .TP
1659 .B san_path_err_recovery_time
1660 .TP
1661 .B marginal_path_err_sample_time
1662 .TP
1663 .B marginal_path_err_rate_threshold
1664 .TP
1665 .B marginal_path_err_recheck_gap_time
1666 .TP
1667 .B marginal_path_double_failed_time
1668 .TP
1669 .B delay_watch_checks
1670 .TP
1671 .B delay_wait_checks
1672 .TP
1673 .B skip_kpartx
1674 .TP
1675 .B max_sectors_kb
1676 .TP
1677 .B ghost_delay
1678 .TP
1679 .B all_tg_pt
1680 .RE
1681 .PD
1682 .LP
1683 .
1684 .
1685 .\" ----------------------------------------------------------------------------
1686 .SH "WWID generation"
1687 .\" ----------------------------------------------------------------------------
1688 .
1689 Multipath uses a \fIWorld Wide Identification\fR (WWID) to determine
1690 which paths belong to the same device. Each path presenting the same
1691 WWID is assumed to point to the same device.
1692 .LP
1693 The WWID is generated by four methods (in the order of preference):
1694 .TP 17
1695 .B uid_attrs
1696 The WWID is derived from udev attributes by matching the device node name; cf
1697 \fIuid_attrs\fR above.
1698 .TP
1699 .B getuid_callout
1700 Use the specified external program; cf \fIgetuid_callout\fR above.
1701 Care should be taken when using this method; the external program
1702 needs to be loaded from disk for execution, which might lead to
1703 deadlock situations in an all-paths-down scenario.
1704 .TP
1705 .B uid_attribute
1706 Use the value of the specified udev attribute; cf \fIuid_attribute\fR
1707 above. This method is preferred to \fIgetuid_callout\fR as multipath
1708 does not need to call any external programs here. However, under
1709 certain circumstances udev might not be able to generate the requested
1710 variable.
1711 .TP
1712 .B sysfs
1713 Try to determine the WWID from sysfs attributes.
1714 For SCSI devices, this means reading the Vital Product Data (VPD) page
1715 \(dqDevice Identification\(dq (0x83).
1716 .PP
1717 The default settings (using udev and \fBuid_attribute\fR configured from
1718 the built-in hardware table) should work fine
1719 in most scenarios. Users who want to enable uevent merging must set
1720 \fBuid_attrs\fR.
1721 .
1722 .
1723 .\" ----------------------------------------------------------------------------
1724 .SH "Shaky paths detection"
1725 .\" ----------------------------------------------------------------------------
1726 .
1727 A common problem in SAN setups is the occurence of intermittent errors: a
1728 path is unreachable, then reachable again for a short time, disappears again,
1729 and so forth. This happens typically on unstable interconnects. It is
1730 undesirable to switch pathgroups unnecessarily on such frequent, unreliable
1731 events. \fImultipathd\fR supports three different methods for detecting this
1732 situation and dealing with it. All methods share the same basic mode of
1733 operation: If a path is found to be \(dqshaky\(dq or \(dqflipping\(dq,
1734 and appears to be in healthy status, it is not reinstated (put back to use)
1735 immediately. Instead, it is placed in the \(dqdelayed\(dq state and watched
1736 for some time, and only reinstated if the healthy state appears to be stable.
1737 If the \fImarginal_pathgroups\fR option is set, the path will reinstated
1738 immediately, but placed in a special pathgroup for marginal paths. Marginal
1739 pathgroups will not be used until all other pathgroups have been tried. At the
1740 time when the path would normally be reinstated, it will be returned to its
1741 normal pathgroup. The logic of determining \(dqshaky\(dq condition, as well as
1742 the logic when to reinstate, differs between the three methods.
1743 .TP 8
1744 .B \(dqdelay_checks\(dq failure tracking
1745 This method is \fBdeprecated\fR and mapped to the \(dqsan_path_err\(dq method.
1746 See the \fIdelay_watch_checks\fR and \fIdelay_wait_checks\fR options above
1747 for more information.
1748
1749 .TP
1750 .B \(dqmarginal_path\(dq failure tracking
1751 If a second failure event (good->bad transition) occurs within
1752 \fImarginal_path_double_failed_time\fR seconds after a failure, high-frequency
1753 monitoring is started for the affected path: I/O is sent at a rate of 10 per
1754 second. This is done for \fImarginal_path_err_sample_time\fR seconds. During
1755 this period, the path is not reinstated. If the
1756 rate of errors remains below \fImarginal_path_err_rate_threshold\fR during the
1757 monitoring period, the path is reinstated. Otherwise, it
1758 is kept in failed state for \fImarginal_path_err_recheck_gap_time\fR, and
1759 after that, it is monitored again. For this method, time intervals are measured
1760 in seconds.
1761 .TP
1762 .B \(dqsan_path_err\(dq failure tracking
1763 multipathd counts path failures for each path. Once the number of failures
1764 exceeds the value given by \fIsan_path_err_threshold\fR, the path is not
1765 reinstated for \fIsan_path_err_recovery_time\fR seconds. While counting
1766 failures, multipathd \(dqforgets\(dq one past failure every
1767 \(dqsan_path_err_forget_rate\(dq ticks; thus if errors don't occur more
1768 often then once in the forget rate interval, the failure count doesn't
1769 increase and the threshold is never reached. Ticks are the time between
1770 path checks by multipathd, which is variable and controlled by the
1771 \fIpolling_interval\fR and \fImax_polling_interval\fR parameters.
1772 .
1773 .RS 8
1774 .LP
1775 This method is \fBdeprecated\fR in favor of the \(dqmarginal_path\(dq failure
1776 tracking method, and only offered for backward compatibility.
1777 .
1778 .RE
1779 .LP
1780 See the documentation
1781 of the individual options above for details.
1782 It is \fBstrongly discouraged\fR to use more than one of these methods for any
1783 given multipath map, because the two concurrent methods may interact in
1784 unpredictable ways. If the \(dqmarginal_path\(dq method is active, the
1785 \(dqsan_path_err\(dq parameters are implicitly set to 0.
1786 .
1787 .
1788 .\" ----------------------------------------------------------------------------
1789 .SH "FOREIGN MULTIPATH SUPPORT"
1790 .\" ----------------------------------------------------------------------------
1791 .
1792 multipath and multipathd can load \(dqforeign\(dq libraries to add
1793 support for other multipathing technologies besides the Linux device mapper.
1794 Currently this support is limited to printing detected information about
1795 multipath setup. In topology output, the names of foreign maps are prefixed by
1796 the foreign library name in square brackets, as in this example:
1797 .
1798 .P
1799 .EX
1800 # multipath -ll
1801 uuid.fedcba98-3579-4567-8765-123456789abc [nvme]:nvme4n9 NVMe,Some NVMe controller,FFFFFFFF
1802 size=167772160 features='n/a' hwhandler='ANA' wp=rw
1803 |-+- policy='n/a' prio=50 status=optimized
1804 | `- 4:38:1    nvme4c38n1 0:0     n/a   optimized    live
1805 `-+- policy='n/a' prio=50 status=optimized
1806   `- 4:39:1    nvme4c39n1 0:0     n/a   optimized    live
1807 .EE
1808 .
1809 .P
1810 The \(dqnvme\(dq foreign library provides support for NVMe native multipathing
1811 in the kernel. It is part of the standard multipath package.
1812 .
1813 .\" ----------------------------------------------------------------------------
1814 .SH "KNOWN ISSUES"
1815 .\" ----------------------------------------------------------------------------
1816 .
1817 The usage of \fIqueue_if_no_path\fR option can lead to \fID state\fR
1818 processes being hung and not killable in situations where all the paths to the
1819 LUN go offline. It is advisable to use the \fIno_path_retry\fR option instead.
1820 .P
1821 The use of \fIqueue_if_no_path\fR or \fIno_path_retry\fR might lead to a
1822 deadlock if the \fIdev_loss_tmo\fR setting results in a device being removed
1823 while I/O is still queued. The multipath daemon will update the \fIdev_loss_tmo\fR
1824 setting accordingly to avoid this deadlock. Hence if both values are
1825 specified the order of precedence is \fIno_path_retry, queue_if_no_path, dev_loss_tmo\fR.
1826 .
1827 .
1828 .\" ----------------------------------------------------------------------------
1829 .SH "SEE ALSO"
1830 .\" ----------------------------------------------------------------------------
1831 .
1832 .BR udev (8),
1833 .BR dmsetup (8),
1834 .BR multipath (8),
1835 .BR multipathd (8).
1836 .
1837 .
1838 .\" ----------------------------------------------------------------------------
1839 .SH AUTHORS
1840 .\" ----------------------------------------------------------------------------
1841 .
1842 \fImultipath-tools\fR was developed by Christophe Varoqui, <christophe.varoqui@opensvc.com>
1843 and others.
1844 .\" EOF