6965dacb5c6826cbc6dbd1bb77d2cd477cc7dbd5
[multipath-tools/.git] / multipath / multipath.conf.5
1 .\" ----------------------------------------------------------------------------
2 .\" Update the date below if you make any significant change.
3 .\" Make sure there are no errors with:
4 .\" groff -z -wall -b -e -t multipath/multipath.conf.5
5 .\" man --warnings -E UTF-8 -l -Tutf8 -Z multipath/multipath.conf.5 >/dev/null
6 .\"
7 .\" TODO: Look for XXX and ???
8 .\"
9 .\" ----------------------------------------------------------------------------
10 .
11 .TH MULTIPATH.CONF 5 2017-08-18 Linux
12 .
13 .
14 .\" ----------------------------------------------------------------------------
15 .SH NAME
16 .\" ----------------------------------------------------------------------------
17 .
18 multipath.conf \- multipath daemon configuration file.
19 .
20 .
21 .\" ----------------------------------------------------------------------------
22 .SH DESCRIPTION
23 .\" ----------------------------------------------------------------------------
24 .
25 .B "/etc/multipath.conf"
26 is the configuration file for the multipath daemon. It is used to
27 overwrite the built-in configuration table of \fBmultipathd\fP.
28 Any line whose first non-white-space character is a '#' is considered
29 a comment line. Empty lines are ignored.
30 .PP
31 Currently used multipathd configuration can be displayed with the \fBmultipath -t\fR
32 or \fBmultipathd show config\fR command.
33 .
34 .
35 .\" ----------------------------------------------------------------------------
36 .SH SYNTAX
37 .\" ----------------------------------------------------------------------------
38 .
39 The configuration file contains entries of the form:
40 .RS
41 .nf
42 .ft B
43 .sp
44 <section> {
45 .RS
46 .ft B
47 <attribute> <value>
48 .I "..."
49 .ft B
50 <subsection> {
51 .RS
52 .ft B
53 <attribute> <value>
54 .I "..."
55 .RE
56 .ft B
57 }
58 .RE
59 .ft B
60 }
61 .ft R
62 .fi
63 .RE
64 .LP
65 Each \fIsection\fP contains one or more attributes or subsections. The
66 recognized keywords for attributes or subsections depend on the
67 section in which they occur.
68 .LP
69 .
70 \fB<attribute>\fR and \fB<value>\fR must be on a single line.
71 \fB<attribute>\fR is one of the keywords listed in this man page.
72 \fB<value>\fR is either a simple word (containing no whitespace and none of the
73 characters '\(dq', '#', and '!') or \fIone\fR string enclosed in double
74 quotes ("..."). Outside a quoted string, text starting with '#', and '!' is
75 regarded as a comment and ignored until the end of the line. Inside a quoted
76 string, '#' and '!' are normal characters, and whitespace is preserved.
77 To represent a double quote character inside a double quoted string, use two
78 consecutive double quotes ('""'). Thus '2.5\(dq SSD' can be written as "2.5"" SSD".
79 .LP
80 .
81 Opening braces ('{') must follow the (sub)section name on the same line. Closing
82 braces ('}') that mark the end of a (sub)section must be the only non-whitespace
83 character on the line. Whitespace is ignored except inside double quotes, thus
84 the indentation shown in the above example is helpful for human readers but
85 not mandatory.
86 .LP
87 .
88 The following \fIsection\fP keywords are recognized:
89 .TP 17
90 .B defaults
91 This section defines default values for attributes which are used
92 whenever no values are given in the appropriate device or multipath
93 sections.
94 .TP
95 .B blacklist
96 This section defines which devices should be excluded from the
97 multipath topology discovery.
98 .TP
99 .B blacklist_exceptions
100 This section defines which devices should be included in the
101 multipath topology discovery, despite being listed in the
102 \fIblacklist\fR section.
103 .TP
104 .B multipaths
105 This section defines the multipath topologies. They are indexed by a
106 \fIWorld Wide Identifier\fR(WWID). For details on the WWID generation
107 see section \fIWWID generation\fR below.
108 .TP
109 .B devices
110 This section defines the device-specific settings.
111 .TP
112 .B overrides
113 This section defines values for attributes that should override the
114 device-specific settings for all devices.
115 .RE
116 .LP
117 .
118 .
119 .\" ----------------------------------------------------------------------------
120 .SH "defaults section"
121 .\" ----------------------------------------------------------------------------
122 .
123 The \fIdefaults\fR section recognizes the following keywords:
124 .
125 .
126 .TP 17
127 .B verbosity
128 Default verbosity. Higher values increase the verbosity level. Valid
129 levels are between 0 and 6.
130 .RS
131 .TP
132 The default is: \fB2\fR
133 .RE
134 .
135 .
136 .TP
137 .B polling_interval
138 Interval between two path checks in seconds. For properly functioning paths,
139 the interval between checks will gradually increase to \fImax_polling_interval\fR.
140 This value will be overridden by the \fIWatchdogSec\fR
141 setting in the multipathd.service definition if systemd is used.
142 .RS
143 .TP
144 The default is: \fB5\fR
145 .RE
146 .
147 .
148 .TP
149 .B max_polling_interval
150 Maximal interval between two path checks in seconds.
151 .RS
152 .TP
153 The default is: \fB4 * polling_interval\fR
154 .RE
155 .
156 .
157 .TP
158 .B reassign_maps
159 Enable reassigning of device-mapper maps. With this option multipathd
160 will remap existing device-mapper maps to always point to multipath
161 device, not the underlying block devices. Possible values are
162 \fIyes\fR and \fIno\fR.
163 .RS
164 .TP
165 The default is: \fBno\fR
166 .RE
167 .
168 .
169 .TP
170 .B multipath_dir
171 Directory where the dynamic shared objects are stored. Defined at compile time,
172 commonly \fI/lib64/multipath/\fR or \fI/lib/multipath/\fR.
173 .RS
174 .TP
175 The default is: \fB<system dependent>\fR
176 .RE
177 .
178 .
179 .TP
180 .B path_selector
181 The default path selector algorithm to use; they are offered by the
182 kernel multipath target. There are three selector algorithms:
183 .RS
184 .TP 12
185 .I "round-robin 0"
186 Loop through every path in the path group, sending the same amount of I/O to
187 each. Some aspects of behavior can be controlled with the attributes:
188 \fIrr_min_io\fR, \fIrr_min_io_rq\fR and \fIrr_weight\fR.
189 .TP
190 .I "queue-length 0"
191 (Since 2.6.31 kernel) Choose the path for the next bunch of I/O based on the amount
192 of outstanding I/O to the path.
193 .TP
194 .I "service-time 0"
195 (Since 2.6.31 kernel) Choose the path for the next bunch of I/O based on the amount
196 of outstanding I/O to the path and its relative throughput.
197 .TP
198 The default is: \fBservice-time 0\fR
199 .RE
200 .
201 .
202 .TP
203 .B path_grouping_policy
204 The default path grouping policy to apply to unspecified
205 multipaths. Possible values are:
206 .RS
207 .TP 12
208 .I failover
209 One path per priority group.
210 .TP
211 .I multibus
212 All paths in one priority group.
213 .TP
214 .I group_by_serial
215 One priority group per serial number.
216 .TP
217 .I group_by_prio
218 One priority group per priority value. Priorities are determined by
219 callout programs specified as a global, per-controller or
220 per-multipath option in the configuration file.
221 .TP
222 .I group_by_node_name
223 One priority group per target node name. Target node names are fetched
224 in \fI/sys/class/fc_transport/target*/node_name\fR.
225 .TP
226 The default is: \fBfailover\fR
227 .RE
228 .
229 .
230 .TP
231 .B uid_attrs
232 The udev attribute providing a unique path identifier for corresponding
233 type of path devices. If this field is configured and matched with type
234 of device, it would override any other methods providing for device
235 unique identifier in config file, and it would activate merging uevents
236 according to the identifier to promote effiecncy in processing uevents.
237 It has no default value, if you want to identify path by udev attribute
238 and to activate merging uevents for SCSI and DASD devices, you can set
239 its value as: \fIuid_attrs "sd:ID_SERIAL dasd:ID_UID"\fR.
240 .RS
241 .TP
242 The default is: \fB<unset>\fR
243 .RE
244 .
245 .
246 .TP
247 .B uid_attribute
248 The udev attribute providing a unique path identifier.
249 .RS
250 .TP
251 The default is: for SCSI devices \fBID_SERIAL\fR
252 .TP
253 The default is: for DASD devices \fBID_UID\fR
254 .TP
255 The default is: for NVME devices \fBID_WWN\fR
256 .RE
257 .
258 .
259 .TP
260 .B getuid_callout
261 (Superseded by \fIuid_attribute\fR) The default program and args to callout
262 to obtain a unique path identifier. Should be specified with an absolute path.
263 .RS
264 .TP
265 The default is: \fB<unset>\fR
266 .RE
267 .
268 .
269 .TP
270 .B prio
271 The name of the path priority routine. The specified routine
272 should return a numeric value specifying the relative priority
273 of this path. Higher number have a higher priority.
274 \fI"none"\fR is a valid value. Currently the following path priority routines
275 are implemented:
276 .RS
277 .TP 12
278 .I const
279 Return a constant priority of \fI1\fR.
280 .TP
281 .I sysfs
282 Use the sysfs attributes \fIaccess_state\fR and \fIpreferred_path\fR to
283 generate the path priority. This prioritizer accepts the optional prio_arg
284 \fIexclusive_pref_bit\fR.
285 .TP
286 .I emc
287 (Hardware-dependent)
288 Generate the path priority for DGC class arrays as CLARiiON CX/AX and
289 EMC VNX and Unity families.
290 .TP
291 .I alua
292 (Hardware-dependent)
293 Generate the path priority based on the SCSI-3 ALUA settings. This prioritizer
294 accepts the optional prio_arg \fIexclusive_pref_bit\fR.
295 .TP
296 .I ontap
297 (Hardware-dependent)
298 Generate the path priority for NetApp ONTAP class and OEM arrays as IBM NSeries.
299 .TP
300 .I rdac
301 (Hardware-dependent)
302 Generate the path priority for LSI/Engenio/NetApp RDAC class as NetApp SANtricity
303 E/EF Series, and OEM arrays from IBM DELL SGI STK and SUN.
304 .TP
305 .I hp_sw
306 (Hardware-dependent)
307 Generate the path priority for HP/COMPAQ/DEC HSG80 and MSA/HSV arrays with
308 Active/Standby mode exclusively.
309 .TP
310 .I hds
311 (Hardware-dependent)
312 Generate the path priority for Hitachi AMS 2000 and HUS 100 families of arrays.
313 .TP
314 .I random
315 Generate a random priority between 1 and 10.
316 .TP
317 .I weightedpath
318 Generate the path priority based on the regular expression and the
319 priority provided as argument. Requires prio_args keyword.
320 .TP
321 .I path_latency
322 Generate the path priority based on a latency algorithm.
323 Requires prio_args keyword.
324 .TP
325 .I datacore
326 (Hardware-dependent)
327 Generate the path priority for some DataCore storage arrays. Requires prio_args
328 keyword.
329 .TP
330 .I iet
331 (iSCSI only)
332 Generate path priority for iSCSI targets based on IP address. Requires
333 prio_args keyword.
334 .PP
335 The default depends on the \fBdetect_prio\fR setting: If \fBdetect_prio\fR is
336 \fByes\fR (default), the default priority algorithm is \fBsysfs\fR (except for
337 NetAPP E-Series, where it is \fBalua\fR). If \fBdetect_prio\fR is
338 \fBno\fR, the default priority algorithm is \fBconst\fR.
339 .RE
340 .
341 .
342 .TP
343 .B prio_args
344 Arguments to pass to to the prio function. This only applies to certain
345 prioritizers:
346 .RS
347 .TP 12
348 .I weighted
349 Needs a value of the form
350 \fI"<hbtl|devname|serial|wwn> <regex1> <prio1> <regex2> <prio2> ..."\fR
351 .RS
352 .TP 8
353 .I hbtl
354 Regex can be of SCSI H:B:T:L format. For example: 1:0:.:. , *:0:0:.
355 .TP
356 .I devname
357 Regex can be of device name format. For example: sda , sd.e
358 .TP
359 .I serial
360 Regex can be of serial number format. For example: .*J1FR.*324 . The serial can
361 be looked up through sysfs or by running multipathd show paths format "%z". For
362 example: 0395J1FR904324
363 .TP
364 .I wwn
365 Regex can be of the form \fI"host_wwnn:host_wwpn:target_wwnn:target_wwpn"\fR
366 these values can be looked up through sysfs or by running \fImultipathd show paths format
367 "%N:%R:%n:%r"\fR. For example: 0x200100e08ba0aea0:0x210100e08ba0aea0:.*:.* , .*:.*:iqn.2009-10.com.redhat.msp.lab.ask-06:.*
368 .RE
369 .TP 12
370 .I path_latency
371 Needs a value of the form "io_num=\fI<20>\fR base_num=\fI<10>\fR"
372 .RS
373 .TP 8
374 .I io_num
375 The number of read IOs sent to the current path continuously, used to calculate the average path latency.
376 Valid Values: Integer, [2, 200].
377 .TP
378 .I base_num
379 The base number value of logarithmic scale, used to partition different priority ranks. Valid Values: Integer,
380 [2, 10]. And Max average latency value is 100s, min average latency value is 1us.
381 For example: If base_num=10, the paths will be grouped in priority groups with path latency <=1us, (1us, 10us],
382 (10us, 100us], (100us, 1ms], (1ms, 10ms], (10ms, 100ms], (100ms, 1s], (1s, 10s], (10s, 100s], >100s.
383 .RE
384 .TP 12
385 .I alua
386 If \fIexclusive_pref_bit\fR is set, paths with the \fIpreferred path\fR bit
387 set will always be in their own path group.
388 .TP
389 .I sysfs
390 If \fIexclusive_pref_bit\fR is set, paths with the \fIpreferred path\fR bit
391 set will always be in their own path group.
392 .TP
393 .I datacore
394 .RS
395 .TP 8
396 .I preferredsds
397 (Mandatory) The preferred "SDS name".
398 .TP
399 .I timeout
400 (Optional) The timeout for the INQUIRY, in ms.
401 .RE
402 .TP 12
403 .I iet
404 .RS
405 .TP 8
406 .I preferredip=...
407 (Mandatory) Th preferred IP address, in dotted decimal notation, for iSCSI targets.
408 .RE
409 .TP
410 The default is: \fB<unset>\fR
411 .RE
412 .
413 .
414 .TP
415 .B features
416 Specify any device-mapper features to be used. Syntax is \fInum list\fR
417 where \fInum\fR is the number, between 0 and 8, of features in \fIlist\fR.
418 Possible values for the feature list are:
419 .RS
420 .TP 12
421 .I queue_if_no_path
422 (Deprecated, superseded by \fIno_path_retry\fR) Queue I/O if no path is active.
423 Identical to the \fIno_path_retry\fR with \fIqueue\fR value. If both this
424 feature and \fIno_path_retry\fR are set, the latter value takes
425 precedence. See KNOWN ISSUES.
426 .TP
427 .I pg_init_retries <times>
428 (Since kernel 2.6.24) Number of times to retry pg_init, it must be between 1 and 50.
429 .TP
430 .I pg_init_delay_msecs <msecs>
431 (Since kernel 2.6.38) Number of msecs before pg_init retry, it must be between 0 and 60000.
432 .TP
433 .I queue_mode <mode>
434 (Since kernel 4.8) Select the the queueing mode per multipath device.
435 <mode> can be \fIbio\fR, \fIrq\fR or \fImq\fR, which corresponds to
436 bio-based, request-based, and block-multiqueue (blk-mq) request-based,
437 respectively.
438 The default depends on the kernel parameter \fBdm_mod.use_blk_mq\fR. It is
439 \fImq\fR if the latter is set, and \fIrq\fR otherwise.
440 .TP
441 The default is: \fB<unset>\fR
442 .RE
443 .
444 .
445 .TP
446 .B path_checker
447 The default method used to determine the paths state. Possible values
448 are:
449 .RS
450 .TP 12
451 .I readsector0
452 (Deprecated) Read the first sector of the device. This checker is being
453 deprecated, please use \fItur\fR instead.
454 .TP
455 .I tur
456 Issue a \fITEST UNIT READY\fR command to the device.
457 .TP
458 .I emc_clariion
459 (Hardware-dependent)
460 Query the DGC/EMC specific EVPD page 0xC0 to determine the path state
461 for CLARiiON CX/AX and EMC VNX and Unity arrays families.
462 .TP
463 .I hp_sw
464 (Hardware-dependent)
465 Check the path state for HP/COMPAQ/DEC HSG80 and MSA/HSV arrays with
466 Active/Standby mode exclusively.
467 .TP
468 .I rdac
469 (Hardware-dependent)
470 Check the path state for LSI/Engenio/NetApp RDAC class as NetApp SANtricity E/EF
471 Series, and OEM arrays from IBM DELL SGI STK and SUN.
472 .TP
473 .I directio
474 (Deprecated) Read the first sector with direct I/O. This checker is being
475 deprecated, it could cause spurious path failures under high load.
476 Please use \fItur\fR instead.
477 .TP
478 .I cciss_tur
479 (Hardware-dependent)
480 Check the path state for HP/COMPAQ Smart Array(CCISS) controllers.
481 .TP
482 .I none
483 Do not check the device, fallback to use the values retrieved from sysfs
484 .TP
485 .I rbd
486 Check if the path is in the Ceph blacklist and remap the path if it is.
487 .TP
488 The default is: \fBtur\fR
489 .RE
490 .
491 .
492 .TP
493 .B alias_prefix
494 The \fIuser_friendly_names\fR prefix.
495 .RS
496 .TP
497 The default is: \fBmpath\fR
498 .RE
499 .
500 .
501 .TP
502 .B failback
503 Tell multipathd how to manage path group failback.
504 To select \fIimmediate\fR or a \fIvalue\fR, it's mandatory that the device
505 has support for a working prioritizer.
506 .RS
507 .TP 12
508 .I immediate
509 Immediately failback to the highest priority pathgroup that contains
510 active paths.
511 .TP
512 .I manual
513 Do not perform automatic failback.
514 .TP
515 .I followover
516 Used to deal with multiple computers accessing the same Active/Passive storage
517 devices. Only perform automatic failback when the first path of a pathgroup
518 becomes active. This keeps a cluster node from automatically failing back when
519 another node requested the failover.
520 .TP
521 .I values > 0
522 Deferred failback (time to defer in seconds).
523 .TP
524 The default is: \fBmanual\fR
525 .RE
526 .
527 .
528 .TP
529 .B  rr_min_io
530 Number of I/O requests to route to a path before switching to the next in the
531 same path group. This is only for \fIBlock I/O\fR(BIO) based multipath and
532 only apply to \fIround-robin\fR path_selector.
533 .RS
534 .TP
535 The default is: \fB1000\fR
536 .RE
537 .
538 .
539 .TP
540 .B rr_min_io_rq
541 Number of I/O requests to route to a path before switching to the next in the
542 same path group. This is only for \fIRequest\fR based multipath and
543 only apply to \fIround-robin\fR path_selector.
544 .RS
545 .TP
546 The default is: \fB1\fR
547 .RE
548 .
549 .
550 .TP
551 .B max_fds
552 Specify the maximum number of file descriptors that can be opened by multipath
553 and multipathd. This is equivalent to ulimit \-n. A value of \fImax\fR will set
554 this to the system limit from \fI/proc/sys/fs/nr_open\fR. If this is not set, the
555 maximum number of open fds is taken from the calling process. It is usually
556 1024. To be safe, this should be set to the maximum number of paths plus 32,
557 if that number is greated than 1024.
558 .RS
559 .TP
560 The default is: \fBmax\fR
561 .RE
562 .
563 .
564 .TP
565 .B rr_weight
566 If set to \fIpriorities\fR the multipath configurator will assign path weights
567 as "path prio * rr_min_io". Possible values are
568 .I priorities
569 or
570 .I uniform .
571 Only apply to \fIround-robin\fR path_selector.
572 .RS
573 .TP
574 The default is: \fBuniform\fR
575 .RE
576 .
577 .
578 .TP
579 .B no_path_retry
580 Specify what to do when all paths are down. Possible values are:
581 .RS
582 .TP 12
583 .I value > 0
584 Number of retries until disable I/O queueing.
585 .TP
586 .I fail
587 For immediate failure (no I/O queueing).
588 .TP
589 .I queue
590 For never stop I/O queueing, similar to \fIqueue_if_no_path\fR. See KNOWN ISSUES.
591 .TP
592 The default is: \fBfail\fR
593 .RE
594 .
595 .
596 .TP
597 .B queue_without_daemon
598 If set to
599 .I no
600 , when multipathd stops, queueing will be turned off for all devices.
601 This is useful for devices that set no_path_retry. If a machine is
602 shut down while all paths to a device are down, it is possible to hang waiting
603 for I/O to return from the device after multipathd has been stopped. Without
604 multipathd running, access to the paths cannot be restored, and the kernel
605 cannot be told to stop queueing I/O. Setting queue_without_daemon to
606 .I no
607 , avoids this problem.
608 .RS
609 .TP
610 The default is: \fBno\fR
611 .RE
612 .
613 .
614 .TP
615 .B checker_timeout
616 Specify the timeout to use for path checkers and prioritizers that issue SCSI
617 commands with an explicit timeout, in seconds.
618 .RS
619 .TP
620 The default is: in \fB/sys/block/sd<x>/device/timeout\fR
621 .RE
622 .
623 .
624 .TP
625 .B flush_on_last_del
626 If set to
627 .I yes
628 , multipathd will disable queueing when the last path to a device has been
629 deleted.
630 .RS
631 .TP
632 The default is: \fBno\fR
633 .RE
634 .
635 .
636 .TP
637 .B user_friendly_names
638 If set to
639 .I yes
640 , using the bindings file \fI/etc/multipath/bindings\fR to assign a persistent
641 and unique alias to the multipath, in the form of mpath<n>. If set to
642 .I no
643 use the WWID as the alias. In either case this be will
644 be overridden by any specific aliases in the \fImultipaths\fR section.
645 .RS
646 .TP
647 The default is: \fBno\fR
648 .RE
649 .
650 .
651 .TP
652 .B fast_io_fail_tmo
653 Specify the number of seconds the SCSI layer will wait after a problem has been
654 detected on a FC remote port before failing I/O to devices on that remote port.
655 This should be smaller than dev_loss_tmo. Setting this to
656 .I off
657 will disable the timeout.
658 .RS
659 .TP
660 The default is: in \fB5\fR
661 .RE
662 .
663 .
664 .TP
665 .B dev_loss_tmo
666 Specify the number of seconds the SCSI layer will wait after a problem has
667 been detected on a FC remote port before removing it from the system. This
668 can be set to "infinity" which sets it to the max value of 2147483647
669 seconds, or 68 years. It will be automatically adjusted to the overall
670 retry interval \fIno_path_retry\fR * \fIpolling_interval\fR
671 if a number of retries is given with \fIno_path_retry\fR and the
672 overall retry interval is longer than the specified \fIdev_loss_tmo\fR value.
673 The Linux kernel will cap this value to \fI600\fR if \fIfast_io_fail_tmo\fR
674 is not set. See KNOWN ISSUES.
675 .RS
676 .TP
677 The default is: \fB600\fR
678 .RE
679 .
680 .
681 .TP
682 .B bindings_file
683 The full pathname of the binding file to be used when the user_friendly_names
684 option is set.
685 .RS
686 .TP
687 The default is: \fB/etc/multipath/bindings\fR
688 .RE
689 .
690 .
691 .TP
692 .B wwids_file
693 The full pathname of the WWIDs file, which is used by multipath to keep track
694 of the WWIDs for LUNs it has created multipath devices on in the past.
695 .RS
696 .TP
697 The default is: \fB/etc/multipath/wwids\fR
698 .RE
699 .
700 .
701 .TP
702 .B prkeys_file
703 The full pathname of the prkeys file, which is used by multipathd to keep
704 track of the persistent reservation key used for a specific WWID, when
705 \fIreservation_key\fR is set to \fBfile\fR.
706 .RS
707 .TP
708 The default is \fB/etc/multipath/prkeys\fR
709 .RE
710 .
711 .
712 .TP
713 .B log_checker_err
714 If set to
715 .I once
716 , multipathd logs the first path checker error at logging level 2. Any later
717 errors are logged at level 3 until the device is restored. If set to
718 .I always
719 , multipathd always logs the path checker error at logging level 2.
720 .RS
721 .TP
722 The default is: \fBalways\fR
723 .RE
724 .
725 .
726 .TP
727 .B reservation_key
728 This is the service action reservation key used by mpathpersist. It must be
729 set for all multipath devices using persistent reservations, and it must be
730 the same as the RESERVATION KEY field of the PERSISTENT RESERVE OUT parameter
731 list which contains an 8-byte value provided by the application client to the
732 device server to identify the I_T nexus.
733 .RS
734 .PP
735 Alternatively, this can be set to \fBfile\fR, which will store the RESERVATION
736 KEY registered by mpathpersist in the \fIprkeys_file\fR. multipathd will then
737 use this key to register additional paths as they appear.  When the
738 registration is removed, the RESERVATION KEY is removed from the
739 \fIprkeys_file\fR.
740 .TP
741 The default is: \fB<unset>\fR
742 .RE
743 .
744 .
745 .TP
746 .B retain_attached_hw_handler
747 (Obsolete for kernels >= 4.3) If set to
748 .I yes
749 and the SCSI layer has already attached a hardware_handler to the device,
750 multipath will not force the device to use the hardware_handler specified by
751 mutipath.conf. If the SCSI layer has not attached a hardware handler,
752 multipath will continue to use its configured hardware handler.
753 .RS
754 .PP
755 The default is: \fByes\fR
756 .PP
757 \fBImportant Note:\fR Linux kernel 4.3 or newer always behaves as if
758 \fB"retain_attached_hw_handler yes"\fR was set.
759 .RE
760 .
761 .
762 .TP
763 .B detect_prio
764 If set to
765 .I yes
766 , multipath will try to detect if the device supports SCSI-3 ALUA. If so, the
767 device will automatically use the \fIsysfs\fR prioritizer if the required sysf
768 attributes \fIaccess_state\fR and \fIpreferred_path\fR are supported, or the
769 \fIalua\fR prioritizer if not. If set to
770 .I no
771 , the prioritizer will be selected as usual.
772 .RS
773 .TP
774 The default is: \fByes\fR
775 .RE
776 .
777 .
778 .TP
779 .B detect_checker
780 if set to
781 .I yes
782 , multipath will try to detect if the device supports SCSI-3 ALUA. If so, the
783 device will automatically use the \fItur\fR checker. If set to
784 .I no
785 , the checker will be selected as usual.
786 .RS
787 .TP
788 The default is: \fByes\fR
789 .RE
790 .
791 .
792 .TP
793 .B force_sync
794 If set to
795 .I yes
796 , multipathd will call the path checkers in sync mode only.  This means that
797 only one checker will run at a time.  This is useful in the case where many
798 multipathd checkers running in parallel causes significant CPU pressure.
799 .RS
800 .TP
801 The default is: \fBno\fR
802 .RE
803 .
804 .
805 .TP
806 .B strict_timing
807 If set to
808 .I yes
809 , multipathd will start a new path checker loop after exactly one second,
810 so that each path check will occur at exactly \fIpolling_interval\fR
811 seconds. On busy systems path checks might take longer than one second;
812 here the missing ticks will be accounted for on the next round.
813 A warning will be printed if path checks take longer than \fIpolling_interval\fR
814 seconds.
815 .RS
816 .TP
817 The default is: \fBno\fR
818 .RE
819 .
820 .
821 .TP
822 .B deferred_remove
823 If set to
824 .I yes
825 , multipathd will do a deferred remove instead of a regular remove when the
826 last path device has been deleted.  This means that if the multipath device is
827 still in use, it will be freed when the last user closes it.  If path is added
828 to the multipath device before the last user closes it, the deferred remove
829 will be canceled.
830 .RS
831 .TP
832 The default is: \fBno\fR
833 .RE
834 .
835 .
836 .TP
837 .B partition_delimiter
838 If this value is not set, when multipath renames a device, it will act just
839 like the kpartx default does, only adding a \fI"p"\fR to names ending in a
840 number. If this parameter is set, multipath will act like kpartx does with
841 the \fI-p\fR option is used, and always add delimiter.
842 .RS
843 .TP
844 The default is: \fB<unset>\fR
845 .RE
846 .
847 .
848 .TP
849 .B config_dir
850 If set to anything other than "", multipath will search this directory
851 alphabetically for file ending in ".conf" and it will read configuration
852 information from them, just as if it was in \fI/etc/multipath.conf\fR.
853 config_dir must either be "" or a fully qualified directory name.
854 .RS
855 .TP
856 The default is: \fB/etc/multipath/conf.d/\fR
857 .RE
858 .
859 .
860 .TP
861 .B marginal_path_double_failed_time
862 One of the four parameters of supporting path check based on accounting IO
863 error such as intermittent error. When a path failed event occurs twice in
864 \fImarginal_path_double_failed_time\fR seconds due to an IO error and all the
865 other three parameters are set, multipathd will fail the path and enqueue
866 this path into a queue of which members are sent a couple of continuous
867 direct reading asynchronous IOs at a fixed sample rate of 10HZ to start IO
868 error accounting process.
869 .RS
870 .TP
871 The default is: \fBno\fR
872 .RE
873 .
874 .
875 .TP
876 .B marginal_path_err_sample_time
877 One of the four parameters of supporting path check based on accounting IO
878 error such as intermittent error. If it is set to a value no less than 120,
879 when a path fail event occurs twice in \fImarginal_path_double_failed_time\fR
880 second due to an IO error, multipathd will fail the path and enqueue this
881 path into a queue of which members are sent a couple of continuous direct
882 reading asynchronous IOs at a fixed sample rate of 10HZ to start the IO
883 accounting process for the path will last for
884 \fImarginal_path_err_sample_time\fR.
885 If the rate of IO error on a particular path is greater than the
886 \fImarginal_path_err_rate_threshold\fR, then the path will not reinstate for
887 \fImarginal_path_err_recheck_gap_time\fR seconds unless there is only one
888 active path. After \fImarginal_path_err_recheck_gap_time\fR expires, the path
889 will be requeueed for rechecking. If checking result is good enough, the
890 path will be reinstated.
891 .RS
892 .TP
893 The default is: \fBno\fR
894 .RE
895 .
896 .
897 .TP
898 .B marginal_path_err_rate_threshold
899 The error rate threshold as a permillage (1/1000). One of the four parameters
900 of supporting path check based on accounting IO error such as intermittent
901 error. Refer to \fImarginal_path_err_sample_time\fR. If the rate of IO errors
902 on a particular path is greater than this parameter, then the path will not
903 reinstate for \fImarginal_path_err_rate_threshold\fR seconds unless there is
904 only one active path.
905 .RS
906 .TP
907 The default is: \fBno\fR
908 .RE
909 .
910 .
911 .TP
912 .B marginal_path_err_recheck_gap_time
913 One of the four parameters of supporting path check based on accounting IO
914 error such as intermittent error. Refer to
915 \fImarginal_path_err_sample_time\fR. If this parameter is set to a positive
916 value, the failed path of  which the IO error rate is larger than
917 \fImarginal_path_err_rate_threshold\fR will be kept in failed state for
918 \fImarginal_path_err_recheck_gap_time\fR seconds. When
919 \fImarginal_path_err_recheck_gap_time\fR seconds expires, the path will be
920 requeueed for checking. If checking result is good enough, the path will be
921 reinstated, or else it will keep failed.
922 .RS
923 .TP
924 The default is: \fBno\fR
925 .RE
926 .
927 .
928 .TP
929 .B delay_watch_checks
930 If set to a value greater than 0, multipathd will watch paths that have
931 recently become valid for this many checks. If they fail again while they are
932 being watched, when they next become valid, they will not be used until they
933 have stayed up for \fIdelay_wait_checks\fR checks.
934 .RS
935 .TP
936 The default is: \fBno\fR
937 .RE
938 .
939 .
940 .TP
941 .B delay_wait_checks
942 If set to a value greater than 0, when a device that has recently come back
943 online fails again within \fIdelay_watch_checks\fR checks, the next time it
944 comes back online, it will marked and delayed, and not used until it has passed
945 \fIdelay_wait_checks\fR checks.
946 .RS
947 .TP
948 The default is: \fBno\fR
949 .RE
950 .
951 .
952 .TP
953 .B find_multipaths
954 This option controls whether multipath and multipathd try to create multipath
955 maps over non-blacklisted devices they encounter. This matters a) when a device is
956 encountered by \fBmultipath -u\fR during udev rule processing (a device is
957 blocked from further processing by higher layers - such as LVM - if and only
958 if it\'s considered a valid multipath device path), and b) when multipathd
959 detects a new device. The following values are possible:
960 .RS
961 .TP 10
962 .I strict
963 Both multipath and multipathd treat only such devices as multipath devices
964 which have been part of a multipath map previously, and which are therefore
965 listed in the \fBwwids_file\fR. Users can manually set up multipath maps using the
966 \fBmultipathd add map\fR command. Once set up manually, the map is
967 remembered in the wwids file and will be set up automatically in the future.
968 .TP
969 .I no
970 Multipath behaves like \fBstrict\fR. Multipathd behaves like \fBgreedy\fR.
971 .TP
972 .I yes
973 Both multipathd and multipath treat a device as multipath device if the
974 conditions for \fBstrict\fR are met, or if at least two non-blacklisted paths
975 with the same WWID have been detected.
976 .TP
977 .I greedy
978 Both multipathd and multipath treat every non-blacklisted device as multipath
979 device path.
980 .TP
981 The default is: \fBstrict\fR
982 .RE
983 .
984 .
985 .TP
986 .B uxsock_timeout
987 CLI receive timeout in milliseconds. For larger systems CLI commands
988 might timeout before the multipathd lock is released and the CLI command
989 can be processed. This will result in errors like
990 "timeout receiving packet" to be returned from CLI commands.
991 In these cases it is recommended to increase the CLI timeout to avoid
992 those issues.
993 .RS
994 .TP
995 The default is: \fB1000\fR
996 .RE
997 .
998 .
999 .TP
1000 .B retrigger_tries
1001 Sets the number of times multipathd will try to retrigger a uevent to get the
1002 WWID.
1003 .RS
1004 .TP
1005 The default is: \fB3\fR
1006 .RE
1007 .
1008 .
1009 .TP
1010 .B retrigger_delay
1011 Sets the amount of time, in seconds, to wait between retriggers.
1012 .RS
1013 .TP
1014 The default is: \fB10\fR
1015 .RE
1016 .
1017 .
1018 .TP
1019 .B missing_uev_wait_timeout
1020 Controls how many seconds multipathd will wait, after a new multipath device
1021 is created, to receive a change event from udev for the device, before
1022 automatically enabling device reloads. Usually multipathd will delay reloads
1023 on a device until it receives a change uevent from the initial table load.
1024 .RS
1025 .TP
1026 The default is: \fB30\fR
1027 .RE
1028 .
1029 .
1030 .TP
1031 .B skip_kpartx
1032 If set to
1033 .I yes
1034 , kpartx will not automatically create partitions on the device.
1035 .RS
1036 .TP
1037 The default is: \fBno\fR
1038 .RE
1039 .
1040 .
1041 .TP
1042 .B disable_changed_wwids
1043 If set to \fIyes\fR, multipathd will check the path wwid on change events, and
1044 if it has changed from the wwid of the multipath device, multipathd will
1045 disable access to the path until the wwid changes back.
1046 .RS
1047 .TP
1048 The default is: \fBno\fR
1049 .RE
1050 .
1051 .
1052 .TP
1053 .B remove_retries
1054 This sets how may times multipath will retry removing a device that is in-use.
1055 Between each attempt, multipath will sleep 1 second.
1056 .RS
1057 .TP
1058 The default is: \fB0\fR
1059 .RE
1060 .
1061 .
1062 .TP
1063 .B max_sectors_kb
1064 Sets the max_sectors_kb device parameter on all path devices and the multipath
1065 device to the specified value.
1066 .RS
1067 .TP
1068 The default is: \fB<device dependent>\fR
1069 .RE
1070 .
1071 .
1072 .TP
1073 .B ghost_delay
1074 Sets the number of seconds that multipath will wait after creating a device
1075 with only ghost paths before marking it ready for use in systemd. This gives
1076 the active paths time to appear before the multipath runs the hardware handler
1077 to switch the ghost paths to active ones. Setting this to \fI0\fR or \fIon\fR
1078 makes multipath immediately mark a device with only ghost paths as ready.
1079 .RS
1080 .TP
1081 The default is \fBno\fR
1082 .RE
1083 .
1084 .
1085 .\" ----------------------------------------------------------------------------
1086 .SH "blacklist section"
1087 .\" ----------------------------------------------------------------------------
1088 .
1089 The \fIblacklist\fR section is used to exclude specific device from inclusion in
1090 the multipath topology. It is most commonly used to exclude local disks or LUNs
1091 for the array controller.
1092 .LP
1093 .
1094 .
1095 The following keywords are recognized:
1096 .TP 17
1097 .B devnode
1098 Regular expression of the device nodes to be excluded.
1099 .RS
1100 .TP
1101 The default is: \fB^(ram|raw|loop|fd|md|dm-|sr|scd|st|dcssblk)[0-9]\fR and \fB^(td|hd|vd)[a-z]\fR
1102 .RE
1103 .TP
1104 .B wwid
1105 The \fIWorld Wide Identification\fR of a device.
1106 .TP
1107 .B property
1108 Regular expression of the udev property to be excluded.
1109 .TP
1110 .B device
1111 Subsection for the device description. This subsection recognizes the
1112 .B vendor
1113 and
1114 .B product
1115 keywords. For a full description of these keywords please see the
1116 \fIdevices\fR section description.
1117 .
1118 .
1119 .\" ----------------------------------------------------------------------------
1120 .SH "blacklist_exceptions section"
1121 .\" ----------------------------------------------------------------------------
1122 .
1123 The \fIblacklist_exceptions\fR section is used to revert the actions of the
1124 \fIblacklist\fR section. For example to include specific device in the
1125 multipath topology. This allows one to selectively include devices which
1126 would normally be excluded via the \fIblacklist\fR section.
1127 .LP
1128 .
1129 .
1130 The following keywords are recognized:
1131 .TP 17
1132 .B devnode
1133 Regular expression of the device nodes to be whitelisted.
1134 .TP
1135 .B wwid
1136 The \fIWorld Wide Identification\fR of a device.
1137 .TP
1138 .B property
1139 Regular expression of the udev property to be whitelisted.
1140 .RS
1141 .TP
1142 The default is: \fB(SCSI_IDENT_|ID_WWN)\fR
1143 .RE
1144 .TP
1145 .B device
1146 Subsection for the device description. This subsection recognizes the
1147 .B vendor
1148 and
1149 .B product
1150 keywords. For a full description of these keywords please see the \fIdevices\fR
1151 section description.
1152 .LP
1153 The \fIproperty\fR blacklist and whitelist handling is different from the usual
1154 handling in the sense that the whitelist \fIhas\fR to be set, otherwise the
1155 device will be blacklisted. In these cases the message \fIblacklisted, udev
1156 property missing\fR will be displayed.
1157 .
1158 .
1159 .\" ----------------------------------------------------------------------------
1160 .SH "multipaths section"
1161 .\" ----------------------------------------------------------------------------
1162 .
1163 The only recognized attribute for the \fImultipaths\fR section is the
1164 \fImultipath\fR subsection.
1165 .LP
1166 .
1167 .
1168 The \fImultipath\fR subsection recognizes the following attributes:
1169 .TP 17
1170 .B wwid
1171 (Mandatory) Index of the container.
1172 .TP
1173 .B alias
1174 Symbolic name for the multipath map.
1175 .LP
1176 .
1177 .
1178 The following attributes are optional; if not set the default values
1179 are taken from the \fIdefaults\fR or \fIdevices\fR section:
1180 .sp 1
1181 .PD .1v
1182 .RS
1183 .TP 18
1184 .B path_grouping_policy
1185 .TP
1186 .B path_selector
1187 .TP
1188 .B prio
1189 .TP
1190 .B prio_args
1191 .TP
1192 .B failback
1193 .TP
1194 .B rr_weight
1195 .TP
1196 .B no_path_retry
1197 .TP
1198 .B rr_min_io
1199 .TP
1200 .B rr_min_io_rq
1201 .TP
1202 .B flush_on_last_del
1203 .TP
1204 .B features
1205 .TP
1206 .B reservation_key
1207 .TP
1208 .B user_friendly_names
1209 .TP
1210 .B deferred_remove
1211 .TP
1212 .B marginal_path_err_sample_time
1213 .TP
1214 .B marginal_path_err_rate_threshold
1215 .TP
1216 .B marginal_path_err_recheck_gap_time
1217 .TP
1218 .B marginal_path_double_failed_time
1219 .TP
1220 .B delay_watch_checks
1221 .TP
1222 .B delay_wait_checks
1223 .TP
1224 .B skip_kpartx
1225 .TP
1226 .B max_sectors_kb
1227 .TP
1228 .B ghost_delay
1229 .RE
1230 .PD
1231 .LP
1232 .
1233 .
1234 .\" ----------------------------------------------------------------------------
1235 .SH "devices section"
1236 .\" ----------------------------------------------------------------------------
1237 .
1238 The only recognized attribute for the \fIdevices\fR section is the \fIdevice\fR
1239 subsection.
1240 .LP
1241 .
1242 .
1243 The \fIdevice\fR subsection recognizes the following attributes:
1244 .TP
1245 vendor, product, revision and product_blacklist are POSIX Extended regex.
1246 .TP 17
1247 .B vendor
1248 (Mandatory) Vendor identifier.
1249 .TP
1250 .B product
1251 (Mandatory) Product identifier.
1252 .TP
1253 .B revision
1254 Revision identfier.
1255 .TP
1256 .B product_blacklist
1257 Product strings to blacklist for this vendor.
1258 .TP
1259 .B alias_prefix
1260 The user_friendly_names prefix to use for this
1261 device type, instead of the default "mpath".
1262 .TP
1263 .B hardware_handler
1264 The hardware handler to use for this device type.
1265 The following hardware handler are implemented:
1266 .RS
1267 .TP 12
1268 .I 1 emc
1269 (Hardware-dependent)
1270 Hardware handler for DGC class arrays as CLARiiON CX/AX and EMC VNX and Unity
1271 families.
1272 .TP
1273 .I 1 rdac
1274 (Hardware-dependent)
1275 Hardware handler for LSI/Engenio/NetApp RDAC class as NetApp SANtricity E/EF
1276 Series, and OEM arrays from IBM DELL SGI STK and SUN.
1277 .TP
1278 .I 1 hp_sw
1279 (Hardware-dependent)
1280 Hardware handler for HP/COMPAQ/DEC HSG80 and MSA/HSV arrays with
1281 Active/Standby mode exclusively.
1282 .TP
1283 .I 1 alua
1284 (Hardware-dependent)
1285 Hardware handler for SCSI-3 ALUA compatible arrays.
1286 .PP
1287 The default is: \fB<unset>\fR
1288 .PP
1289 \fBImportant Note:\fR Linux kernels 4.3 and newer automatically attach a device
1290 handler to known devices (which includes all devices supporting SCSI-3 ALUA)
1291 and disallow changing the handler
1292 afterwards. Setting \fBhardware_handler\fR for such devices on these kernels
1293 has no effect.
1294 .RE
1295 .
1296 .
1297 .LP
1298 The following attributes are optional; if not set the default values
1299 are taken from the \fIdefaults\fR
1300 section:
1301 .sp 1
1302 .PD .1v
1303 .RS
1304 .TP 18
1305 .B path_grouping_policy
1306 .TP
1307 .B uid_attribute
1308 .TP
1309 .B path_selector
1310 .TP
1311 .B path_checker
1312 .TP
1313 .B prio
1314 .TP
1315 .B prio_args
1316 .TP
1317 .B features
1318 .TP
1319 .B failback
1320 .TP
1321 .B rr_weight
1322 .TP
1323 .B no_path_retry
1324 .TP
1325 .B rr_min_io
1326 .TP
1327 .B rr_min_io_rq
1328 .TP
1329 .B fast_io_fail_tmo
1330 .TP
1331 .B dev_loss_tmo
1332 .TP
1333 .B flush_on_last_del
1334 .TP
1335 .B retain_attached_hw_handler
1336 .TP
1337 .B detect_prio
1338 .TP
1339 .B detect_checker
1340 .TP
1341 .B deferred_remove
1342 .TP
1343 .B marginal_path_err_sample_time
1344 .TP
1345 .B marginal_path_err_rate_threshold
1346 .TP
1347 .B marginal_path_err_recheck_gap_time
1348 .TP
1349 .B marginal_path_double_failed_time
1350 .TP
1351 .B delay_watch_checks
1352 .TP
1353 .B delay_wait_checks
1354 .TP
1355 .B skip_kpartx
1356 .TP
1357 .B max_sectors_kb
1358 .TP
1359 .B ghost_delay
1360 .RE
1361 .PD
1362 .LP
1363 .
1364 .
1365 .\" ----------------------------------------------------------------------------
1366 .SH "overrides section"
1367 .\" ----------------------------------------------------------------------------
1368 .
1369 The overrides section recognizes the following optional attributes; if not set
1370 the values are taken from the \fIdevices\fR or \fIdefaults\fR sections:
1371 .sp 1
1372 .PD .1v
1373 .RS
1374 .TP 18
1375 .B path_grouping_policy
1376 .TP
1377 .B uid_attribute
1378 .TP
1379 .B getuid_callout
1380 .TP
1381 .B path_selector
1382 .TP
1383 .B path_checker
1384 .TP
1385 .B alias_prefix
1386 .TP
1387 .B features
1388 .TP
1389 .B prio
1390 .TP
1391 .B prio_args
1392 .TP
1393 .B failback
1394 .TP
1395 .B rr_weight
1396 .TP
1397 .B no_path_retry
1398 .TP
1399 .B rr_min_io
1400 .TP
1401 .B rr_min_io_rq
1402 .TP
1403 .B flush_on_last_del
1404 .TP
1405 .B fast_io_fail_tmo
1406 .TP
1407 .B dev_loss_tmo
1408 .TP
1409 .B user_friendly_names
1410 .TP
1411 .B retain_attached_hw_handler
1412 .TP
1413 .B detect_prio
1414 .TP
1415 .B detect_checker
1416 .TP
1417 .B deferred_remove
1418 .TP
1419 .B marginal_path_err_sample_time
1420 .TP
1421 .B marginal_path_err_rate_threshold
1422 .TP
1423 .B marginal_path_err_recheck_gap_time
1424 .TP
1425 .B marginal_path_double_failed_time
1426 .TP
1427 .B delay_watch_checks
1428 .TP
1429 .B delay_wait_checks
1430 .TP
1431 .B skip_kpartx
1432 .TP
1433 .B ghost_delay
1434 .RE
1435 .PD
1436 .LP
1437 .
1438 .
1439 .\" ----------------------------------------------------------------------------
1440 .SH "WWID generation"
1441 .\" ----------------------------------------------------------------------------
1442 .
1443 Multipath uses a \fIWorld Wide Identification\fR (WWID) to determine
1444 which paths belong to the same device. Each path presenting the same
1445 WWID is assumed to point to the same device.
1446 .LP
1447 The WWID is generated by three methods (in the order of preference):
1448 .TP 17
1449 .B getuid_callout
1450 Use the specified external program; cf \fIgetuid_callout\fR above.
1451 Care should be taken when using this method; the external program
1452 needs to be loaded from disk for execution, which might lead to
1453 deadlock situations in an all-paths-down scenario.
1454 .TP
1455 .B uid_attribute
1456 Use the value of the specified udev attribute; cf \fIuid_attribute\fR
1457 above. This method is preferred to \fIgetuid_callout\fR as multipath
1458 does not need to call any external programs here. However, under
1459 certain circumstances udev might not be able to generate the requested
1460 variable.
1461 .TP
1462 .B vpd_pg83
1463 If none of the \fIgetuid_callout\fR or \fIuid_attribute\fR parameters
1464 are present multipath will try to use the sysfs attribute
1465 \fIvpd_pg83\fR to generate the WWID.
1466 .
1467 .
1468 .\" ----------------------------------------------------------------------------
1469 .SH "KNOWN ISSUES"
1470 .\" ----------------------------------------------------------------------------
1471 .
1472 The usage of \fIqueue_if_no_path\fR option can lead to \fID state\fR
1473 processes being hung and not killable in situations where all the paths to the
1474 LUN go offline. It is advisable to use the \fIno_path_retry\fR option instead.
1475 .P
1476 The use of \fIqueue_if_no_path\fR or \fIno_path_retry\fR might lead to a
1477 deadlock if the \fIdev_loss_tmo\fR setting results in a device being removed
1478 while I/O is still queued. The multipath daemon will update the \fIdev_loss_tmo\fR
1479 setting accordingly to avoid this deadlock. Hence if both values are
1480 specified the order of precedence is \fIno_path_retry, queue_if_no_path, dev_loss_tmo\fR.
1481 .
1482 .
1483 .\" ----------------------------------------------------------------------------
1484 .SH "SEE ALSO"
1485 .\" ----------------------------------------------------------------------------
1486 .
1487 .BR udev (8),
1488 .BR dmsetup (8),
1489 .BR multipath (8),
1490 .BR multipathd (8).
1491 .
1492 .
1493 .\" ----------------------------------------------------------------------------
1494 .SH AUTHORS
1495 .\" ----------------------------------------------------------------------------
1496 .
1497 \fImultipath-tools\fR was developed by Christophe Varoqui, <christophe.varoqui@opensvc.com>
1498 and others.
1499 .\" EOF