b23e116031e37a8a0daa481d24236756a064b653
[multipath-tools/.git] / libmpathpersist / mpath_persist.c
1 #include <libdevmapper.h>
2 #include <defaults.h>
3 #include <sys/stat.h>
4 #include <sys/types.h>
5 #include <fcntl.h>
6 #include <vector.h>
7 #include <checkers.h>
8 #include <structs.h>
9 #include <structs_vec.h>
10 #include <libudev.h>
11
12 #include <prio.h>
13 #include <unistd.h>
14 #include <devmapper.h>
15 #include <debug.h>
16 #include <config.h>
17 #include <switchgroup.h>
18 #include <discovery.h>
19 #include <dmparser.h>
20 #include <ctype.h>
21 #include <propsel.h>
22 #include <util.h>
23
24 #include "mpath_persist.h"
25 #include "mpathpr.h"
26 #include "mpath_pr_ioctl.h"
27
28 #include <pthread.h>
29 #include <stdio.h>
30 #include <stdlib.h>
31 #include <string.h>
32 #include <errno.h>
33 #include <sys/resource.h>
34
35 #define __STDC_FORMAT_MACROS 1
36
37
38 int
39 mpath_lib_init (struct udev *udev)
40 {
41         if (load_config(DEFAULT_CONFIGFILE, udev)){
42                 condlog(0, "Failed to initialize multipath config.");
43                 return 1;
44         }
45
46         if (conf->max_fds) {
47                 struct rlimit fd_limit;
48
49                 fd_limit.rlim_cur = conf->max_fds;
50                 fd_limit.rlim_max = conf->max_fds;
51                 if (setrlimit(RLIMIT_NOFILE, &fd_limit) < 0)
52                         condlog(0, "can't set open fds limit to %d : %s",
53                                    conf->max_fds, strerror(errno));
54         }
55
56         return 0;
57 }
58
59 int
60 mpath_lib_exit (void)
61 {
62         dm_lib_release();
63         dm_lib_exit();
64         cleanup_prio();
65         cleanup_checkers();
66         free_config(conf);
67         conf = NULL;
68         return 0;
69 }
70
71 static int
72 updatepaths (struct multipath * mpp)
73 {
74         int i, j;
75         struct pathgroup * pgp;
76         struct path * pp;
77
78         if (!mpp->pg)
79                 return 0;
80
81         vector_foreach_slot (mpp->pg, pgp, i){
82                 if (!pgp->paths)
83                         continue;
84
85                 vector_foreach_slot (pgp->paths, pp, j){
86                         if (!strlen(pp->dev)){
87                                 if (devt2devname(pp->dev, PATH_SIZE,
88                                                  pp->dev_t)){
89                                         /*
90                                          * path is not in sysfs anymore
91                                          */
92                                         pp->state = PATH_DOWN;
93                                         continue;
94                                 }
95                                 pp->mpp = mpp;
96                                 pathinfo(pp, conf->hwtable, DI_ALL);
97                                 continue;
98                         }
99                         pp->mpp = mpp;
100                         if (pp->state == PATH_UNCHECKED ||
101                                         pp->state == PATH_WILD)
102                                 pathinfo(pp, conf->hwtable, DI_CHECKER);
103
104                         if (pp->priority == PRIO_UNDEF)
105                                 pathinfo(pp, conf->hwtable, DI_PRIO);
106                 }
107         }
108         return 0;
109 }
110
111 int
112 mpath_prin_activepath (struct multipath *mpp, int rq_servact,
113         struct prin_resp * resp, int noisy)
114 {
115         int i,j, ret = MPATH_PR_DMMP_ERROR;
116         struct pathgroup *pgp = NULL;
117         struct path *pp = NULL;
118
119         vector_foreach_slot (mpp->pg, pgp, j){
120                 vector_foreach_slot (pgp->paths, pp, i){
121                         if (!((pp->state == PATH_UP) ||
122                               (pp->state == PATH_GHOST))){
123                                 condlog(2, "%s: %s not available. Skip.",
124                                         mpp->wwid, pp->dev);
125                                 condlog(3, "%s: status = %d.",
126                                         mpp->wwid, pp->state);
127                                 continue;
128                         }
129
130                         condlog(3, "%s: sending pr in command to %s ",
131                                 mpp->wwid, pp->dev);
132                         ret = mpath_send_prin_activepath(pp->dev, rq_servact,
133                                                          resp, noisy);
134                         switch(ret)
135                         {
136                                 case MPATH_PR_SUCCESS:
137                                 case MPATH_PR_SENSE_INVALID_OP:
138                                         return ret;
139                                 default:
140                                         continue;
141                         }
142                 }
143         }
144         return ret;
145 }
146
147 int mpath_persistent_reserve_in (int fd, int rq_servact,
148         struct prin_resp *resp, int noisy, int verbose)
149 {
150         struct stat info;
151         vector curmp = NULL;
152         vector pathvec = NULL;
153         char * alias;
154         struct multipath * mpp;
155         int map_present;
156         int major, minor;
157         int ret;
158
159         conf->verbosity = verbose;
160
161         if (fstat( fd, &info) != 0){
162                 condlog(0, "stat error %d", fd);
163                 return MPATH_PR_FILE_ERROR;
164         }
165         if(!S_ISBLK(info.st_mode)){
166                 condlog(0, "Failed to get major:minor. fd = %d", fd);
167                 return MPATH_PR_FILE_ERROR;
168         }
169
170         major = major(info.st_rdev);
171         minor = minor(info.st_rdev);
172         condlog(4, "Device %d:%d:  ", major, minor);
173
174         /* get alias from major:minor*/
175         alias = dm_mapname(major, minor);
176         if (!alias){
177                 condlog(0, "%d:%d failed to get device alias.", major, minor);
178                 return MPATH_PR_DMMP_ERROR;
179         }
180
181         condlog(3, "alias = %s", alias);
182         map_present = dm_map_present(alias);
183         if (map_present && !dm_is_mpath(alias)){
184                 condlog( 0, "%s: not a multipath device.", alias);
185                 ret = MPATH_PR_DMMP_ERROR;
186                 goto out;
187         }
188
189         /*
190          * allocate core vectors to store paths and multipaths
191          */
192         curmp = vector_alloc ();
193         pathvec = vector_alloc ();
194
195         if (!curmp || !pathvec){
196                 condlog (0, "%s: vector allocation failed.", alias);
197                 ret = MPATH_PR_DMMP_ERROR;
198                 goto out;
199         }
200
201         if (path_discovery(pathvec, conf, DI_SYSFS | DI_CHECKER) < 0) {
202                 ret = MPATH_PR_DMMP_ERROR;
203                 goto out1;
204         }
205
206         /* get info of all paths from the dm device     */
207         if (get_mpvec (curmp, pathvec, alias)){
208                 condlog(0, "%s: failed to get device info.", alias);
209                 ret = MPATH_PR_DMMP_ERROR;
210                 goto out1;
211         }
212
213         mpp = find_mp_by_alias(curmp, alias);
214         if (!mpp){
215                 condlog(0, "%s: devmap not registered.", alias);
216                 ret = MPATH_PR_DMMP_ERROR;
217                 goto out1;
218         }
219
220         ret = mpath_prin_activepath(mpp, rq_servact, resp, noisy);
221
222 out1:
223         free_multipathvec(curmp, KEEP_PATHS);
224         free_pathvec(pathvec, FREE_PATHS);
225 out:
226         FREE(alias);
227         return ret;
228 }
229
230 int mpath_persistent_reserve_out ( int fd, int rq_servact, int rq_scope,
231         unsigned int rq_type, struct prout_param_descriptor *paramp, int noisy, int verbose)
232 {
233
234         struct stat info;
235
236         vector curmp = NULL;
237         vector pathvec = NULL;
238
239         char * alias;
240         struct multipath * mpp;
241         int map_present;
242         int major, minor;
243         int ret;
244         int j;
245         unsigned char *keyp;
246         uint64_t prkey;
247
248         conf->verbosity = verbose;
249
250         if (fstat( fd, &info) != 0){
251                 condlog(0, "stat error fd=%d", fd);
252                 return MPATH_PR_FILE_ERROR;
253         }
254
255         if(!S_ISBLK(info.st_mode)){
256                 condlog(3, "Failed to get major:minor. fd=%d", fd);
257                 return MPATH_PR_FILE_ERROR;
258         }
259
260         major = major(info.st_rdev);
261         minor = minor(info.st_rdev);
262         condlog(4, "Device  %d:%d", major, minor);
263
264         /* get WWN of the device from major:minor*/
265         alias = dm_mapname(major, minor);
266         if (!alias){
267                 return MPATH_PR_DMMP_ERROR;
268         }
269
270         condlog(3, "alias = %s", alias);
271         map_present = dm_map_present(alias);
272
273         if (map_present && !dm_is_mpath(alias)){
274                 condlog(3, "%s: not a multipath device.", alias);
275                 ret = MPATH_PR_DMMP_ERROR;
276                 goto out;
277         }
278
279         /*
280          * allocate core vectors to store paths and multipaths
281          */
282         curmp = vector_alloc ();
283         pathvec = vector_alloc ();
284
285         if (!curmp || !pathvec){
286                 condlog (0, "%s: vector allocation failed.", alias);
287                 ret = MPATH_PR_DMMP_ERROR;
288                 goto out;
289         }
290
291         if (path_discovery(pathvec, conf, DI_SYSFS | DI_CHECKER) < 0) {
292                 ret = MPATH_PR_DMMP_ERROR;
293                 goto out1;
294         }
295
296         /* get info of all paths from the dm device     */
297         if (get_mpvec(curmp, pathvec, alias)){
298                 condlog(0, "%s: failed to get device info.", alias);
299                 ret = MPATH_PR_DMMP_ERROR;
300                 goto out1;
301         }
302
303         mpp = find_mp_by_alias(curmp, alias);
304
305         if (!mpp) {
306                 condlog(0, "%s: devmap not registered.", alias);
307                 ret = MPATH_PR_DMMP_ERROR;
308                 goto out1;
309         }
310
311         select_reservation_key(mpp);
312
313         switch(rq_servact)
314         {
315         case MPATH_PROUT_REG_SA:
316         case MPATH_PROUT_REG_IGN_SA:
317                 ret= mpath_prout_reg(mpp, rq_servact, rq_scope, rq_type, paramp, noisy);
318                 break;
319         case MPATH_PROUT_RES_SA :
320         case MPATH_PROUT_PREE_SA :
321         case MPATH_PROUT_PREE_AB_SA :
322         case MPATH_PROUT_CLEAR_SA:
323                 ret = mpath_prout_common(mpp, rq_servact, rq_scope, rq_type, paramp, noisy);
324                 break;
325         case MPATH_PROUT_REL_SA:
326                 ret = mpath_prout_rel(mpp, rq_servact, rq_scope, rq_type, paramp, noisy);
327                 break;
328         default:
329                 ret = MPATH_PR_OTHER;
330                 goto out1;
331         }
332
333         if ((ret == MPATH_PR_SUCCESS) && ((rq_servact == MPATH_PROUT_REG_SA) ||
334                                 (rq_servact ==  MPATH_PROUT_REG_IGN_SA)))
335         {
336                 keyp=paramp->sa_key;
337                 prkey = 0;
338                 for (j = 0; j < 8; ++j) {
339                         if (j > 0)
340                                 prkey <<= 8;
341                         prkey |= *keyp;
342                         ++keyp;
343                 }
344                 if (prkey == 0)
345                         update_prflag(alias, "unset", noisy);
346                 else
347                         update_prflag(alias, "set", noisy);
348         } else {
349                 if ((ret == MPATH_PR_SUCCESS) && ((rq_servact == MPATH_PROUT_CLEAR_SA) ||
350                                         (rq_servact == MPATH_PROUT_PREE_AB_SA ))){
351                         update_prflag(alias, "unset", noisy);
352                 }
353         }
354 out1:
355         free_multipathvec(curmp, KEEP_PATHS);
356         free_pathvec(pathvec, FREE_PATHS);
357
358 out:
359         FREE(alias);
360         return ret;
361 }
362
363 int
364 get_mpvec (vector curmp, vector pathvec, char * refwwid)
365 {
366         int i;
367         struct multipath *mpp;
368         char params[PARAMS_SIZE], status[PARAMS_SIZE];
369
370         if (dm_get_maps (curmp)){
371                 return 1;
372         }
373
374         vector_foreach_slot (curmp, mpp, i){
375                 /*
376                  * discard out of scope maps
377                  */
378                 if (mpp->alias && refwwid && strncmp (mpp->alias, refwwid, WWID_SIZE)){
379                         free_multipath (mpp, KEEP_PATHS);
380                         vector_del_slot (curmp, i);
381                         i--;
382                         continue;
383                 }
384
385                 dm_get_map(mpp->alias, &mpp->size, params);
386                 condlog(3, "params = %s", params);
387                 dm_get_status(mpp->alias, status);
388                 condlog(3, "status = %s", status);
389                 disassemble_map (pathvec, params, mpp);
390
391                 /*
392                  * disassemble_map() can add new paths to pathvec.
393                  * If not in "fast list mode", we need to fetch information
394                  * about them
395                  */
396                 updatepaths(mpp);
397                 mpp->bestpg = select_path_group (mpp);
398                 disassemble_status (status, mpp);
399
400         }
401         return MPATH_PR_SUCCESS ;
402 }
403
404 void * mpath_prin_pthread_fn (void *p)
405 {
406         int ret;
407         struct prin_param * pparam = (struct prin_param *)p;
408
409         ret = prin_do_scsi_ioctl(pparam->dev, pparam->rq_servact,
410                                  pparam->resp,  pparam->noisy);
411         pparam->status = ret;
412         pthread_exit(NULL);
413 }
414
415 int mpath_send_prin_activepath (char * dev, int rq_servact,
416                                 struct prin_resp * resp, int noisy)
417 {
418
419         int rc;
420
421         rc = prin_do_scsi_ioctl(dev, rq_servact, resp,  noisy);
422
423         return (rc);
424 }
425
426 int mpath_prout_reg(struct multipath *mpp,int rq_servact, int rq_scope,
427         unsigned int rq_type, struct prout_param_descriptor * paramp, int noisy)
428 {
429
430         int i, j;
431         struct pathgroup *pgp = NULL;
432         struct path *pp = NULL;
433         int rollback = 0;
434         int active_pathcount=0;
435         int rc;
436         int count=0;
437         int status = MPATH_PR_SUCCESS;
438         uint64_t sa_key = 0;
439
440         if (!mpp)
441                 return MPATH_PR_DMMP_ERROR;
442
443         active_pathcount = pathcount(mpp, PATH_UP) + pathcount(mpp, PATH_GHOST);
444
445         if (active_pathcount == 0) {
446                 condlog (0, "%s: no path available", mpp->wwid);
447                 return MPATH_PR_DMMP_ERROR;
448         }
449
450         if ( paramp->sa_flags & MPATH_F_ALL_TG_PT_MASK ) {
451                 condlog (1, "Warning: ALL_TG_PT is set. Configuration not supported");
452         }
453
454         struct threadinfo thread[active_pathcount];
455
456         memset(thread, 0, sizeof(thread));
457
458         /* init thread parameter */
459         for (i =0; i< active_pathcount; i++){
460                 thread[i].param.rq_servact = rq_servact;
461                 thread[i].param.rq_scope = rq_scope;
462                 thread[i].param.rq_type = rq_type;
463                 thread[i].param.paramp = paramp;
464                 thread[i].param.noisy = noisy;
465                 thread[i].param.status = -1;
466
467                 condlog (3, "THRED ID [%d] INFO]", i);
468                 condlog (3, "rq_servact=%d ", thread[i].param.rq_servact);
469                 condlog (3, "rq_scope=%d ", thread[i].param.rq_scope);
470                 condlog (3, "rq_type=%d ", thread[i].param.rq_type);
471                 condlog (3, "rkey=");
472                 condlog (3, "paramp->sa_flags =%02x ",
473                          thread[i].param.paramp->sa_flags);
474                 condlog (3, "noisy=%d ", thread[i].param.noisy);
475                 condlog (3, "status=%d ", thread[i].param.status);
476         }
477
478         pthread_attr_t attr;
479         pthread_attr_init(&attr);
480         pthread_attr_setdetachstate(&attr, PTHREAD_CREATE_JOINABLE);
481
482         vector_foreach_slot (mpp->pg, pgp, j){
483                 vector_foreach_slot (pgp->paths, pp, i){
484                         if (!((pp->state == PATH_UP) || (pp->state == PATH_GHOST))){
485                                 condlog (1, "%s: %s path not up. Skip.", mpp->wwid, pp->dev);
486                                 continue;
487                         }
488                         strncpy(thread[count].param.dev, pp->dev, FILE_NAME_SIZE);
489
490                         if (count && (thread[count].param.paramp->sa_flags & MPATH_F_SPEC_I_PT_MASK)){
491                                 /*
492                                  * Clearing SPEC_I_PT as transportids are already registered by now.
493                                  */
494                                 thread[count].param.paramp->sa_flags &= (~MPATH_F_SPEC_I_PT_MASK);
495                         }
496
497                         condlog (3, "%s: sending pr out command to %s", mpp->wwid, pp->dev);
498
499                         rc = pthread_create(&thread[count].id, &attr, mpath_prout_pthread_fn, (void *)(&thread[count].param));
500                         if (rc){
501                                 condlog (0, "%s: failed to create thread %d", mpp->wwid, rc);
502                         }
503                         count = count +1;
504                 }
505         }
506         for( i=0; i < active_pathcount ; i++){
507                 rc = pthread_join(thread[i].id, NULL);
508                 if (rc){
509                         condlog (0, "%s: Thread[%d] failed to join thread %d", mpp->wwid, i, rc);
510                 }
511                 if (!rollback && (thread[i].param.status == MPATH_PR_RESERV_CONFLICT)){
512                         rollback = 1;
513                         sa_key = 0;
514                         for (i = 0; i < 8; ++i){
515                                 if (i > 0)
516                                         sa_key <<= 8;
517                                 sa_key |= paramp->sa_key[i];
518                         }
519                         status = MPATH_PR_RESERV_CONFLICT ;
520                 }
521                 if (!rollback && (status == MPATH_PR_SUCCESS)){
522                         status = thread[i].param.status;
523                 }
524         }
525         if (rollback && ((rq_servact == MPATH_PROUT_REG_SA) && sa_key != 0 )){
526                 condlog (3, "%s: ERROR: initiating pr out rollback", mpp->wwid);
527                 for( i=0 ; i < active_pathcount ; i++){
528                         if((thread[i].param.status == MPATH_PR_SUCCESS) &&
529                                         ((pp->state == PATH_UP) || (pp->state == PATH_GHOST))){
530                                 memcpy(&thread[i].param.paramp->key, &thread[i].param.paramp->sa_key, 8);
531                                 memset(&thread[i].param.paramp->sa_key, 0, 8);
532                                 thread[i].param.status = MPATH_PR_SUCCESS;
533                                 rc = pthread_create(&thread[i].id, &attr, mpath_prout_pthread_fn, 
534                                                 (void *)(&thread[i].param));
535                                 if (rc){
536                                         condlog (0, "%s: failed to create thread for rollback. %d",  mpp->wwid, rc);
537                                 }
538                         }
539                 }
540                 for(i=0; i < active_pathcount ; i++){
541                         rc = pthread_join(thread[i].id, NULL);
542                         if (rc){
543                                 condlog (3, "%s: failed to join thread while rolling back %d",
544                                                 mpp->wwid, i);
545                         }
546                 }
547         }
548
549         pthread_attr_destroy(&attr);
550         return (status);
551 }
552
553 void * mpath_prout_pthread_fn(void *p)
554 {
555         int ret;
556         struct prout_param * param = (struct prout_param *)p;
557
558         ret = prout_do_scsi_ioctl( param->dev,param->rq_servact, param->rq_scope,
559                         param->rq_type, param->paramp, param->noisy);
560         param->status = ret;
561         pthread_exit(NULL);
562 }
563
564 int mpath_prout_common(struct multipath *mpp,int rq_servact, int rq_scope,
565         unsigned int rq_type, struct prout_param_descriptor* paramp, int noisy)
566 {
567         int i,j, ret;
568         struct pathgroup *pgp = NULL;
569         struct path *pp = NULL;
570
571         vector_foreach_slot (mpp->pg, pgp, j){
572                 vector_foreach_slot (pgp->paths, pp, i){
573                         if (!((pp->state == PATH_UP) || (pp->state == PATH_GHOST))){
574                                 condlog (1, "%s: %s path not up. Skip",
575                                          mpp->wwid, pp->dev);
576                                 continue;
577                         }
578
579                         condlog (3, "%s: sending pr out command to %s", mpp->wwid, pp->dev);
580                         ret = send_prout_activepath(pp->dev, rq_servact,
581                                                     rq_scope, rq_type,
582                                                     paramp, noisy);
583                         return ret ;
584                 }
585         }
586         return MPATH_PR_SUCCESS;
587 }
588
589 int send_prout_activepath(char * dev, int rq_servact, int rq_scope,
590         unsigned int rq_type, struct prout_param_descriptor * paramp, int noisy)
591 {
592         struct prout_param param;
593         param.rq_servact = rq_servact;
594         param.rq_scope  = rq_scope;
595         param.rq_type   = rq_type;
596         param.paramp    = paramp;
597         param.noisy = noisy;
598         param.status = -1;
599
600         pthread_t thread;
601         pthread_attr_t attr;
602         int rc;
603
604         memset(&thread, 0, sizeof(thread));
605         strncpy(param.dev, dev, FILE_NAME_SIZE);
606         /* Initialize and set thread joinable attribute */
607         pthread_attr_init(&attr);
608         pthread_attr_setdetachstate(&attr, PTHREAD_CREATE_JOINABLE);
609
610         rc = pthread_create(&thread, &attr, mpath_prout_pthread_fn, (void *)(&param));
611         if (rc){
612                 condlog (3, "%s: failed to create thread %d", dev, rc);
613                 return MPATH_PR_OTHER;
614         }
615         /* Free attribute and wait for the other threads */
616         pthread_attr_destroy(&attr);
617         rc = pthread_join(thread, NULL);
618
619         return (param.status);
620 }
621
622 int mpath_prout_rel(struct multipath *mpp,int rq_servact, int rq_scope,
623         unsigned int rq_type, struct prout_param_descriptor * paramp, int noisy)
624 {
625         int i, j;
626         int num = 0;
627         struct pathgroup *pgp = NULL;
628         struct path *pp = NULL;
629         int active_pathcount = 0;
630         pthread_attr_t attr;
631         int rc, found = 0;;
632         int count = 0;
633         int status = MPATH_PR_SUCCESS;
634         struct prin_resp resp;
635         struct prout_param_descriptor *pamp;
636         struct prin_resp *pr_buff;
637         int length;
638         struct transportid *pptr;
639
640         if (!mpp)
641                 return MPATH_PR_DMMP_ERROR;
642
643         active_pathcount = pathcount (mpp, PATH_UP) + pathcount (mpp, PATH_GHOST);
644
645         struct threadinfo thread[active_pathcount];
646         memset(thread, 0, sizeof(thread));
647         for (i = 0; i < active_pathcount; i++){
648                 thread[i].param.rq_servact = rq_servact;
649                 thread[i].param.rq_scope = rq_scope;
650                 thread[i].param.rq_type = rq_type;
651                 thread[i].param.paramp = paramp;
652                 thread[i].param.noisy = noisy;
653                 thread[i].param.status = -1;
654
655                 condlog (3, " path count = %d", i);
656                 condlog (3, "rq_servact=%d ", thread[i].param.rq_servact);
657                 condlog (3, "rq_scope=%d ", thread[i].param.rq_scope);
658                 condlog (3, "rq_type=%d ", thread[i].param.rq_type);
659                 condlog (3, "noisy=%d ", thread[i].param.noisy);
660                 condlog (3, "status=%d ", thread[i].param.status);
661         }
662
663         pthread_attr_init (&attr);
664         pthread_attr_setdetachstate (&attr, PTHREAD_CREATE_JOINABLE);
665
666         vector_foreach_slot (mpp->pg, pgp, j){
667                 vector_foreach_slot (pgp->paths, pp, i){
668                         if (!((pp->state == PATH_UP) || (pp->state == PATH_GHOST))){
669                                 condlog (1, "%s: %s path not up.", mpp->wwid, pp->dev);
670                                 continue;
671                         }
672
673                         strncpy(thread[count].param.dev, pp->dev, FILE_NAME_SIZE);
674                         condlog (3, "%s: sending pr out command to %s", mpp->wwid, pp->dev);
675                         rc = pthread_create (&thread[count].id, &attr, mpath_prout_pthread_fn,
676                                         (void *) (&thread[count].param));
677                         if (rc)
678                                 condlog (0, "%s: failed to create thread. %d",  mpp->wwid, rc);
679                         count = count + 1;
680                 }
681         }
682         pthread_attr_destroy (&attr);
683         for (i = 0; i < active_pathcount; i++){
684                 rc = pthread_join (thread[i].id, NULL);
685                 if (rc){
686                         condlog (1, "%s: failed to join thread.  %d",  mpp->wwid,  rc);
687                 }
688         }
689
690         for (i = 0; i < active_pathcount; i++){
691                 /*  check thread status here and return the status */
692
693                 if (thread[i].param.status == MPATH_PR_RESERV_CONFLICT)
694                         status = MPATH_PR_RESERV_CONFLICT;
695                 else if (status == MPATH_PR_SUCCESS
696                                 && thread[i].param.status != MPATH_PR_RESERV_CONFLICT)
697                         status = thread[i].param.status;
698         }
699
700         status = mpath_prin_activepath (mpp, MPATH_PRIN_RRES_SA, &resp, noisy);
701         if (status != MPATH_PR_SUCCESS){
702                 condlog (0, "%s: pr in read reservation command failed.", mpp->wwid);
703                 return MPATH_PR_OTHER;
704         }
705
706         num = resp.prin_descriptor.prin_readresv.additional_length / 8;
707         if (num == 0){
708                 condlog (2, "%s: Path holding reservation is released.", mpp->wwid);
709                 return MPATH_PR_SUCCESS;
710         }
711         condlog (2, "%s: Path holding reservation is not avialable.", mpp->wwid);
712
713         pr_buff =  mpath_alloc_prin_response(MPATH_PRIN_RFSTAT_SA);
714         if (!pr_buff){
715                 condlog (0, "%s: failed to  alloc pr in response buffer.", mpp->wwid);
716                 return MPATH_PR_OTHER;
717         }
718
719         status = mpath_prin_activepath (mpp, MPATH_PRIN_RFSTAT_SA, pr_buff, noisy);
720
721         if (status != MPATH_PR_SUCCESS){
722                 condlog (0,  "%s: pr in read full status command failed.",  mpp->wwid);
723                 goto out;
724         }
725
726         num = pr_buff->prin_descriptor.prin_readfd.number_of_descriptor;
727         if (0 == num){
728                 goto out;
729         }
730         length = sizeof (struct prout_param_descriptor) + (sizeof (struct transportid *));
731
732         pamp = (struct prout_param_descriptor *)malloc (length);
733         if (!pamp){
734                 condlog (0, "%s: failed to alloc pr out parameter.", mpp->wwid);
735                 goto out1;
736         }
737
738         memset(pamp, 0, length);
739
740         pamp->trnptid_list[0] = (struct transportid *) malloc (sizeof (struct transportid));
741         if (!pamp->trnptid_list[0]){
742                 condlog (0, "%s: failed to alloc pr out transportid.", mpp->wwid);
743                 goto out1;
744         }
745
746         if (mpp->reservation_key ){
747                 memcpy (pamp->key, mpp->reservation_key, 8);
748                 condlog (3, "%s: reservation key set.", mpp->wwid);
749         }
750
751         status = mpath_prout_common (mpp, MPATH_PROUT_CLEAR_SA,
752                                      rq_scope, rq_type, pamp, noisy);
753
754         if (status) {
755                 condlog(0, "%s: failed to send CLEAR_SA", mpp->wwid);
756                 goto out1;
757         }
758
759         pamp->num_transportid = 1;
760         pptr=pamp->trnptid_list[0];
761
762         for (i = 0; i < num; i++){
763                 if (mpp->reservation_key &&
764                         memcmp(pr_buff->prin_descriptor.prin_readfd.descriptors[i]->key,
765                                mpp->reservation_key, 8)){
766                         /*register with tarnsport id*/
767                         memset(pamp, 0, length);
768                         pamp->trnptid_list[0] = pptr;
769                         memset (pamp->trnptid_list[0], 0, sizeof (struct transportid));
770                         memcpy (pamp->sa_key,
771                                         pr_buff->prin_descriptor.prin_readfd.descriptors[i]->key, 8);
772                         pamp->sa_flags = MPATH_F_SPEC_I_PT_MASK;
773                         pamp->num_transportid = 1;
774
775                         memcpy (pamp->trnptid_list[0],
776                                         &pr_buff->prin_descriptor.prin_readfd.descriptors[i]->trnptid,
777                                         sizeof (struct transportid));
778                         status = mpath_prout_common (mpp, MPATH_PROUT_REG_SA, 0, rq_type,
779                                         pamp, noisy);
780
781                         pamp->sa_flags = 0;
782                         memcpy (pamp->key, pr_buff->prin_descriptor.prin_readfd.descriptors[i]->key, 8);
783                         memset (pamp->sa_key, 0, 8);
784                         pamp->num_transportid = 0;
785                         status = mpath_prout_common (mpp, MPATH_PROUT_REG_SA, 0, rq_type,
786                                         pamp, noisy);
787                 }
788                 else
789                 {
790                         if (mpp->reservation_key)
791                                 found = 1;
792                 }
793
794
795         }
796
797         if (found){
798                 memset (pamp, 0, length);
799                 memcpy (pamp->sa_key, mpp->reservation_key, 8);
800                 memset (pamp->key, 0, 8);
801                 status = mpath_prout_reg(mpp, MPATH_PROUT_REG_SA, rq_scope, rq_type, pamp, noisy);
802         }
803
804
805         free(pptr);
806 out1:
807         free (pamp);
808 out:
809         free (pr_buff);
810         return (status);
811 }
812
813 void * mpath_alloc_prin_response(int prin_sa)
814 {
815         void * ptr = NULL;
816         int size=0;
817         switch (prin_sa)
818         {
819                 case MPATH_PRIN_RKEY_SA:
820                         size = sizeof(struct prin_readdescr);
821                         ptr = malloc(size);
822                         memset(ptr, 0, size);
823                         break;
824                 case MPATH_PRIN_RRES_SA:
825                         size = sizeof(struct prin_resvdescr);
826                         ptr = malloc(size);
827                         memset(ptr, 0, size);
828                         break;
829                 case MPATH_PRIN_RCAP_SA:
830                         size=sizeof(struct prin_capdescr);
831                         ptr = malloc(size);
832                         memset(ptr, 0, size);
833                         break;
834                 case MPATH_PRIN_RFSTAT_SA:
835                         size = sizeof(struct print_fulldescr_list) +
836                                 sizeof(struct prin_fulldescr *)*MPATH_MX_TIDS;
837                         ptr = malloc(size);
838                         memset(ptr, 0, size);
839                         break;
840         }
841         return ptr;
842 }
843
844 int update_map_pr(struct multipath *mpp)
845 {
846         int noisy=0;
847         struct prin_resp *resp;
848         int i,j, ret, isFound;
849         unsigned char *keyp;
850         uint64_t prkey;
851
852         if (!mpp->reservation_key)
853         {
854                 /* Nothing to do. Assuming pr mgmt feature is disabled*/
855                 condlog(3, "%s: reservation_key not set in multipath.conf", mpp->alias);
856                 return MPATH_PR_SUCCESS;
857         }
858
859         resp = mpath_alloc_prin_response(MPATH_PRIN_RKEY_SA);
860         if (!resp)
861         {
862                 condlog(0,"%s : failed to alloc resp in update_map_pr", mpp->alias);
863                 return MPATH_PR_OTHER;
864         }
865         ret = mpath_prin_activepath(mpp, MPATH_PRIN_RKEY_SA, resp, noisy);
866
867         if (ret != MPATH_PR_SUCCESS )
868         {
869                 condlog(0,"%s : pr in read keys service action failed Error=%d", mpp->alias, ret);
870                 free(resp);
871                 return  ret;
872         }
873
874         if (resp->prin_descriptor.prin_readkeys.additional_length == 0 )
875         {
876                 condlog(0,"%s: No key found. Device may not be registered. ", mpp->alias);
877                 free(resp);
878                 return MPATH_PR_SUCCESS;
879         }
880
881         prkey = 0;
882         keyp = mpp->reservation_key;
883         for (j = 0; j < 8; ++j) {
884                 if (j > 0)
885                         prkey <<= 8;
886                 prkey |= *keyp;
887                 ++keyp;
888         }
889         condlog(2, "%s: Multipath  reservation_key: 0x%" PRIx64 " ", mpp->alias, prkey);
890
891         isFound =0;
892         for (i = 0; i < resp->prin_descriptor.prin_readkeys.additional_length/8; i++ )
893         {
894                 condlog(2, "%s: PR IN READKEYS[%d]  reservation key:", mpp->alias, i);
895                 dumpHex((char *)&resp->prin_descriptor.prin_readkeys.key_list[i*8], 8 , 1);
896
897                 if (!memcmp(mpp->reservation_key, &resp->prin_descriptor.prin_readkeys.key_list[i*8], 8))
898                 {
899                         condlog(2, "%s: reservation key found in pr in readkeys response", mpp->alias);
900                         isFound =1;
901                 }
902         }
903
904         if (isFound)
905         {
906                 mpp->prflag = 1;
907                 condlog(2, "%s: prflag flag set.", mpp->alias );
908         }
909
910         free(resp);
911         return MPATH_PR_SUCCESS;
912 }
913
914
915