Diff for /loncom/imspackages/imsprocessor.pm between versions 1.1 and 1.11

version 1.1, 2004/03/02 15:45:06 version 1.11, 2004/12/13 20:01:09
Line 1 Line 1
   # Copyright Michigan State University Board of Trustees
   #
   # This file is part of the LearningOnline Network with CAPA (LON-CAPA).
   #
   # LON-CAPA is free software; you can redistribute it and/or modify
   # it under the terms of the GNU General Public License as published by
   # the Free Software Foundation; either version 2 of the License, or
   # (at your option) any later version.
   #
   # LON-CAPA is distributed in the hope that it will be useful,
   # but WITHOUT ANY WARRANTY; without even the implied warranty of
   # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
   # GNU General Public License for more details.
   #
   # You should have received a copy of the GNU General Public License
   # along with LON-CAPA; if not, write to the Free Software
   # Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
   #
   # /home/httpd/html/adm/gpl.txt
   #
   # http://www.lon-capa.org/
   #
   
 package Apache::imsprocessor;  package Apache::imsprocessor;
   
 use Apache::lonnet;  use Apache::lonnet;
 use LONCAPA::Configuration;  use LONCAPA::Configuration;
   use strict;
   
   sub ims_config {
       my ($areas,$cmsmap,$areaname) = @_;
       @{$areas} = ("doc","extlink","announce","staff","board","quiz","survey","pool","users");
       %{$$cmsmap{bb5}} = (
                   announce => 'resource/x-bb-announcement',
                   board => 'resource/x-bb-discussionboard',
                   doc => 'resource/x-bb-document',
                   extlink => 'resource/x-bb-externallink',
                   pool => 'assessment/x-bb-pool',
                   quiz => 'assessment/x-bb-quiz',
                   staff => 'resource/x-bb-staffinfo',
                   survey => 'assessment/x-bb-survey',
                   users => 'course/x-bb-user',
                   );
       %{$$cmsmap{bb6}} =  %{$$cmsmap{bb5}};
       $$cmsmap{bb6}{conference} = 'resource/x-bb-conference';
       %{$$cmsmap{angel}} =  (
                   board => 'BOARD',
                   extlink => 'LINK',
                   msg => 'MESSAGE',
                   quiz => 'QUIZ',
                   survey => 'FORM',
                   );
       @{$$cmsmap{angel}{doc}} = ('FILE','PAGE');
       %{$areaname} = (
                   announce => 'Announcements',
                   board => 'Discussion Boards',
                   doc => 'Documents, pages, and folders',
                   extlink => 'Links to external sites',
                   pool => 'Question pools',
                   quiz => 'Quizzes',
                   staff => 'Staff information',
                   survey => 'Surveys',
                   users => 'Enrollment',
                   );
   }
     
 sub create_tempdir {  sub create_tempdir {
     my ($caller,$pathinfo) = @_;         my ($context,$pathinfo,$timenow) = @_;   
     my $configvars = &LONCAPA::Configuration::read_conf('loncapa.conf');      my $configvars = &LONCAPA::Configuration::read_conf('loncapa.conf');
     my $tempdir;      my $tempdir;
     if ($caller eq 'DOCS') {      if ($context eq 'DOCS') {
         $tempdir =  $$configvars{'lonDaemons'}.'/tmp/'.$pathinfo;          $tempdir =  $$configvars{'lonDaemons'}.'/tmp/'.$pathinfo;
         if (!-e "$tempdir") {          if (!-e "$tempdir") {
             mkdir("$tempdir",0755);              mkdir("$tempdir",0770);
         }          } 
     } elsif ($caller eq "CSTR") {          $tempdir .= '/'.$timenow;
           if (!-e "$tempdir") {
               mkdir("$tempdir",0770);
           } 
       } elsif ($context eq "CSTR") {
         if (!-e "$pathinfo/temp") {          if (!-e "$pathinfo/temp") {
             mkdir("$pathinfo/temp",0755);              mkdir("$pathinfo/temp",0770);
         }          }
         $tempdir =  $pathinfo.'/temp';          $tempdir =  $pathinfo.'/temp';
     }      }
     return $tempdir;      return $tempdir;
 }  }
   
   sub uploadzip {
       my ($context,$tempdir,$source) = @_;
       my $fname;
       if ($context eq 'DOCS') {
           $fname=$ENV{'form.uploadname.filename'};
   # Replace Windows backslashes by forward slashes
           $fname=~s/\\/\//g;
   # Get rid of everything but the actual filename
           $fname=~s/^.*\/([^\/]+)$/$1/;
   # Replace spaces by underscores
           $fname=~s/\s+/\_/g;
   # Replace all other weird characters by nothing
           $fname=~s/[^\w\.\-]//g;
   # See if there is anything left
           unless ($fname) { return 'error: no uploaded file'; }
   # Save the file
           chomp($ENV{'form.uploadname'});
           open(my $fh,'>'.$tempdir.'/'.$fname);
           print $fh $ENV{'form.uploadname'};
           close($fh);
       } elsif ($context eq 'CSTR') {
           if ($source =~ m/\/([^\/]+)$/) {
               $fname = $1;
               my $destination = $tempdir.'/'.$fname;
               rename($source,$destination);
           }
       }
       return $fname;   
   }
   
 sub expand_zip {  sub expand_zip {
     my ($tempdir,$filename) = @_;      my ($tempdir,$filename) = @_;
     my $zipfile = "$tempdir/$filename";      my $zipfile = "$tempdir/$filename";
       if (!-e "$zipfile") {
           return 'no zip';
       }
     if ($filename =~ m|\.zip$|i) {      if ($filename =~ m|\.zip$|i) {
       # unzip can cause an sh launch which can pass along all of %ENV
       # which can be too large for /bin/sh to handle
           my %oldENV=%ENV;
           undef(%ENV);
         open(OUTPUT, "unzip -o $zipfile -d $tempdir  2> /dev/null |");          open(OUTPUT, "unzip -o $zipfile -d $tempdir  2> /dev/null |");
         while (<OUTPUT>) {  
             print "$_<br />";  
         }  
         close(OUTPUT);          close(OUTPUT);
           %ENV=%oldENV;
           undef(%oldENV);
     } else {      } else {
         return 'nozip';          return 'nozip';
     }      }
Line 41  sub expand_zip { Line 141  sub expand_zip {
 }  }
   
 sub process_manifest {  sub process_manifest {
     my ($cms,$tempdir,$resources,$items,$hrefs) = @_;      my ($cms,$tempdir,$resources,$items,$hrefs,$resinfo) = @_;
     my %toc = (      my %toc = (
                 bb6 => 'organization',
               bb5 => 'tableofcontents',                bb5 => 'tableofcontents',
               angel => 'organization',                angel => 'organization',
               );                );
       my %contents = ();
     my @state = ();      my @state = ();
     my $itm = '';      my $itm = '';
     my $identifier = '';      my $identifier = '';
     my @seq = "Top";      my @seq = "Top";
     my $lastitem;      my $lastitem;
     $$items{'Top'}{'contentscount'} = 0;      %{$$items{'Top'}} = (
                         contentscount => 0,
                         resnum => 'toplevel',
                         );
       %{$$resources{'toplevel'}} = (
                                     revitm => 'Top'
                                    );
    
       if ($cms eq 'angel') {
           $$resources{'toplevel'}{type} = "FOLDER";
       } elsif ($cms eq 'bb5' || $cms eq 'bb6') {
           $$resources{'toplevel'}{type} = 'resource/x-bb-document';
       }
   
     unless (-e "$tempdir/imsmanifest.xml") {      unless (-e "$tempdir/imsmanifest.xml") {
         return 'nomanifest';          return 'nomanifest';
Line 82  sub process_manifest { Line 195  sub process_manifest {
                         $itm = $attr->{identifier};                                        $itm = $attr->{identifier};              
                         %{$$items{$itm}} = ();                          %{$$items{$itm}} = ();
                         $$items{$itm}{contentscount} = 0;                          $$items{$itm}{contentscount} = 0;
                         if ($cms eq 'bb5') {                          if ($cms eq 'bb5' || $cms eq 'bb6') {
                             $$items{$itm}{resnum} = $attr->{identifierref};                              $$items{$itm}{resnum} = $attr->{identifierref};
                             $$items{$itm}{title} = $attr->{title};                              if ($cms eq 'bb5') {
                                   $$items{$itm}{title} = $attr->{title};
                               }
                         } elsif ($cms eq 'angel') {                          } elsif ($cms eq 'angel') {
                             if ($attr->{identifierref} =~ m/^res(.+)$/) {                              if ($attr->{identifierref} =~ m/^res(.+)$/) {
                                 $$items{$itm}{resnum} = $1;                                  $$items{$itm}{resnum} = $1;
                             }                              }
                         }                          }
                         unless (defined(%{$resources{$$items{$itm}{resnum}}}) ) {                          unless (defined(%{$$resources{$$items{$itm}{resnum}}}) ) {
                             %{$resources{$$items{$itm}{resnum}}} = ();                              %{$$resources{$$items{$itm}{resnum}}} = ();
                         }                          }
                         $$resources{$$items{$itm}{resnum}}{revitm} = $itm;                          $$resources{$$items{$itm}{resnum}}{revitm} = $itm;
   
Line 124  sub process_manifest { Line 239  sub process_manifest {
                             $path = $seq[0];                              $path = $seq[0];
                         }                          }
                         $$items{$itm}{filepath} = $path;                          $$items{$itm}{filepath} = $path;
                           if ($cms eq 'bb5' || $cms eq 'bb6') {
                               if ($$items{$itm}{filepath} eq 'Top') {
                                   $$items{$itm}{resnum} = $itm;
                                   $$resources{$$items{$itm}{resnum}}{type} = 'resource/x-bb-document';
                                   $$resources{$$items{$itm}{resnum}}{revitm} = $itm;
                                   $$resinfo{$$items{$itm}{resnum}}{'isfolder'} = 'true';
                               }
                           }
                         $$items{$seq[-1]}{contentscount} ++;                          $$items{$seq[-1]}{contentscount} ++;
                         $lastitem = $itm;                          $lastitem = $itm;
                     }                      }
                 } elsif ("@state" eq "manifest resources resource" ) {                  } elsif ("@state" eq "manifest resources resource" ) {
                     $identifier = $attr->{identifier};                      $identifier = $attr->{identifier};
                     if ($cms eq 'bb5') {                                       if ($cms eq 'bb5' || $cms eq 'bb6') {
                         $$resources{$identifier}{file} = $attr->{file};                          $$resources{$identifier}{file} = $attr->{file};
                         $$resources{$identifier}{type} = $attr->{type};                          $$resources{$identifier}{type} = $attr->{type};
                     } elsif ($cms eq 'angel') {                      } elsif ($cms eq 'angel') {
                         $identifier = substr($identifier,3);                          $identifier = substr($identifier,3);
                         if ($attr->{href} =~ m-^_assoc/$identifier/(.+)$-) {                          if ($attr->{href} =~ m-^_assoc/$identifier/(.+)$-) {
                             $$resources{$identifier}{file} = $1;                              $$resources{$identifier}{file} = $1;
                         }                                              }
                     }                      }
                     @{$$hrefs{$identifier}} = ();                      @{$$hrefs{$identifier}} = ();
                 } elsif ("@state" eq "manifest resources resource file") {                  } elsif ("@state" eq "manifest resources resource file") {
                     if ($cms eq 'bb5') {                      if ($cms eq 'bb5' || $cms eq 'bb6') {
                         push @{$$hrefs{$identifier}},$attr->{href};                          push @{$$hrefs{$identifier}},$attr->{href};
                     } elsif ($cms eq 'angel') {                      } elsif ($cms eq 'angel') {
                         if ($attr->{href} =~ m/^_assoc\\$identifier\\(.+)$/) {                          if ($attr->{href} =~ m/^_assoc\\$identifier\\(.+)$/) {
                             push @{$$hrefs{$identifier}},$1;                              push @{$$hrefs{$identifier}},$1;
                         } elsif ($attr->{href} =~ m/^Icons\\icon(\w+)\.gif/) {                          } elsif ($attr->{href} =~ m/^Icons\\icon(\w+)\.gif/) {
                             $$resources{$identifier}{type} = $1;                              $$resources{$identifier}{type} = $1;
                         }                           }
                     }                      }
                 }                  }
            }, "tagname, attr"],             }, "tagname, attr"],
         text_h =>          text_h =>
             [sub {              [sub {
                 my ($text) = @_;                  my ($text) = @_;
                   if ($state[0] eq "manifest" && $state[1] eq "organizations" && $state[2] eq $toc{$cms} && $state[-1] eq "title") {
                       if ($cms eq 'angel' || $cms eq 'bb6') {
                           $$items{$itm}{title} = $text;
                       }
                   }
               }, "dtext"],                }, "dtext"],
         end_h =>          end_h =>
               [sub {                [sub {
Line 171  sub process_manifest { Line 299  sub process_manifest {
 }  }
   
 sub target_resources {  sub target_resources {
     my ($resources,$oktypes,$targets) = @_;       my ($resources,$oktypes,$targets) = @_;
     foreach my $key (keys %{$resources}) {      foreach my $key (keys %{$resources}) {
         if ( defined($$oktypes{$$resources{$key}{type}}) ) {          if ( defined($$oktypes{$$resources{$key}{type}}) ) {
             push @{$targets}, $key;              push @{$targets}, $key;
Line 180  sub target_resources { Line 308  sub target_resources {
     return;      return;
 }  }
   
   
 sub copy_resources {  sub copy_resources {
     my ($context,$cms,$hrefs,$tempdir,$targets,$url,$crs,$cdom,$chome,$destdir) = @_;      my ($context,$cms,$hrefs,$tempdir,$targets,$url,$crs,$cdom,$chome,$destdir,$timenow) = @_;
     if ($context eq 'DOCS') {      if ($context eq 'DOCS') {
         my $path= $cdom.'/'.$crs.'/';  
         my $filepath= $Apache::lonnet::perlvar{'lonDocRoot'};  
         my @parts=split(/\//,$filepath.'/userfiles/'.$path);  
         for (my $count=4; $count<@parts; $count++) {  
             $filepath.="/$parts[$count]";  
             if ((-e $filepath)!=1) {  
         mkdir($filepath,0777);  
             }  
         }  
         foreach my $key (sort keys %{$hrefs}) {          foreach my $key (sort keys %{$hrefs}) {
             if (grep/^$key$/,@{$targets}) {              if (grep/^$key$/,@{$targets}) {
                 %{$url{$key}} = ();                  %{$$url{$key}} = ();
                 foreach my $file (@{$$hrefs{$key}}) {                  foreach my $file (@{$$hrefs{$key}}) {
                     if ($cms eq 'bb5') {                      my $source = $tempdir.'/'.$key.'/'.$file;
                         my $filename = $file;                      my $filename = '';
                         $filename =~ s/\//_/g;                      my $fpath = $timenow.'/resfiles/'.$key.'/';
                         $filename = 'ims_'.$key.'_'.$filename;                      if ($cms eq 'angel') {
                         my $destination = $filepath.'/'.$filename;                          if ($file eq 'pg'.$key.'.htm') {
                         if (-e "$destination") {                              next;
                             print STDERR "Can not copy file to $destination, as $filename already exists\n";                          }
                         } else {                      }
                             system("cp $tempdir/$key/$file $filepath/$filename");                      $file =~ s-\\-/-g;
                             my $fetchresult= &Apache::lonnet::reply('fetchuserfile:'.$cdom.'/'.$crs.'/'.$filename,$chome);                      $file = $fpath.$file;
                       my $fileresult = &Apache::lonnet::process_coursefile('copy',$crs,$cdom,$chome,$file,$source);
                   }
               }
           }
       } elsif ($context eq 'CSTR') {
           if (!-e "$destdir/resfiles") {
               mkdir("$destdir/resfiles",0770);
           }
           foreach my $key (sort keys %{$hrefs}) {
               foreach my $file (@{$$hrefs{$key}}) {
                   $file =~ s-\\-/-g;
                   if ( ($cms eq 'angel' && $file ne 'pg'.$key.'.htm') || ($cms eq 'bb5') || ($cms eq 'bb6') ) {
                       if (!-e "$destdir/resfiles/$key") {
                           mkdir("$destdir/resfiles/$key",0770);
                       }
   
                             if ($fetchresult eq 'ok') {                      my $filepath = $file;
                                 $$url{$key}{$filename} = '/uploaded/'.$path.$fname;                      my $front = '';
                             } else {                      while ($filepath =~ m-(\w+)/(.+)-) {
                                 &Apache::lonnet::logthis('Failed to transfer '.$cdom.'/'.$crs.'/'.$filename.' to host '.$chome.': '.$fetchresult);                          $front .= $1.'/';
                                 $$url{$key}{$filename} = '/adm/notfound.html';                          $filepath = $2;
                             }                              my $fulldir = "$destdir/resfiles/$key/$front";
                           chop($fulldir);
                           if (!-e "$fulldir") {
                               mkdir("$fulldir",0770);
                         }                          }
                     } elsif ($cms eq 'angel') {                      }
                         $file =~ s-\\-/-g;                      if ($cms eq 'angel') {
                         my $filename = $file;                          rename("$tempdir/_assoc/$key/$file","$destdir/resfiles/$key/$file");
                         $filename =~ s/\//_/g;                      } elsif ($cms eq 'bb5' || $cms eq 'bb6') {
                         unless ($file eq 'pg'.$key.'.htm') {                          rename("$tempdir/$key/$file","$destdir/resfiles/$key/$file");
                             $filename = 'ims_'.$key.'_'.$filename;                      }
                             my $destination = $filepath.'/'.$filename;                  }
                             if (-e "$destination") {              }
                                 print STDERR "Can not copy file to $destination, as $filename already exists\n";          }
                             } else {      }
                                 system("cp $tempdir/_assoc/$key/$file $filepath/$filename");  }
                                 my $fetchresult= &Apache::lonnet::reply('fetchuserfile:'.$cdom.'/'.$crs.'/'.$file,$chome);  
                                 if ($fetchresult eq 'ok') {  sub process_coursefile {
                                     $$url{$key}{$filename} = '/uploaded/'.$path.$fname;      my ($crs,$cdom,$chome,$file,$source)=@_;
                                 } else {      my $fetchresult = '';
                                     &Apache::lonnet::logthis('Failed to transfer '.$cdom.'/'.$crs.'/'.$filename.' to host '.$chome.': '.$fetchresult);      my $fpath = '';
                                     $$url{$key}{$filename} = '/adm/notfound.html';      my $fname = $file;
       ($fpath,$fname) = ($file =~ m/^(.*)\/([^\/])$/);
       $fpath=$cdom.'/'.$crs.'/'.$fpath;
       my $filepath=$Apache::lonnet::perlvar{'lonDocRoot'}.'/userfiles';
       unless ($fpath eq '') {
           my @parts=split(/\//,$fpath);
           foreach my $part (@parts) {
               $filepath.= '/'.$part;
               if ((-e $filepath)!=1) {
                   mkdir($filepath,0777);
               }
           }
       }
       if ($source eq '') {
           $fetchresult eq 'no source file provided';
       } else {
           my $destination = $filepath.'/'.$fname;
           rename($source,$destination);
           $fetchresult= &Apache::lonnet::reply('fetchuserfile:'.$cdom.'/'.$crs.'/'.$file,$chome);
           unless ($fetchresult eq 'ok') {
               &Apache::lonnet::logthis('Failed to transfer '.$cdom.'/'.$crs.'/'.$fname.' to host '.$chome.': '.$fetchresult);
           }
       }
       return $fetchresult;
   }
   
   sub process_resinfo {
       my ($cms,$context,$docroot,$destdir,$items,$resources,$boards,$announcements,$quizzes,$surveys,$groups,$messages,$timestamp,$boardnum,$resinfo,$udom,$uname,$cdom,$crs,$db_handling,$user_handling,$total,$dirname,$seqstem,$resrcfiles,$packages,$hrefs,$pagesfiles,$sequencesfiles) = @_;
       my $board_id = time;
       my $board_count = 0;
       my $announce_handling = 'include';
       my $longcrs = '';
       if ($crs =~ m/^(\d)(\d)(\d)/) {
           $longcrs = $1.'/'.$2.'/'.$3.'/'.$crs;
       }
       if ($cms eq 'angel') {
           my $currboard = '';
           foreach my $key (sort keys %{$resources}) {
               if ($$resources{$key}{type} eq "BOARD") {
                   push @{$boards}, $key;
                   $$boardnum{$$resources{$key}{revitm}} = $board_count;
                   $currboard = $key;
                   @{$$messages{$key}} = ();
                   $$timestamp[$board_count] = $board_id;
                   $board_id ++;
                   $board_count ++;
               } elsif ($$resources{$key}{type} eq "MESSAGE") {
                   push @{$$messages{$currboard}}, $key;
               } elsif ($$resources{$key}{type} eq "PAGE" || $$resources{$key}{type} eq "LINK") {
                   %{$$resinfo{$key}} = ();
                   &angel_content($key,$docroot,$destdir,\%{$$resinfo{$key}},$udom,$uname,$$resources{$key}{type},$$items{$$resources{$key}{revitm}}{title},$resrcfiles);
               } elsif ($$resources{$key}{type} eq "QUIZ") {
                   %{$$resinfo{$key}} = ();
                   push @{$quizzes}, $key;
   #               &angel_assessment($key,$docroot,$dirname,$destdir,\%{$$resinfo{$key}},$resrcfiles);
               } elsif ($$resources{$key}{type} eq "FORM") {
                   %{$$resinfo{$key}} = ();
                   push @{$surveys}, $key;
   #                &angel_assessment($key,$docroot,$dirname,$destdir,\%{$$resinfo{$key}},$resrcfiles);
               } elsif ($$resources{$key}{type} eq "DROPBOX") {
                   %{$$resinfo{$key}} = ();
               }
           }
       } elsif ($cms eq 'bb5' || $cms eq 'bb6') {
           foreach my $key (sort keys %{$resources}) {
               if ($$resources{$key}{type} eq "resource/x-bb-document") {
                   unless ($$items{$$resources{$key}{revitm}}{filepath} eq 'Top') {
                       %{$$resinfo{$key}} = ();
                       &process_content($cms,$key,$context,$docroot,$destdir,\%{$$resinfo{$key}},$udom,$uname,$resrcfiles,$packages,$hrefs);
                   }
               } elsif ($$resources{$key}{type} eq "resource/x-bb-staffinfo") {
                   %{$$resinfo{$key}} = ();
                   &process_staff($key,$docroot,$dirname,$destdir,\%{$$resinfo{$key}},$resrcfiles);
               } elsif ($$resources{$key}{type} eq "resource/x-bb-externallink") {
                   %{$$resinfo{$key}} = ();
                   &process_link($key,$docroot,$dirname,$destdir,\%{$$resinfo{$key}},$resrcfiles);
               } elsif ($$resources{$key}{type} eq "resource/x-bb-discussionboard") {
                   %{$$resinfo{$key}} = ();
                   unless ($db_handling eq 'ignore') {
                       push @{$boards}, $key;
                       $$timestamp[$board_count] = $board_id;
                       &process_db($key,$docroot,$destdir,$board_id,$crs,$cdom,$db_handling,$uname,\%{$$resinfo{$key}},$longcrs);
                       $board_id ++;
                       $board_count ++;
                   }
               } elsif ($$resources{$key}{type} eq "assessment/x-bb-pool") {
                   %{$$resinfo{$key}} = ();
                   &process_assessment($context,$key,$docroot,'pool',$dirname,$destdir,\%{$$resinfo{$key}},$total,$udom,$uname,$pagesfiles,$sequencesfiles);
               } elsif ($$resources{$key}{type} eq "assessment/x-bb-quiz") {
                   %{$$resinfo{$key}} = ();
                   &process_assessment($context,$key,$docroot,'quiz',$dirname,$destdir,\%{$$resinfo{$key}},$total,$udom,$uname,$pagesfiles,$sequencesfiles);
                   push @{$quizzes}, $key;
               } elsif ($$resources{$key}{type} eq "assessment/x-bb-survey") {
                   %{$$resinfo{$key}} = ();
                   &process_assessment($context,$key,$docroot,'survey',$dirname,$destdir,\%{$$resinfo{$key}},$total,$udom,$uname,$pagesfiles,$sequencesfiles);
                   push @{$surveys}, $key;
               } elsif ($$resources{$key}{type} eq "assessment/x-bb-group") {
                   %{$$resinfo{$key}} = ();
                   push @{$groups}, $key;
                   &process_group($key,$docroot,$destdir,\%{$$resinfo{$key}});
               } elsif ($$resources{$key}{type} eq "resource/x-bb-user") {   
                   %{$$resinfo{$key}} = ();
                   unless ($user_handling eq 'ignore') {
                       &process_user($key,$docroot,$destdir,\%{$$resinfo{$key}},$crs,$cdom,$user_handling);
                   }
               } elsif ($$resources{$key}{type} eq "resource/x-bb-announcement") {
                   unless ($announce_handling eq 'ignore') {
                       push @{$announcements}, $key;
                       %{$$resinfo{$key}} = ();
                       &process_announce($key,$docroot,$destdir,\%{$$resinfo{$key}},$resinfo,$seqstem,$resrcfiles);
                   }
               }
           }
           if (@{$announcements}) {
               $$items{'Top'}{'contentscount'} ++;
           }
           if (@{$boards}) {
               $$items{'Top'}{'contentscount'} ++;
           }
           if (@{$quizzes}) {
               $$items{'Top'}{'contentscount'} ++;
           }
           if (@{$surveys}) {
               $$items{'Top'}{'contentscount'} ++;
           
           }
       }
   
       $$total{'board'} = $board_count;
       $$total{'quiz'} = @{$quizzes};
       $$total{'surv'} = @{$surveys};
   }
   
   sub build_structure {
       my ($cms,$context,$destdir,$items,$resinfo,$resources,$hrefs,$udom,$uname,$newdir,$timenow,$cdom,$crs,$timestamp,$total,$boards,$announcements,$quizzes,$surveys,$boardnum,$pagesfiles,$seqfiles,$topurls,$topnames,$packages) = @_;
       my %flag = ();
       my %count = ();
       my %pagecontents = ();
       my %seqtext = ();
       my $topnum = 0;
   
       if (!-e "$destdir") {
           mkdir("$destdir",0755);
       }
       if (!-e "$destdir/sequences") {
           mkdir("$destdir/sequences",0770);
       }
       if (!-e "$destdir/resfiles") {
           mkdir("$destdir/resfiles",0770);
       }
       if (!-e "$destdir/pages") {
           mkdir("$destdir/pages",0770);
       }
       if (!-e "$destdir/problems") {
           mkdir("$destdir/problems",0770);
       }
   
       $seqtext{'Top'} = qq|<map>\n|;       
       %{$$resinfo{$$items{'Top'}{resnum}}} = (
                                            isfolder => 'true',
                                           );
   
       my $srcstem = "";
    
       if ($context eq 'DOCS') {
           $srcstem = "/uploaded/$cdom/$crs/$timenow";
       } elsif ($context eq 'CSTR') {
           $srcstem = "/res/$udom/$uname/$newdir";
       }
   
       foreach my $key (sort keys %{$items}) {
           %{$flag{$key}} = (
                             page => 0,
                             seq => 0,
                             board => 0,
                             file => 0,
                            );
   
           %{$count{$key}} = (
                              page => -1,
                              seq => 0,
                              board => 0,
                              file => 0,
                             );
   
           my $src = "";
   
           my $next_id = 2;
           my $curr_id = 1;
           my $resnum = $$items{$key}{resnum};
           my $type = $$resources{$resnum}{type};
           if (($cms eq 'angel' && $type eq "FOLDER") || (($cms eq 'bb5' || $cms eq 'bb6') && $$resinfo{$resnum}{'isfolder'} eq "true") && (($type eq "resource/x-bb-document") || ($type eq "resource/x-bb-staffinfo") || ($type eq "resource/x-bb-externallink")) ) {
               unless (($cms eq 'bb5') && $key eq 'Top') {
                   $seqtext{$key} = "<map>\n";
               }
               if ($$items{$key}{contentscount} == 0) {
                   $seqtext{$key} .= qq|<resource id="$curr_id" src="" type="start"></resource>
   <link from="$curr_id" to="$next_id" index="$curr_id"></link>
   <resource id="$next_id" src="" type="finish"></resource>\n|;
               } else {
                   my $contcount = @{$$items{$key}{contents}};
                   my $contitem = $$items{$key}{contents}[0];
                   my $res = $$items{$contitem}{resnum};
                   my $type = $$resources{$res}{type};
                   my $title = $$items{$contitem}{title};
                   my $packageflag = 0;
                   if (grep/^$res$/,@{$packages}) {
                       $packageflag = 1;
                   }
                   $src = &make_structure($cms,$key,$srcstem,\%flag,\%count,$timestamp,$boardnum,$hrefs,\%pagecontents,$res,$type,$resinfo,$contitem,$uname,$cdom,$contcount,$packageflag);
                   unless ($flag{$key}{page} == 1) {
                       $seqtext{$key} .= qq|<resource id="$curr_id" src="$src" title="$title" type="start"|;
                       unless ($flag{$key}{seq} || $flag{$key}{board} || $flag{$key}{file}) {
                           $flag{$key}{page} = 1;
                       }
                       if ($key eq 'Top') {
                           push @{$topurls}, $src;
                           push @{$topnames}, $title;
                       }
                   }
                   if ($contcount == 1) {
                       $seqtext{$key} .= qq|></resource>
   <link from="$curr_id" to="$next_id" index="$curr_id"></link>
   <resource id="$next_id" src="" type="finish"></resource>\n|;
                   } else {
                       if ($contcount > 2 ) {
                           for (my $i=1; $i<$contcount-1; $i++) {
                               my $contitem = $$items{$key}{contents}[$i];
                               my $res = $$items{$contitem}{resnum};
                               my $type = $$resources{$res}{type};
                               my $title = $$items{$contitem}{title};
                               my $packageflag = 0;
                               if (grep/^$res$/,@{$packages}) {
                                   $packageflag = 1;
                               }
                               $src = &make_structure($cms,$key,$srcstem,\%flag,\%count,$timestamp,$boardnum,$hrefs,\%pagecontents,$res,$type,$resinfo,$contitem,$uname,$cdom,$contcount,$packageflag);
                               unless ($flag{$key}{page} == 1) {
                                   $seqtext{$key} .= qq|></resource>
   <link from="$curr_id" to="$next_id" index="$curr_id"></link>
   <resource id="$next_id" src="$src" title="$title"|;
                                   $curr_id ++;
                                   $next_id ++;
                                   unless ($flag{$key}{seq} || $flag{$key}{board} || $flag{$key}{file}) {
                                       $flag{$key}{page} = 1;
                                   }
                                   if ($key eq 'Top') {
                                       push @{$topurls}, $src;
                                       push @{$topnames}, $title;
                                 }                                  }
                             }                              }
                         }                          }
                     }                      }
                       my $contitem = $$items{$key}{contents}[-1];
                       my $res = $$items{$contitem}{resnum};
                       my $type = $$resources{$res}{type};
                       my $title = $$items{$contitem}{title};
                       my $packageflag = 0;
                       if (grep/^$res$/,@{$packages}) {
                           $packageflag = 1;
                       }
                       $src = &make_structure($cms,$key,$srcstem,\%flag,\%count,$timestamp,$boardnum,$hrefs,\%pagecontents,$res,$type,$resinfo,$contitem,$uname,$cdom,$contcount,$packageflag);
                       if ($flag{$key}{page}) {
                           if ($count{$key}{seq} + $count{$key}{page} + $count{$key}{board} + $count{$key}{file} +1 == 1) {
                               $seqtext{$key} .= qq|></resource>
   <link from="$curr_id" index="$curr_id" to="$next_id">
   <resource id ="$next_id" src="" |;
                           }
                       } else {
                           $seqtext{$key} .= qq|></resource>
   <link from="$curr_id" to="$next_id" index="$curr_id"></link>
   <resource id="$next_id" src="$src" title="$title" |;
                           if ($key eq 'Top') {
                               push @{$topurls}, $src;
                               push @{$topnames}, $title;
                           }
                       }
                       if ($contcount == $$items{$key}{contentscount}) {
                           $seqtext{$key} .= qq|type="finish"></resource>\n|;
                       } else {
                           $curr_id ++;
                           $next_id ++;
                           $seqtext{$key} .= qq|></resource>
   <link from="$curr_id" to="$next_id" index="$curr_id"></link>\n|;
                       } 
                 }                  }
             }              }
               unless (($cms eq 'bb5') && $key eq 'Top') {
                   $seqtext{$key} .= "</map>\n";
                   open(LOCFILE,">$destdir/sequences/$key.sequence");
                   print LOCFILE $seqtext{$key};
                   close(LOCFILE);
                   push @{$seqfiles}, "$key.sequence";
               }
               $count{$key}{page} ++;
               $$total{page} += $count{$key}{page};
           }
           $$total{seq} += $count{$key}{seq};
       }
       $topnum += ($count{'Top'}{page} + $count{'Top'}{seq});
   
       if ($cms eq 'bb5' || $cms eq 'bb6') {
           if (@{$announcements} > 0) {
               &process_specials($context,'announcements',$announcements,\$topnum,$$items{'Top'}{contentscount},$destdir,$udom,$uname,$cdom,$crs,$timenow,$newdir,$timestamp,$resinfo,\$seqtext{'Top'},$pagesfiles,$seqfiles,$topurls,$topnames);
         }          }
           if (@{$boards} > 0) {
               &process_specials($context,'boards',$boards,\$topnum,$$items{'Top'}{contentscount},$destdir,$udom,$uname,$cdom,$crs,$timenow,$newdir,$timestamp,$resinfo,\$seqtext{'Top'},$pagesfiles,$seqfiles,$topurls,$topnames);
           }
           if (@{$quizzes} > 0) {
               &process_specials($context,'quizzes',$quizzes,\$topnum,$$items{'Top'}{contentscount},$destdir,$udom,$uname,$cdom,$crs,$timenow,$newdir,$timestamp,$resinfo,\$seqtext{'Top'},$pagesfiles,$seqfiles,$topurls,$topnames);
           }
           if (@{$surveys} > 0)  {
               &process_specials($context,'surveys',$surveys,\$topnum,$$items{'Top'}{contentscount},$destdir,$udom,$uname,$cdom,$crs,$timenow,$newdir,$timestamp,$resinfo,\$seqtext{'Top'},$pagesfiles,$seqfiles,$topurls,$topnames);
           }
   
           $seqtext{'Top'} .= "</map>\n";
           open(TOPFILE,">$destdir/sequences/Top.sequence");
           print TOPFILE $seqtext{'Top'};
           close(TOPFILE);
           push @{$seqfiles}, 'Top.sequence';
       }
   
       my $filestem;
       if ($context eq 'DOCS') {
           $filestem = "/uploaded/$cdom/$crs/$timenow";
     } elsif ($context eq 'CSTR') {      } elsif ($context eq 'CSTR') {
         if (!-e "$destdir/resfiles") {          $filestem = "/res/$udom/$uname/$newdir";
             mkdir("$destdir/resfiles",0755);      }
   
       foreach my $key (sort keys %pagecontents) {
           for (my $i=0; $i<@{$pagecontents{$key}}; $i++) {
               my $filename = $destdir.'/pages/'.$key.'_'.$i.'.page';
               my $resource = "$filestem/resfiles/$$items{$pagecontents{$key}[$i][0]}{resnum}.html";
               my $res = $$items{$pagecontents{$key}[$i][0]}{resnum};
               my $resource = $filestem.'/resfiles/'.$res.'.html';
               if (grep/^$res$/,@{$packages}) {
                   $resource =  $filestem.'/resfiles/'.$res.'./index.html'; # should be entry_point
               }
               open(PAGEFILE,">$filename");
               print PAGEFILE qq|<map>
   <resource src="$resource" id="1" type="start" title="$$items{$pagecontents{$key}[$i][0]}{title}"></resource>
   <link to="2" index="1" from="1">\n|;
               if (@{$pagecontents{$key}[$i]} == 1) {
                   print PAGEFILE qq|<resource src="" id="2" type="finish"></resource>\n|;
               } elsif (@{$pagecontents{$key}[$i]} == 2)  {
                   my $res = $$items{$pagecontents{$key}[$i][1]}{resnum};
                   my $resource = $filestem.'/resfiles/'.$res.'.html';
                   if (grep/^$res$/,@{$packages}) {
                       $resource =  $filestem.'/resfiles/'.$res.'./index.html'; # should be entry_point
                   }
                   print PAGEFILE qq|<resource src="$resource" id="2" type="finish" title="$$items{$pagecontents{$key}[$i][1]}{title}"></resource>\n|;
               } else {
                   for (my $j=1; $j<@{$pagecontents{$key}[$i]}-1; $j++) {
                       my $curr_id = $j+1;
                       my $next_id = $j+2;
                       my $res = $$items{$pagecontents{$key}[$i][$j]}{resnum};
                       my $resource = $filestem.'/resfiles/'.$res.'.html';
                       if (grep/^$res$/,@{$packages}) {
                           $resource =  $filestem.'/resfiles/'.$res.'./index.html'; # entry_point
                       }
                       print PAGEFILE qq|<resource src="$resource" id="$curr_id" title="$$items{$pagecontents{$key}[$i][$j]}{title}"></resource>
   <link to="$next_id" index="$curr_id" from="$curr_id">\n|;
                   }
                   my $final_id = @{$pagecontents{$key}[$i]};
                   my $res = $$items{$pagecontents{$key}[$i][-1]}{resnum};
                   my $resource = $filestem.'/resfiles/'.$res.'.html';
                   if (grep/^$res$/,@{$packages}) {
                       $resource =  $filestem.'/resfiles/'.$res.'./index.html'; # entry_point
                   }
                   print PAGEFILE qq|<resource src="$resource" id="$final_id" type="finish" title="$$items{$pagecontents{$key}[$i][-1]}{title}"></resource>\n|;
               }
               print PAGEFILE "</map>";
               close(PAGEFILE);
               push @{$pagesfiles}, $key.'_'.$i.'.page'; 
         }          }
         if ($cms eq 'angel') {       }
             foreach my $key (sort keys %href) {  }
                 foreach my $file (@{$href{$key}}) {  
                     $file =~ s-\\-/-g;  sub make_structure {
                     unless ($file eq 'pg'.$key.'.htm') {      my ($cms,$key,$srcstem,$flag,$count,$timestamp,$boardnum,$hrefs,$pagecontents,$res,$type,$resinfo,$contitem,$uname,$cdom,$contcount,$packageflag) = @_;
                         if (!-e "$destdir/resfiles/$key") {      my $src ='';
                             mkdir("$destdir/resfiles/$key",0755);      if (($cms eq 'angel' && $type eq 'FOLDER') || (($cms eq 'bb5' || $cms eq 'bb6') && ($$resinfo{$res}{'isfolder'} eq 'true')  || ($key eq 'Top')) ) {
           $src = $srcstem.'/sequences/'.$contitem.'.sequence';
           $$flag{$key}{page} = 0;
           $$flag{$key}{seq} = 1;
           $$count{$key}{seq} ++;
       } elsif ($cms eq 'angel' && $type eq 'BOARD') {
           $src = '/adm/'.$cdom.'/'.$uname.'/'.$$timestamp[$$boardnum{$res}].'/bulletinboard'; 
           $$flag{$key}{page} = 0;
           $$flag{$key}{board} = 1;
           $$count{$key}{board} ++;
       } elsif ($cms eq 'angel' && $type eq "FILE") {
           foreach my $file (@{$$hrefs{$res}}) {
               unless ($file eq 'pg'.$res.'.htm') {
                   $src = $srcstem.'/resfiles/'.$res.'/'.$file;
               }
           }
           $$flag{$key}{page} = 0;
           $$flag{$key}{file} = 1;
       } elsif ($cms eq 'angel' && (($type eq "PAGE") || ($type eq "LINK")) )  {
           if ($$flag{$key}{page}) {
               if ($$count{$key}{page} == -1) {
                   print STDERR "Array index is -1, we shouldnt be here, key is $key, type is $type\n";
               } else { 
                   push @{$$pagecontents{$key}[$$count{$key}{page}]},$contitem;
               }
           } else {
               $$count{$key}{page} ++;
               $src = $srcstem.'/pages/'.$key.'_'.$$count{$key}{page}.'.page';
               @{$$pagecontents{$key}[$$count{$key}{page}]} = ("$contitem");
               $$flag{$key}{seq} = 0;
           }
       } elsif ($cms eq 'bb5' || $cms eq 'bb6') {
           if ($$flag{$key}{page}) {
               push @{$$pagecontents{$key}[$$count{$key}{page}]},$contitem;
           } else {
               if ($contcount == 1) {
                   if ($packageflag) {
                       $src = $srcstem.'/resfiles/'.$res.'/index.html'; # Needs to be entry point
                   } else {
                       $src = $srcstem.'/resfiles/'.$res.'.html';
                   }
               } else {
                   $$count{$key}{page} ++;
                   $src = $srcstem.'/pages/'.$key.'_'.$$count{$key}{page}.'.page';
                   @{$$pagecontents{$key}[$$count{$key}{page}]} = ("$contitem");
               }
               $$flag{$key}{seq} = 0;
           }
       }
       return $src;
   }
   
   
   # ---------------------------------------------------------------- Process Blackboard specials - announcements, bulletin boards, quizzes and surveys
   sub process_specials {
       my ($context,$type,$specials,$topnum,$contentscount,$destdir,$udom,$uname,$cdom,$crs,$timenow,$newdir,$timestamp,$resinfo,$seqtext,$pagesfiles,$seqfiles,$topurls,$topnames) = @_;
       my $src = '';
       my $specialsrc = '';
       my $nextnum = 0;
       my $seqstem = '';
       if ($context eq 'CSTR') {
           $seqstem = "/res/$udom/$uname/$newdir";
       } elsif ($context eq 'DOCS') {
           $seqstem = '/uploaded/'.$cdom.'/'.$crs.'/'.$timenow;
       }
       my %seqnames = (
                     boards => 'bulletinboards',
                     quizzes => 'quizzes',
                     surveys => 'surveys',
                     announcements => 'announcements',
                     );
       my %seqtitles = (
                     boards => 'Course Bulletin Boards',
                     quizzes => 'Course Quizzes',
                     surveys => 'Course Surveys',
                     announcements => 'Course Announcements',
                      );
       $$topnum ++;
   
       if ($type eq 'announcements') {
           $src = "$seqstem/pages/$seqnames{$type}.page";
       } else {
           $src = "$seqstem/sequences/$seqnames{$type}.sequence";
       }
   
       push @{$topurls}, $src;
       push @{$topnames}, $seqtitles{$type};
   
       $$seqtext .= qq|<resource id="$$topnum" src="$src" title="$seqtitles{$type}"|;
       $nextnum = $$topnum +1;
       if ($$topnum == 1) {
           $$seqtext .= qq| type="start"></resource>
   <link from="$$topnum" to="$nextnum" index="$$topnum"></link>\n|;
           if ($$topnum == $contentscount) {
               $$seqtext .= qq|<resource id="$nextnum" src="" type="finish"></resource>\n|;
           }
       } else {
           if ($$topnum == $contentscount) {
               $$seqtext .= qq| type="finish"></resource>\n|;
           } else {
               $$seqtext .= qq|></resource>
   <link from="$$topnum" to="$nextnum" index="$$topnum"></link>\n|;
           }
       }
   
       if ($type eq "announcements") {
           push @{$pagesfiles}, "$seqnames{$type}.page";
           open(ITEM,">$destdir/pages/$seqnames{$type}.page");
       } else {
           push @{$seqfiles}, "$seqnames{$type}.sequence";
           open(ITEM,">$destdir/sequences/$seqnames{$type}.sequence");
       }
   
       if ($type eq 'boards') {
           $specialsrc = "/adm/$udom/$uname/$$timestamp[0]/bulletinboard";
       } elsif ($type eq 'announcements') {
           $specialsrc = "$seqstem/resfiles/$$specials[0].html";
       } else {
           $specialsrc = "$seqstem/pages/$$specials[0].page";
       }
       print ITEM qq|<map>
   <resource id="1" src="$specialsrc" title="$$resinfo{$$specials[0]}{title}" type="start"></resource>
   <link from="1" to="2" index="1"></link>|;
       if (@{$specials} == 1) {
           print ITEM qq|
   <resource id="2" src="" type="finish"></resource>\n|;
       } else {
           for (my $i=1; $i<@{$specials}; $i++) {
               my $curr = $i+1;
               my $next = $i+2;
               if ($type eq 'boards') {
                   $specialsrc = "/adm/$udom/$uname/$$timestamp[$i]/bulletinboard";
               } elsif ($type eq 'announcements') {
                   $specialsrc = "$seqstem/resfiles/$$specials[$i].html";
               } else {
                   $specialsrc = "$seqstem/pages/$$specials[$i].page";
               }
               print ITEM qq|<resource id="$curr" src="$specialsrc" title="$$resinfo{$$specials[$i]}{title}"|;
               if (@{$specials} == $i+1) {
                   print ITEM qq| type="finish"></resource>\n|;
               } else {
                   print ITEM qq|></resource>
   <link from="$curr" to="$next" index="$next">\n|;
               }
           }
       }
       print ITEM qq|</map>|;
       close(ITEM);
   }
   
   # ---------------------------------------------------------------- Process Blackboard users
   sub process_user {
     my ($res,$docroot,$destdir,$settings,$user_crs,$user_cdom,$user_handling) = @_;
     my $xmlfile = $docroot.'/'.$res.".dat";
     my $filecount = 0;
     my @state;
     my $userid = '';
     my $linknum = 0;
   
     my $p = HTML::Parser->new
       (
        xml_mode => 1,
        start_h =>
        [sub {
           my ($tagname, $attr) = @_;
           push @state, $tagname;
           if ("@state" eq "USERS USER") {
               $userid = $attr->{value};
               %{$$settings{$userid}} = ();
               @{$$settings{$userid}{links}} = ();
           } elsif ("@state" eq "USERS USER LOGINID") {  
               $$settings{$userid}{loginid} = $attr->{value};
           } elsif ("@state" eq "USERS USER PASSPHRASE") {  
               $$settings{$userid}{passphrase} = $attr->{value};
           } elsif ("@state" eq "USERS USER STUDENTID" ) {
               $$settings{$userid}{studentid} = $attr->{value};
           } elsif ("@state" eq "USERS USER NAMES FAMILY" ) {
               $$settings{$userid}{family} = $attr->{value};
           } elsif ("@state" eq "USERS USER NAMES GIVEN" ) {
               $$settings{$userid}{given} = $attr->{value};
           } elsif ("@state" eq "USERS USER ADDRESSES BUSINESS DATA EMAIL") {
               $$settings{$userid}{email} = $attr->{value};
           } elsif ("@state" eq "USERS USER USER_ROLE") {
               $$settings{$userid}{user_role} = $attr->{value};
           } elsif ("@state" eq "USERS USER FLAGS ISAVAILABLE") {
               $$settings{$userid}{isavailable} = $attr->{value};
           } elsif ("@state" eq "USERS USER PERSONALPAGE FILELIST IMAGE") {
               $$settings{$userid}{image} = $attr->{value};
           } elsif ( ($state[-2] eq "LINKLIST") && ($state[-1] eq "LINK") ) {
               %{$$settings{$userid}{links}[$linknum]} = ();
               $$settings{$userid}{links}[$linknum]{url} = $attr->{value};
               $linknum ++;
           }
        }, "tagname, attr"],
        text_h =>
        [sub {
           my ($text) = @_;
           if ("@state" eq "USERS USER PERSONALPAGE TITLE") {
               $$settings{$userid}{title} = $text;
           } elsif ("@state" eq "USERS USER PERSONALPAGE DESCRIPTION") {
               $$settings{$userid}{description} = $text;
           } elsif (($state[-2] eq "LINK") && ($state[-1] eq "TITLE")) {
               $$settings{$userid}{links}[$linknum]{title} = $text;
           } elsif (($state[-3] eq "LINK") && ($state[-2] eq  "DESCRIPTION") && ($state[-1] eq "TEXT")) {
               $$settings{$userid}{links}[$linknum]{text} = $text;
           }
         }, "dtext"],
        end_h =>
        [sub {
           my ($tagname) = @_;
           if ("@state" eq "USERS USER") {
               $linknum = 0;
           }
           pop @state;
        }, "tagname"],
       );
     $p->unbroken_text(1);
     $p->parse_file($xmlfile);
     $p->eof;
     
     my $configvars = &LONCAPA::Configuration::read_conf('loncapa.conf');
     my $xmlstem =  $$configvars{'lonDaemons'}."/tmp/".$user_cdom."_".$user_crs."_";
   
     foreach my $user_id (keys %{$settings}) {
         if ($$settings{$user_id}{user_role} eq "s") {
              
         } elsif ($user_handling eq 'enrollall') {
   
         }
     }
   }
   
   # ---------------------------------------------------------------- Process Blackboard groups
   sub process_group {  
     my ($res,$docroot,$destdir,$settings) = @_;
     my $xmlfile = $docroot.'/'.$res.".dat";
     my $filecount = 0;
     my @state;
     my $grp;
   
     my $p = HTML::Parser->new
       (
        xml_mode => 1,
        start_h =>
        [sub {
           my ($tagname, $attr) = @_;
           push @state, $tagname;
           if ("@state" eq "GROUPS GROUP") {
               $grp = $attr->{id};
           }        
           if ("@state" eq "GROUPS GROUP TITLE") {
               $$settings{$grp}{title} = $attr->{value};
           } elsif ("@state" eq "GROUPS GROUP FLAGS ISAVAILABLE") {  
               $$settings{$grp}{isavailable} = $attr->{value};
           } elsif ("@state" eq "GROUPS GROUP FLAGS HASCHATROOM") {  
               $$settings{$grp}{chat} = $attr->{value};
           } elsif ("@state" eq "GROUPS GROUP FLAGS HASDISCUSSIONBOARD") {
               $$settings{$grp}{discussion} = $attr->{value};
           } elsif ("@state" eq "GROUPS GROUP FLAGS HASTRANSFERAREA") {
               $$settings{$grp}{transfer} = $attr->{value};
           } elsif ("@state" eq "GROUPS GROUP FLAGS ISPUBLIC") {
               $$settings{$grp}{public} = $attr->{value};
           }
        }, "tagname, attr"],
        text_h =>
        [sub {
           my ($text) = @_;
           if ("@state" eq "GROUPS DESCRIPTION") {
             $$settings{$grp}{description} = $text;
   #          print "Staff text is $text\n";
           }
         }, "dtext"],
        end_h =>
        [sub {
           my ($tagname) = @_;
           pop @state;
        }, "tagname"],
       );
     $p->unbroken_text(1);
     $p->parse_file($xmlfile);
     $p->eof;
   }
   
   # ---------------------------------------------------------------- Process Blackboard Staff
   sub process_staff {
     my ($res,$docroot,$dirname,$destdir,$settings,$resrcfiles) = @_;
     my $xmlfile = $docroot.'/'.$res.".dat";
     my $filecount = 0;
     my @state;
     %{$$settings{name}} = ();
     %{$$settings{office}} = ();  
   
     my $p = HTML::Parser->new
       (
        xml_mode => 1,
        start_h =>
        [sub {
           my ($tagname, $attr) = @_;
           push @state, $tagname;
           if ("@state" eq "STAFFINFO TITLE") {
               $$settings{title} = $attr->{value};
           } elsif ("@state" eq "STAFFINFO BIOGRAPHY TEXTCOLOR") {
               $$settings{textcolor} = $attr->{value};
           } elsif ("@state" eq "STAFFINFO BIOGRAPHY FLAGS ISHTML") {
               $$settings{ishtml} = $attr->{value};
           } elsif ("@state" eq "STAFFINFO FLAGS ISAVAILABLE" ) {
               $$settings{isavailable} = $attr->{value};
           } elsif ("@state" eq "STAFFINFO FLAGS ISFOLDER" ) {
               $$settings{isfolder} = $attr->{value};
           } elsif ("@state" eq "STAFFINFO POSITION" ) {
               $$settings{position} = $attr->{value};
           } elsif ("@state" eq "STAFFINFO HOMEPAGE" ) {
               $$settings{homepage} = $attr->{value};
           } elsif ("@state" eq "STAFFINFO IMAGE") {
               $$settings{image} = $attr->{value};
           }
        }, "tagname, attr"],
        text_h =>
        [sub {
           my ($text) = @_;
           if ("@state" eq "STAFFINFO BIOGRAPHY TEXT") {
             $$settings{text} = $text;
   #          print "Staff text is $text\n";
           } elsif ("@state" eq "STAFFINFO CONTACT PHONE") {
             $$settings{phone} = $text;
           } elsif ("@state" eq "STAFFINFO CONTACT EMAIL") {
             $$settings{email} = $text;
           } elsif ("@state" eq "STAFFINFO CONTACT NAME FORMALTITLE") {
             $$settings{name}{formaltitle} = $text;
           } elsif ("@state" eq "STAFFINFO CONTACT NAME FAMILY") {
             $$settings{name}{family} = $text;
           } elsif ("@state" eq "STAFFINFO CONTACT NAME GIVEN") {
             $$settings{name}{given} = $text;
           } elsif ("@state" eq "STAFFINFO CONTACT OFFICE HOURS") {
             $$settings{office}{hours} = $text;
           }  elsif ("@state" eq "STAFFINFO CONTACT OFFICE ADDRESS") {
             $$settings{office}{address} = $text;
           }        
         }, "dtext"],
        end_h =>
        [sub {
           my ($tagname) = @_;
           pop @state;
        }, "tagname"],
       );
     $p->unbroken_text(1);
     $p->parse_file($xmlfile);
     $p->eof;
   
       my $fontcol = '';
       if (defined($$settings{textcolor})) {
           $fontcol =  qq|color="$$settings{textcolor}"|;
       }
       if (defined($$settings{text})) {
           if ($$settings{ishtml} eq "true") {
               $$settings{text} = &HTML::Entities::decode($$settings{text});
           }
       }
       my $staffentry = qq|
   <table border="0" cellpadding="0" cellspacing="0" width="100%">
     <tr>
       <td colspan="2"><hr /><font face="arial,helv" size="3"><b>$$settings{name}{formaltitle} $$settings{name}{given} $$settings{name}{family}</b></font>
       </td>
     </tr>
     <tr>
       <td valign="top">
         <table width="100% border="0" cols="2" cellpadding="0" cellspacing="0">|;
       if ( defined($$settings{email}) && $$settings{email} ne '') {
           $staffentry .= qq|
           <tr>
             <td width="100" valign="top">
              <font face="arial" size="2"><b>Email:</b></font>
             </td>
             <td>
              <font face="arial" size="2"><a href="mailto:$$settings{email}">$$settings{email}</a></font>
             </td>
           </tr>
           |;
       }
       if (defined($$settings{phone}) && $$settings{phone} ne '') {
           $staffentry .= qq|
           <tr>
             <td width="100" valign="top">
               <font face="arial" size="2"><b>Phone:</b></font>
             </td>
             <td>
               <font face="arial" size="2">$$settings{phone}</font>
             </td>
           </tr>
           |;
       }
       if (defined($$settings{office}{address}) && $$settings{office}{address} ne '') {
           $staffentry .= qq|
           <tr>
            <td width="100" valign="top">
              <font face="arial" size="2"><b>Address:</b></font>
            </td>
            <td>
              <font face="arial" size="2">$$settings{office}{address}</font>
            </td>
           </tr>
           |;
       }
       if (defined($$settings{office}{hours}) && $$settings{office}{hours} ne '') {
           $staffentry .= qq|
           <tr>
             <td width="100" valign="top">
               <font face="arial" size="2"><b>Office Hours:</b></font>
             </td>
             <td>
               <font face=arial size=2>$$settings{office}{hours}</font>
             </td>
           </tr>
           |;
       }
       if ( defined($$settings{homepage}) && $$settings{homepage} ne '') {
           $staffentry .= qq|
           <tr>
             <td width="100" valign="top">
               <font face="arial" size="2"><b>Personal Link:</b></font>
             </td>
             <td>
               <font face="arial" size="2"><a href="$$settings{homepage}">$$settings{homepage}</a></font>
             </td>
           </tr>
           |;
       }
       if (defined($$settings{text}) && $$settings{text} ne '') {
           $staffentry .= qq|
           <tr>
             <td colspan="2">
               <font face="arial" size="2" $fontcol><b>Other Information:</b><br/>$$settings{text}</font>
             </td>
           </tr>
           |;
        }
        $staffentry .= qq|
         </table>
       </td>
       <td align="right" valign="top">
        |;
        if ( defined($$settings{image}) ) {
            $staffentry .= qq|
         <img src="$dirname/resfiles/$res/$$settings{image}">
            |;
        }
        $staffentry .= qq|
       </td>
     </tr>
   </table>
       |;
       open(FILE,">$destdir/resfiles/$res.html");
       push @{$resrcfiles}, "$res.html";
       print FILE qq|<html>
   <head>
   <title>$$settings{title}</title>
   </head>
   <body bgcolor='#ffffff'>
   $staffentry
   </body>
   </html>|;
       close(FILE);
   }
   
   # ---------------------------------------------------------------- Process Blackboard Links
   sub process_link {
       my ($res,$docroot,$dirname,$destdir,$settings,$resrcfiles) = @_;
       my $xmlfile = $docroot.'/'.$res.".dat";
       my @state = ();
       my $p = HTML::Parser->new
       (
           xml_mode => 1,
           start_h =>
           [sub {
               my ($tagname, $attr) = @_;
               push @state, $tagname;
               if ("@state" eq "EXTERNALLINK TITLE") {
                   $$settings{title} = $attr->{value};
               } elsif ("@state" eq "EXTERNALLINK TEXTCOLOR") {  
                   $$settings{textcolor} = $attr->{value};
               } elsif ("@state" eq "EXTERNALLINK DESCRIPTION FLAGS ISHTML") {  
                   $$settings{ishtml} = $attr->{value};                               
               } elsif ("@state" eq "EXTERNALLINK FLAGS ISAVAILABLE" ) {
                   $$settings{isavailable} = $attr->{value};
               } elsif ("@state" eq "EXTERNALLINK FLAGS LAUNCHINNEWWINDOW" ) {
                   $$settings{newwindow} = $attr->{value};
               } elsif ("@state" eq "EXTERNALLINK FLAGS ISFOLDER" ) {
                   $$settings{isfolder} = $attr->{value};
               } elsif ("@state" eq "EXTERNALLINK POSITION" ) {
                   $$settings{position} = $attr->{value};
               } elsif ("@state" eq "EXTERNALLINK URL" ) {
                   $$settings{url} = $attr->{value};
               }
           }, "tagname, attr"],
           text_h =>
           [sub {
               my ($text) = @_;
               if ("@state" eq "EXTERNALLINK DESCRIPTION TEXT") {
                  $$settings{text} = $text;
               }
           }, "dtext"],
           end_h =>
           [sub {
               my ($tagname) = @_;
               pop @state;
           }, "tagname"],
       );
       $p->unbroken_text(1);
       $p->parse_file($xmlfile);
       $p->eof;
   
       my $linktag = '';
       my $fontcol = '';
       if (defined($$settings{textcolor})) {
           $fontcol =  qq|<font color="$$settings{textcolor}">|;
       }
       if (defined($$settings{text})) {
           if ($$settings{ishtml} eq "true") {
               $$settings{text} = &HTML::Entities::decode($$settings{text});
           }
       }
   
       if (defined($$settings{url}) ) {
           $linktag = qq|<a href="$$settings{url}"|;
           if ($$settings{newwindow} eq "true") {
               $linktag .= qq| target="launch"|;
           }
           $linktag .= qq|>$$settings{title}</a>|;
       }
   
       open(FILE,">$destdir/resfiles/$res.html");
       push @{$resrcfiles}, "$res.html";
       print FILE qq|<html>
   <head>
   <title>$$settings{title}</title>
   </head>
   <body bgcolor='#ffffff'>
   $fontcol
   $linktag
   $$settings{text}
   |;
       if (defined($$settings{textcolor})) {
           print FILE qq|</font>|;
       }
       print FILE qq|
     </body>
    </html>|;
       close(FILE);
   }
   
   # ---------------------------------------------------------------- Process Blackboard Discussion Boards
   sub process_db {
       my ($res,$docroot,$destdir,$timestamp,$crs,$cdom,$handling,$uname,$settings,$longcrs) = @_;
       my $xmlfile = $docroot.'/'.$res.".dat";
       my @state = ();
       my @allmsgs = ();
       my %msgidx = ();
       my %threads; # all threads, keyed by message ID
       my $msg_id; # the current message ID
       my %message; # the current message being accumulated for $msg_id
   
       my $p = HTML::Parser->new
       (
          xml_mode => 1,
          start_h =>
          [sub {
              my ($tagname, $attr) = @_;
              push @state, $tagname;
              my $depth = 0;
              my @seq = ();
              if ("@state" eq "FORUM TITLE") {
                  $$settings{title} = $attr->{value};
              } elsif ("@state" eq "FORUM DESCRIPTION TEXTCOLOR") {  
                  $$settings{textcolor} = $attr->{value};
              } elsif ("@state" eq "FORUM DESCRIPTION FLAGS ISHTML") {  
                  $$settings{ishtml} = $attr->{value};
              } elsif ("@state" eq "FORUM DESCRIPTION FLAGS ISNEWLINELITERAL") {  
                  $$settings{newline} = $attr->{value};
              } elsif ("@state" eq "FORUM POSITION" ) {
                  $$settings{position} = $attr->{value};
              } elsif ("@state" eq "FORUM FLAGS ISREADONLY") {
                  $$settings{isreadonly} = $attr->{value};
              } elsif ("@state" eq "FORUM FLAGS ISAVAILABLE" ) {
                  $$settings{isavailable} = $attr->{value};
              } elsif ("@state" eq "FORUM FLAGS ALLOWANONYMOUSPOSTINGS" ) {
                  $$settings{allowanon} = $attr->{value};
              } elsif ( ($state[0] eq "FORUM") && ($state[1] eq "MESSAGETHREADS") && ($state[2] eq "MSG") ) {
                  if ($state[-1] eq "MSG") {
                      unless ($msg_id eq '') {
                          push @{$threads{$msg_id}}, { %message };
                          $depth = @state - 3;
                          if ($depth > @seq) {
                              push @seq, $msg_id; 
                          }
                      }
                      if ($depth < @seq) {
                          pop @seq;
                      }                
                      $msg_id = $attr->{id};
                      push @allmsgs, $msg_id;
                      $msgidx{$msg_id} = @allmsgs;
                      %message = ();
                      $message{depth} = $depth;
                      if ($depth > 0) {
                          $message{parent} = $seq[-1];
                      } else {
                          $message{parent} = "None";
                      }
                  } elsif ($state[-1] eq "TITLE") {
                      $message{title} = $attr->{value};
                  } elsif ( ( $state[-3] eq "MESSAGETEXT" ) && ( $state[-2] eq "FLAGS" ) && ( $state[-1] eq "ISHTML" ) ) {
                      $message{ishtml} = $attr->{value};
                  } elsif ( ( $state[-3] eq "MESSAGETEXT" ) && ( $state[-2] eq "FLAGS" ) && ( $state[-1] eq "ISNEWLINELITERAL" ) ) {
                      $message{newline} = $attr->{value};
                  } elsif ( ( $state[-2] eq "DATES" ) && ( $state[-1] eq "CREATED" ) ) {
                      $message{created} = $attr->{value};
                  } elsif ( $state[@state-2] eq "FLAGS") {
                      if ($state[@state-1] eq "ISANONYMOUS") {
                          $message{isanonymous} =  $attr->{value};
                      }
                  } elsif ( $state[-2] eq "USER" ) {
                      if ($state[-1] eq "USERID") {
                          $message{userid} =  $attr->{value};
                      } elsif ($state[@state-1] eq "USERNAME") {
                          $message{username} =  $attr->{value};
                      } elsif ($state[@state-1] eq "EMAIL") {
                          $message{email} =  $attr->{value};
                      }          
                  } elsif ( ($state[-2] eq "FILELIST") && ($state[-1] eq "IMAGE") ) {
                      $message{attachment} = $attr->{value};
                  }
              }
          }, "tagname, attr"],
          text_h =>
          [sub {
              my ($text) = @_;
              if ("@state" eq "FORUM DESCRIPTION TEXT") {
                  $$settings{text} = $text;
              } elsif ( ($state[0] eq "FORUM") && ($state[1] eq "MESSAGETHREADS") && ($state[2] eq "MSG") ) {
                  if ( ($state[-2] eq "MESSAGETEXT") && ($state[-1] eq "TEXT") ){
                      $message{text} = $text;
                  }
              }
          }, "dtext"],
          end_h =>
          [sub {
              my ($tagname) = @_;
              if ( $state[-1] eq "MESSAGETHREADS" ) {
                  push @{$threads{$msg_id}}, { %message };
              }
              pop @state;
          }, "tagname"],
       );
       $p->unbroken_text(1);
       $p->parse_file($xmlfile);
       $p->eof;
   
       if (defined($$settings{text})) {
           if ($$settings{ishtml} eq "false") {
               if ($$settings{isnewline} eq "true") {
                   $$settings{text} =~ s#\n#<br/>#g;
               }
           } else {
               $$settings{text} = &HTML::Entities::decode($$settings{text});
           }
           if (defined($$settings{fontcolor}) ) {
               $$settings{text} = "<font color=\"".$$settings{textcolor}."\">".$$settings{text}."</font>";
           }
       }
       my $boardname = 'bulletinpage_'.$timestamp;
       my %boardinfo = (
                     'aaa_title' => $$settings{title},
                     'bbb_content' => $$settings{text},
                     'ccc_webreferences' => '',
                     'uploaded.lastmodified' => time,
                     );
     
       my $putresult = &Apache::lonnet::put($boardname,\%boardinfo,$cdom,$crs);
       if ($handling eq 'importall') {
           foreach my $msg_id (@allmsgs) {
               foreach my $message ( @{$threads{$msg_id}} ) {
                   my %contrib = (
                               'sendername' => $$message{userid},
                               'senderdomain' => $cdom,
                               'screenname' => '',
                               'plainname' => $$message{username},
                               );
                   unless ($$message{parent} eq 'None') {
                       $contrib{replyto} = $msgidx{$$message{parent}};
                   }
                   if (defined($$message{isanonymous}) ) {
                       if ($$message{isanonymous} eq 'true') {
                           $contrib{'anonymous'} = 'true';
                       }
                   }
                   if ( defined($$message{attachment}) )  {
                       my $url = $$message{attachment};
                       my $oldurl = $url;
                       my $newurl = $url;
                       unless ($url eq '') {
                           $newurl =~ s/\//_/g;
                           unless ($longcrs eq '') {
                               if (!-e "/home/httpd/lonUsers/$cdom/$longcrs/userfiles") {
                                   mkdir("/home/httpd/lonUsers/$cdom/$longcrs/userfiles",0755);
                               }
                               if (!-e "/home/httpd/lonUsers/$cdom/$longcrs/userfiles/$newurl") {
                                   system("cp $destdir/resfiles/$res/$$message{attachment} /home/httpd/lonUsers/$cdom/$longcrs/userfiles/$newurl");
                               }
                               $contrib{attachmenturl} = '/uploaded/'.$cdom.'/'.$crs.'/'.$newurl;
                         }                          }
                     }                      }
                     my $filepath = $file;                  }
                     while ($filepath =~ m-(\w+)/(.+)-) {                  if (defined($$message{title}) ) {
                         $filepath = $2;                      $contrib{'message'} = $$message{title};
                         if (!-e "$destdir/resfiles/$key/$1") {                  }
                             mkdir("$destdir/resfiles/$key/$1",0755);                  if (defined($$message{text})) {
                       if ($$message{ishtml} eq "false") {
                           if ($$message{isnewline} eq "true") {
                               $$message{text} =~ s#\n#<br/>#g;
                           }
                       } else {
                           $$message{text} = &HTML::Entities::decode($$message{text});
                       }
                       $contrib{'message'} .= '<br /><br />'.$$message{text};
                       my $symb = 'bulletin___'.$timestamp.'___adm/wrapper/adm/'.$cdom.'/'.$uname.'/'.$timestamp.'/bulletinboard';
                       my $postresult = &addposting($symb,\%contrib,$cdom,$crs);
                   }
               }
           }
       }
   }
   
   # ---------------------------------------------------------------- Add Posting to Bulletin Board
   sub addposting {
       my ($symb,$contrib,$cdom,$crs)=@_;
       my $status='';
       if (($symb) && ($$contrib{message})) {
            my $crsdom = $cdom.'_'.$crs;
            &Apache::lonnet::store($contrib,$symb,$crsdom,$cdom,$crs);
            my %storenewentry=($symb => time);
            &Apache::lonnet::put('discussiontimes',\%storenewentry,$cdom,$crs);
       }
       my %record=&Apache::lonnet::restore('_discussion');
       my ($temp)=keys %record;
       unless ($temp=~/^error\:/) {
           my %newrecord=();
           $newrecord{'resource'}=$symb;
           $newrecord{'subnumber'}=$record{'subnumber'}+1;
           &Apache::lonnet::cstore(\%newrecord,'_discussion');
           $status = 'ok';
       } else {
           $status.='Failed.';
       }
       return $status;
   }
   # ---------------------------------------------------------------- Process Blackboard Assessments - pools, quizzes, surveys
   sub process_assessment {
       my ($context,$res,$docroot,$container,$dirname,$destdir,$settings,$total,$udom,$uname,$pagesfiles,$sequencesfiles) = @_;
       my $xmlfile = $docroot.'/'.$res.".dat";
   #  print "XML file is $xmlfile\n";
       my @state = ();
       my @allids = ();
       my %allanswers = ();
       my %allchoices = ();
       my $resdir = '';
       if ($docroot =~ m|public_html/(.+)$|) {
           $resdir = $1;
       }
       my $id; # the current question ID
       my $answer_id; # the current answer ID
       my %toptag = ( pool => 'POOL',
                    quiz => 'ASSESSMENT',
                    survey => 'ASSESSMENT'
                  );
   
       my $p = HTML::Parser->new
       (
        xml_mode => 1,
        start_h =>
        [sub {
           my ($tagname, $attr) = @_;
           push @state, $tagname;
           my $depth = 0;
           my @seq = ();
           my $class;
           my $state_str = join(" ",@state);
           if ($container eq "pool") {
               if ("@state" eq "POOL TITLE") {
                   $$settings{title} = $attr->{value};
               }
           } else {
               if ("@state" eq "ASSESSMENT TITLE") {  
                   $$settings{title} = $attr->{value};          
               } elsif ("@state" eq "ASSESSMENT FLAG" ) {
                   $$settings{isnewline} = $attr->{value};
               } elsif ("@state" eq "ASSESSMENT FLAGS ISAVAILABLE") {
                   $$settings{isavailable} = $attr->{value};
               } elsif ("@state" eq "ASSESSMENT FLAGS ISANONYMOUS" ) {
                   $$settings{isanonymous} = $attr->{id};
               } elsif ("@state" eq "ASSESSMENT FLAGS GIVE FEEDBACK" ) {
                   $$settings{feedback} = $attr->{id};        
               } elsif ("@state" eq "ASSESSMENT FLAGS SHOWCORRECT" ) {
                   $$settings{showcorrect} = $attr->{id};        
               } elsif ("@state" eq "ASSESSMENT FLAGS SHOWRESULTS" ) {
                   $$settings{showresults} = $attr->{id};        
               } elsif ("@state" eq "ASSESSMENT FLAGS ALLOWMULTIPLE" ) {
                   $$settings{allowmultiple} = $attr->{id};        
               } elsif ("@state" eq "ASSESSMENT ASSESSMENTTYPE" ) {
                   $$settings{type} = $attr->{id};        
               }
           }    
           if ("@state" eq "$toptag{$container} QUESTIONLIST QUESTION") {  
               $id = $attr->{id};
               push @allids, $id;
               %{$$settings{$id}} = ();
               @{$allanswers{$id}} = ();
               $$settings{$id}{class} = $attr->{class};
               unless ($container eq "pool") {
                   $$settings{$id}{points} = $attr->{points};
               }
               @{$$settings{$id}{correctanswer}} = ();                              
           } elsif ( ($state[0] eq $toptag{$container}) && ($state[-1] =~ m/^QUESTION_(\w+)$/) ) {
               $id = $attr->{id};
           } elsif ( ($state[0] eq $toptag{$container}) && ($state[1] =~ m/^QUESTION_(\w+)$/) && ($state[2] eq "BODY") && ($state[3] eq "FLAGS") ) {
               if ($state[4] eq "ISHTML") {
                   $$settings{$id}{html} = $attr->{value};
               } elsif ($state[4] eq "ISNEWLINELITERAL") {
                   $$settings{$id}{newline} = $attr->{value};
               }
           } elsif ( ($state[0] eq $toptag{$container}) && ($state[1] =~ m/^QUESTION_(\w+)$/) && ($state[2] eq "IMAGE") ) {
               $$settings{$id}{image} = $attr->{value};
               $$settings{$id}{style} = $attr->{style};
           } elsif ( ($state[0] eq $toptag{$container}) && ($state[1] =~ m/^QUESTION_(\w+)$/) && ($state[2] eq "URL") ) {
               $$settings{$id}{url} = $attr->{value};
               $$settings{$id}{name} = $attr->{name};
           } elsif ( ($state[0] eq $toptag{$container}) && ($state[1] =~ m/^QUESTION_(\w+)$/) && ($state[-1] eq "ANSWER") ) {
               $answer_id = $attr->{id};
               push @{$allanswers{$id}},$answer_id;
               %{$$settings{$id}{$answer_id}} = ();
               $$settings{$id}{$answer_id}{position} = $attr->{position};
               if ($$settings{$id}{class} eq 'QUESTION_MATCH') {
                   $$settings{$id}{$answer_id}{placement} = $attr->{placement};
                   $$settings{$id}{$answer_id}{type} = 'answer';
               }
           } elsif ( ($state[0] eq $toptag{$container}) && ($state[1] =~ m/^QUESTION_(\w+)$/) && ($state[-1] eq "CHOICE") ) {
               $answer_id = $attr->{id};
               push @{$allchoices{$id}},$answer_id; 
               %{$$settings{$id}{$answer_id}} = ();
               $$settings{$id}{$answer_id}{position} = $attr->{position};
               $$settings{$id}{$answer_id}{placement} = $attr->{placement};
               $$settings{$id}{$answer_id}{type} = 'choice';
           } elsif ( ($state[0] eq $toptag{$container}) && ($state[1] =~ m/^QUESTION_(\w+)$/) && ($state[2] eq "ANSWER") ) {
               if ($state[3] eq "IMAGE") {
                   $$settings{$id}{$answer_id}{image} = $attr->{value};
                   $$settings{$id}{$answer_id}{style} = $attr->{style};
               } elsif ($state[3] eq "URL") {
                   $$settings{$id}{$answer_id}{url} = $attr->{value};
               }
           } elsif ( ($state[0] eq $toptag{$container}) && ($state[1] =~ m/^QUESTION_(\w+)$/) && ($state[2] eq "CHOICE") ) {
               if ($state[3] eq "IMAGE") {
                   $$settings{$id}{$answer_id}{image} = $attr->{value};
                   $$settings{$id}{$answer_id}{style} = $attr->{style};
               } elsif ($state[3] eq "URL") {
                   $$settings{$id}{$answer_id}{url} = $attr->{value};
               }
           } elsif ( ($state[0] eq $toptag{$container}) && ($state[1] =~ m/^QUESTION_(\w+)$/) && ($state[2] eq "GRADABLE") && ($state[3] eq "CORRECTANSWER") ) {
               my $corr_answer = $attr->{answer_id};
               push @{$$settings{$id}{correctanswer}}, $corr_answer;
               my $type = $1;
               if ($type eq 'TRUEFALSE') {
                   $$settings{$id}{$corr_answer}{answer_position} = $attr->{position};
               } elsif ($type eq 'ORDER') {
                   $$settings{$id}{$corr_answer}{order} = $attr->{order};
               } elsif ($type eq 'MATCH') {
                   $$settings{$id}{$corr_answer}{choice_id} = $attr->{choice_id};
               }
           }
        }, "tagname, attr"],
        text_h =>
        [sub {
           my ($text) = @_;
           unless ($container eq "pool") {        
               if ("@state" eq "ASSESSMENT DESCRIPTION TEXT") {
                   $$settings{description} = $text;
               } elsif ("@state" eq "ASSESSMENT INSTRUCTIONS ") {
                   $$settings{instructions}{text} = $text;
               }
           }
           if ( ($state[0] eq $toptag{$container}) && ($state[1] =~ m/^QUESTION_(\w+)$/) && ($state[2] eq "BODY") && ($state[3] eq "TEXT") ) {
               $$settings{$id}{text} = $text;
           } elsif ( ($state[0] eq $toptag{$container}) && ($state[1] =~ m/^QUESTION_(\w+)$/) && ($state[2] eq "ANSWER") && ($state[3] eq "TEXT") ) {
               $$settings{$id}{$answer_id}{text} = $text;
           } elsif ( ($state[0] eq $toptag{$container}) && ($state[1] =~ m/^QUESTION_(\w+)$/) && ($state[2] eq "CHOICE") && ($state[3] eq "TEXT") ) {
               $$settings{$id}{$answer_id}{text} = $text;            
           } elsif ( ($state[0] eq $toptag{$container}) && ($state[1] =~ m/^QUESTION_(\w+)$/) && ($state[2] eq "GRADABLE") && ($state[3] eq "FEEDBACK_WHEN_CORRECT") ) {
               $$settings{$id}{feedback_corr} = $text;
           } elsif ( ($state[0] eq $toptag{$container}) && ($state[1] =~ m/^QUESTION_(\w+)$/) && ($state[2] eq "GRADABLE") && ($state[3] eq "FEEDBACK_WHEN_INCORRECT") ) {
               $$settings{$id}{feedback_incorr} = $text;       
           }
         }, "dtext"],
        end_h =>
        [sub {
           my ($tagname) = @_;
           pop @state;
        }, "tagname"],
       );
       $p->unbroken_text(1);
       $p->parse_file($xmlfile);
       $p->eof;
   
       my $dirtitle = $$settings{'title'};
       $dirtitle =~ s/\W//g;
       $dirtitle .= '_'.$res;
       if (!-e "$destdir/problems") {
           mkdir("$destdir/problems",0755);
       }
       if (!-e "$destdir/problems/$dirtitle") {
           mkdir("$destdir/problems/$dirtitle",0755);
       }
       my $newdir = "$destdir/problems/$dirtitle";
       my $seqdir = "$destdir/sequences";
       my $pagedir = "$destdir/pages";
       my $curr_id = 0;
       my $next_id = 1;
       my $fh;
       my $containerdir;
       if ($container eq 'pool') {
           $containerdir = $seqdir.'/'.$res.'.sequence';
           if (!-e "$seqdir") {
               mkdir("$seqdir",0770);
           }
           open($fh,">$containerdir");
           $$total{seq} ++;
           push @{$sequencesfiles},$res.'.sequence';
       } else {
           $containerdir = $pagedir.'/'.$res.'.page';
           if (!-e "$destdir/pages") {
               mkdir("$destdir/pages",0770);
           }
           open($fh,">$containerdir");
           $$total{page} ++;
           push @{$pagesfiles},$res.'.page';
       }
       print $fh qq|<map>
   |;
       my $probsrc="/res/$udom/$uname/$resdir/problems/$dirtitle/$allids[0].problem";
       print $fh qq|<resource id="1" src="$probsrc" type="start" title="question_0001"></resource>|;
       if (@allids == 1) {
           print $fh qq|
   <link from="1" to="2" index="1"></link>
   <resource id="2" src="" type="finish">\n|;
       } else {
           for (my $j=1; $j<@allids; $j++) {
               my $qntitle = $j;
               while (length($qntitle) <4) {
                   $qntitle = '0'.$qntitle;
               }
               $curr_id = $j;
               $next_id = $curr_id + 1;
               if ($context eq 'CSTR') {
                   $probsrc = "/res/$udom/$uname/$resdir/problems/$dirtitle/$allids[$j].problem";
               }
               print $fh qq|
   <link from="$curr_id" to="$next_id" index="$curr_id"></link>
   <resource id="$next_id" src="$probsrc" title="question_$qntitle"|;
               if ($next_id == @allids) {
                   print $fh qq| type="finish"></resource>\n|;
               } else {
                   print $fh qq|></resource>|;
               }
           }
       }
       print $fh qq|</map>|;
       close($fh);
       foreach my $id (@allids) {
           my $output;
           if ($context eq 'CSTR') {
               $output = qq|<problem>
   |;
           }
           $$total{prob} ++;
           if ($$settings{$id}{class} eq "QUESTION_ESSAY") {
               if ($context eq 'CSTR') {
                   $output .= qq|<startouttext />$$settings{$id}{text}<endouttext />
    <essayresponse>
    <textfield></textfield>
    </essayresponse>
    <postanswerdate>
    $$settings{$id}{feedbackcorr}
    </postanswerdate>
   |;
                }
           } else {
               if ($context eq 'CSTR') {
                   $output .= qq|<startouttext />$$settings{$id}{text}\n|;
               }
               my ($image,$imglink,$url);
               if ( defined($$settings{$id}{image}) ) {
                   if ( $$settings{$id}{style} eq 'embed' ) {
                       $image = qq|<br /><img src="$dirname/resfiles/$res/$$settings{$id}{image}" /><br />|;
                   } else {
                       $imglink = qq|<br /><a href="$dirname/resfiles/$res/$$settings{$id}{image}">Link to file</a><br />|;
                   }
               }
               if ( defined($$settings{$id}{url}) ) {
                   $url = qq|<br /><a href="$$settings{$id}{url}">$$settings{$id}{name}</a><br />|;
               }
               if ($context eq 'CSTR') {
                   $output .= $image.$imglink.$url.'
   <endouttext />';
               }
               if ($$settings{$id}{class} eq 'QUESTION_MULTIPLECHOICE') {
                   my $numfoils = @{$allanswers{$id}};
                   if ($context eq 'CSTR') {
                       $output .= qq|
    <radiobuttonresponse max="$numfoils" randomize="yes">
     <foilgroup>
   |;
                   }
                   for (my $k=0; $k<@{$allanswers{$id}}; $k++) {
                       $output .= "   <foil name=\"foil".$k."\" value=\"";
                       if (grep/^$allanswers{$id}[$k]$/,@{$$settings{$id}{correctanswer}}) {
                           $output .= "true\" location=\"";
                       } else {
                           $output .= "false\" location=\"";
                       }
                       if (lc ($allanswers{$id}[$k]) =~ m/^\s?([Aa]ll)|([Nn]one)\sof\sthe\sabove\.?/) {
                           $output .= "bottom\"";
                       } else {
                           $output .= "random\"";
                       }
                       $output .= "\><startouttext />".$$settings{$id}{$allanswers{$id}[$k]}{text};
                       my ($ans_image,$ans_link);
                       if ( defined($$settings{$id}{$allanswers{$id}[$k]}{image}) ) {
                           if ( $$settings{$id}{$allanswers{$id}[$k]}{style} eq 'embed' ) {
                               $ans_image .= qq|<br /><img src="$dirname/resfiles/$res/$$settings{$id}{$allanswers{$id}[$k]}{image}" /><br />|;
                           } else {
                               $ans_link .= qq|<br /><a href="$dirname/resfiles/$res/$$settings{$id}{$allanswers{$id}[$k]}{image}" />Link to file</a><br/>|;
                           }
                       }
                       $output .= $ans_image.$ans_link.'<endouttext /></foil>'."\n";
                   }
                   if ($context eq 'CSTR') {
                       chomp($output);
                       $output .= qq|
     </foilgroup>
    </radiobuttonresponse>
   |;
                   }
               } elsif ($$settings{$id}{class} eq 'QUESTION_TRUEFALSE') {
                   my $numfoils = @{$allanswers{$id}};
                   if ($context eq 'CSTR') {
                       $output .= qq|
      <radiobuttonresponse max="$numfoils" randomize="yes">
       <foilgroup>
   |;
                   }
                   for (my $k=0; $k<@{$allanswers{$id}}; $k++) {
                       $output .= "   <foil name=\"foil".$k."\" value=\"";
                       if (grep/^$allanswers{$id}[$k]$/,@{$$settings{$id}{correctanswer}}) {
                           $output .= "true\" location=\"random\"";
                       } else {
                           $output .= "false\" location=\"random\"";
                       }
                       $output .= "\><startouttext />".$$settings{$id}{$allanswers{$id}[$k]}{text}."<endouttext /></foil>\n";
                   }
                   if ($context eq 'CSTR') {
                       chomp($output);
                       $output .= qq|
       </foilgroup>
      </radiobuttonresponse>
   |;
                   }
               } elsif ($$settings{$id}{class} eq 'QUESTION_MULTIPLEANSWER') {
                   my $numfoils = @{$allanswers{$id}};
                   if ($context eq 'CSTR') {
                       $output .= qq|
      <optionresponse max="$numfoils" randomize="yes">
       <foilgroup options="('True','False')">
   |;
                   }
                   for (my $k=0; $k<@{$allanswers{$id}}; $k++) {
                       $output .= "   <foil name=\"foil".$k."\" value=\"";
                       if (grep/^$allanswers{$id}[$k]$/,@{$$settings{$id}{correctanswer}}) {
                           $output .= "True\"";
                       } else {
                           $output .= "False\"";
                       }
                       $output .= "\><startouttext />".$$settings{$id}{$allanswers{$id}[$k]}{text}."<endouttext /></foil>\n";
                   }
                   if ($context eq 'CSTR') {  
                       chomp($output);
                       $output .= qq|
       </foilgroup>
      </optionresponse>
   |;
                   }
               } elsif ($$settings{$id}{class} eq 'QUESTION_ORDER') {
                   my $numfoils = @{$allanswers{$id}};
                   if ($context eq 'CSTR') {
                       $output .= qq|
      <rankresponse max="$numfoils" randomize="yes">
       <foilgroup>
   |;
                   }
                   for (my $k=0; $k<@{$allanswers{$id}}; $k++) {
                       if ($context eq 'CSTR') {
                           $output .= "   <foil location=\"random\" name=\"foil".$k."\" value=\"".$$settings{$id}{$allanswers{$id}[$k]}{order}."\"><startouttext />".$$settings{$id}{$allanswers{$id}[$k]}{text}."<endouttext /></foil>\n";
                       }
                   }
                   if ($context eq 'CSTR') {
                       chomp($output);
                       $output .= qq|
       </foilgroup>
      </rankresponse>
   |;
                   }
               } elsif ($$settings{$id}{class} eq 'QUESTION_FILLINBLANK') {
                   my $numerical = 1;
                   if ($context eq 'DOCS') {
                       $numerical = 0;
                   } else {
                       for (my $k=0; $k<@{$allanswers{$id}}; $k++) {
                           if ($$settings{$id}{$allanswers{$id}[$k]}{text} =~ m/([^\d\.]|\.\.)/) {
                               $numerical = 0;
                           }
                       }
                   }
                   if ($numerical) {
                       my $numans;
                       my $tol;
                       if (@{$allanswers{$id}} == 1) {
                           $tol = 5;
                           $numans = $$settings{$id}{$allanswers{$id}[0]}{text};
                       } else {
                           my $min = $$settings{$id}{$allanswers{$id}[0]}{text};
                           my $max = $$settings{$id}{$allanswers{$id}[0]}{text};
                           for (my $k=1; $k<@{$allanswers{$id}}; $k++) {
                               if ($$settings{$id}{$allanswers{$id}[$k]}{text} <= $min) {
                                   $min = $$settings{$id}{$allanswers{$id}[$k]}{text};
                               }
                               if ($$settings{$id}{$allanswers{$id}[$k]}{text} >= $max) {
                                   $max = $$settings{$id}{$allanswers{$id}[$k]}{text};
                               }
                           }
                           $numans = ($max + $min)/2;
                           $tol = 100*($max - $min)/($numans*2);
                       }
                       if ($context eq 'CSTR') {
                           $output .= qq|
   <numericalresponse answer="$numans">
           <responseparam type="tolerance" default="$tol%" name="tol" description="Numerical Tolerance" />
           <responseparam name="sig" type="int_range,0-16" default="0,15" description="Significant Figures"
   />
           <textline />
   </numericalresponse>
   |;
                       }
                   } else {
                       if ($context eq 'CSTR') {
                           if (@{$allanswers{$id}} == 1) {
                               $output .= qq|
   <stringresponse answer="$$settings{$id}{$allanswers{$id}[0]}{text}" type="ci">
   <textline>
   </textline>
   </stringresponse>
   |;
                           } else {
                               my @answertext = ();
                               for (my $k=0; $k<@{$allanswers{$id}}; $k++) {
                                   $$settings{$id}{$allanswers{$id}[$k]}{text} =~ s/\|/\|/g;
                                   push @answertext, $$settings{$id}{$allanswers{$id}[$k]}{text};
                               }
                               my $regexpans = join('|',@answertext);
                               $regexpans = '/^('.$regexpans.')\b/';
                               $output .= qq|
   <stringresponse answer="$regexpans" type="re">
   <textline>
   </textline>
   </stringresponse>
   |;
                           }
                       } 
                   }
               } elsif ($$settings{$id}{class} eq "QUESTION_MATCH") {
                   if ($context eq 'CSTR') {
                       $output .= qq|
   <matchresponse max="10" randomize="yes">
       <foilgroup>
           <itemgroup>
   |;
                   }
                   for (my $k=0; $k<@{$allchoices{$id}}; $k++) {
                       if ($context eq 'CSTR') {
                           $output .= qq|
   <item name="$allchoices{$id}[$k]">
   <startouttext />$$settings{$id}{$allchoices{$id}[$k]}{text}<endouttext />
   </item>
                       |;
                       }
                   }
                   if ($context eq 'CSTR') {
                       $output .= qq|
           </itemgroup>
   |;
                   }
                   for (my $k=0; $k<@{$allanswers{$id}}; $k++) {
                       if ($context eq 'CSTR') {
                           $output .= qq|
           <foil location="random" value="$$settings{$id}{$allanswers{$id}[$k]}{choice_id}" name="$allanswers{$id}[$k]">
            <startouttext />$$settings{$id}{$allanswers{$id}[$k]}{text}<endouttext />
           </foil>
   |;
                       }
                   }
                   if ($context eq 'CSTR') {
                       $output .= qq|
       </foilgroup>
   </matchresponse>
   |;
                   }
               }
           }
           if ($context eq 'CSTR') {
               $output .= qq|</problem>
   |;
               open(PROB,">$newdir/$id.problem");
               print PROB $output;
               close PROB;
           }
       }
   }
   
   # ---------------------------------------------------------------- Process Blackboard Announcements
   sub process_announce {
       my ($res,$docroot,$destdir,$settings,$globalresref,$seqstem,$resrcfiles) = @_;
       my $xmlfile = $docroot.'/'.$res.".dat";
       my @state = ();
       my @assess = ();
       my $id;
       my $p = HTML::Parser->new
       (
        xml_mode => 1,
        start_h =>
        [sub {
           my ($tagname, $attr) = @_;
           push @state, $tagname;
           if ("@state" eq "ANNOUNCEMENT TITLE") {
               $$settings{title} = $attr->{value};
               $$settings{startassessment} = ();
           } elsif ("@state" eq "ANNOUNCEMENT DESCRIPTION FLAGS ISHTML") {  
               $$settings{ishtml} = $attr->{value};          
           } elsif ("@state" eq "ANNOUNCEMENT DESCRIPTION FLAGS ISNEWLINELITERAL" ) {
               $$settings{isnewline} = $attr->{value};
           } elsif ("@state" eq "ANNOUNCEMENT ISPERMANENT" ) {
               $$settings{ispermanent} = $attr->{value};
           } elsif ("@state" eq "ANNOUNCEMENT DATES UPDATED") {
               $$settings{dates} = $attr->{value}; 
           } elsif ("@state" eq "ANNOUNCEMENT FILES STARTASSESSMENT" ) {
               $id = $attr->{id};
               %{$$settings{startassessment}{$id}} = ();
               push @assess,$id;
           } elsif ("@state" eq "ANNOUNCEMENT FILES STARTASSESSMENT ATTRIB" ) {
               my $key = $attr->{key};
               $$settings{startassessment}{$id}{$key} = $attr->{value};
           }
        }, "tagname, attr"],
        text_h =>
        [sub {
           my ($text) = @_;
           if ("@state" eq "ANNOUNCEMENT DESCRIPTION TEXT") {
               $$settings{text} = $text;
           }
         }, "dtext"],
        end_h =>
        [sub {
           my ($tagname) = @_;
           pop @state;
        }, "tagname"],
       );
       $p->unbroken_text(1);
       $p->parse_file($xmlfile);
       $p->eof;
   
       if (defined($$settings{text})) {
           if ($$settings{ishtml} eq "false") {
               if ($$settings{isnewline} eq "true") {
                   $$settings{text} =~ s#\n#<br/>#g;
               }
           } else {
               $$settings{text} = &HTML::Entities::decode($$settings{text});
           }
       }
     
       if (@assess > 0) {
           foreach my $id (@assess) {
               $$settings{text} = "A $$settings{startassessment}{$id}{assessment_type}, entitled $$globalresref{$$settings{startassessment}{$id}{assessment_id}}{title} is available. Click <a href='$seqstem/pages/$$settings{startassessment}{$id}{assessment_id}.page' target='quizpage'>here</a> to enter the page that contains the problems in this assessment.";
           }
       }
   
       open(FILE,">$destdir/resfiles/$res.html");
       push @{$resrcfiles}, "$res.html";
       print FILE qq|<html>
   <head>
   <title>$$settings{title}</title>
   </head>
   <body bgcolor='#ffffff'>
   <table>
    <tr>
     <td bgcolor='#CCCCFF'>$$settings{title} - announcement date: $$settings{dates}</td>
    </tr>
   </table>
   <br/>
   $$settings{text}
   |;
       print FILE qq|
     </body>
    </html>|;
       close(FILE);
   }
   
   # ---------------------------------------------------------------- Process Blackboard Content
   sub process_content {
       my ($cms,$res,$context,$docroot,$destdir,$settings,$dom,$user,$resrcfiles,$packages,$hrefs) = @_;
       my $xmlfile = $docroot.'/'.$res.".dat";
       my $destresdir = $destdir;
       if ($context eq 'CSTR') {
           $destresdir =~ s|/home/$user/public_html/|/res/$dom/$user/|;
       } elsif ($context eq 'DOCS') {
           $destresdir =~ s|^/home/httpd/html/userfiles|/uploaded|;
       }
       my $filetag = '';
       if ($cms eq 'bb5') {
           $filetag = 'FILEREF';
       } elsif ($cms eq 'bb6') {
           $filetag = 'FILE';
       }
       my $filecount = 0;
       my @allrelfiles = ();
       my @state;
       @{$$settings{files}} = (); 
       my $p = HTML::Parser->new
       (
         xml_mode => 1,
         start_h =>
         [sub {
           my ($tagname, $attr) = @_;
           push @state, $tagname;
           if ("@state" eq "CONTENT ") {
               %{$$settings{maindata}} = ();
           } elsif ("@state" eq "CONTENT TITLECOLOR") {
               $$settings{titlecolor} =  $attr->{value};
           } elsif ("@state" eq "CONTENT MAINDATA TEXTCOLOR") {
               $$settings{maindata}{color} = $attr->{value};
           } elsif ("@state" eq "CONTENT MAINDATA FLAGS ISHTML") {  
               $$settings{maindata}{ishtml} = $attr->{value}; 
           } elsif ("@state" eq "CONTENT MAINDATA FLAGS ISNEWLINELITERAL") {  
               $$settings{maindata}{isnewline} = $attr->{value};
           } elsif ("@state" eq "CONTENT BODY TYPE") {
               $$settings{maindata}{bodytype} =  $attr->{value};
           } elsif ("@state" eq "CONTENT FLAGS ISAVAILABLE" ) {
               $$settings{isavailable} = $attr->{value};
           } elsif ("@state" eq "CONTENT FLAGS ISFOLDER" ) {
               $$settings{isfolder} = $attr->{value};
           } elsif ("@state" eq "CONTENT FLAGS LAUNCHINNEWWINDOW" ) {
               $$settings{newwindow} = $attr->{value};
           } elsif ("@state" eq "CONTENT FILES $filetag") {
               %{$$settings{files}[$filecount]} = ();
               %{$$settings{files}[$filecount]{registry}} = (); 
           } elsif ("@state" eq "CONTENT FILES FILEREF RELFILE" ) {
               $$settings{files}[$filecount]{'relfile'} = $attr->{value};
               push @allrelfiles, $attr->{value};
           } elsif ("@state" eq "CONTENT FILES $filetag MIMETYPE") {
               $$settings{files}[$filecount]{mimetype} = $attr->{value};
           } elsif ("@state" eq "CONTENT FILES $filetag CONTENTTYPE") {
               $$settings{files}[$filecount]{contenttype} = $attr->{value};
           } elsif ("@state" eq "CONTENT FILES $filetag FILEACTION") {
               $$settings{files}[$filecount]{fileaction} = $attr->{value};
           } elsif ("@state" eq "CONTENT FILES $filetag PACKAGEPARENT") {
               $$settings{files}[$filecount]{packageparent} = $attr->{value};
           } elsif ("@state" eq "CONTENT FILES $filetag LINKNAME") {
               $$settings{files}[$filecount]{linkname} = $attr->{value};
           } elsif ("@state" eq "CONTENT FILES $filetag REGISTRY REGISTRYENTRY") {
               my $key = $attr->{key};
               $$settings{files}[$filecount]{registry}{$key} = $attr->{value};
           }
         }, "tagname, attr"],
         text_h =>
         [sub {
           my ($text) = @_;
           if ("@state" eq "CONTENT TITLE") {
               $$settings{title} = $text;
           } elsif ( ("@state" eq "CONTENT MAINDATA TEXT") || ("@state" eq "CONTENT BODY TEXT") ) {
               $$settings{maindata}{text} = $text;
           }  elsif ("@state" eq "CONTENT FILES $filetag REFTEXT") {
               $$settings{files}[$filecount]{reftext} = $text;
           } elsif ("@state" eq "CONTENT FILES FILE NAME" ) {
               $$settings{files}[$filecount]{'relfile'} = $text;
               push @allrelfiles, $text;
           }
          }, "dtext"],
         end_h =>
         [sub {
           my ($tagname) = @_;
           if ("@state" eq "CONTENT FILES $filetag") {
               $filecount ++;
           }
           pop @state;
         }, "tagname"],
        );
       $p->unbroken_text(1);
       $p->parse_file($xmlfile);
       $p->eof;
       my $linktag = '';
       my $fontcol = '';
       if (@{$$settings{files}} > 0) {
           for (my $filecount=0;  $filecount<@{$$settings{files}}; $filecount++) {
               if ($$settings{files}[$filecount]{'fileaction'} eq 'embed') {
                   if ( $$settings{files}[$filecount]{reftext} =~ m#<\!\-\-\s_(\d+)\\_\s\-\-\>#) { 
                       my $newtag = qq|<img src="$destresdir/resfiles/$res/$$settings{files}[$filecount]{relfile}"/>|;
                       $$settings{maindata}{text} =~ s#<\!\-\-\s_/($1)\\_\s\-\-\>#$newtag#;
                   } elsif ( $$settings{files}[$filecount]{reftext} =~m#^_/(\d+)\\_$# ) {
                       my $reftag = $1;
                       my $newtag;
                       if ($$settings{files}[$filecount]{mimetype} =~ m/^image/) {
                           $newtag = qq|<img src="$destresdir/resfiles/$res/$$settings{files}[$filecount]{relfile}"|;
                           if ( defined($$settings{files}[$filecount]{registry}{alttext}) ) {
                               $newtag .= qq| alt="$$settings{files}[$filecount]{registry}{alttext}"|;
                           }
                           if ( defined($$settings{files}[$filecount]{registry}{alignment}) )
   {
                               $newtag .= qq| align="$$settings{files}[$filecount]{registry}{alignment}"|; 
                         }                          }
                           if ( defined($$settings{files}[$filecount]{registry}{border}) ) {
                               $newtag .= qq| border="$$settings{files}[$filecount]{registry}{border}"|;
                           }
                           $newtag .= " />";
                           my $reftext =  $$settings{files}[$filecount]{reftext};
                           my $fname = $$settings{files}[$filecount]{'relfile'};
                           $$settings{maindata}{text} =~ s/<!\-\-\sCOMMENT\sBLOCK\sFOR\sEMBEDDED\sFILE:\s$fname[\s\n]+DO\sNOT\sEDIT\sTHIS\sCOMMENT\sBLOCK[\s\n]+//;
   #                      $$settings{maindata}{text} =~ s/DO\sNOT\sEDIT\sTHIS\sCOMMENT\sBLOCK[\s\n]+//;
                           $$settings{maindata}{text} =~ s/Move\swhole\scomment\sto\schange\sfile\splacement\swithin\spage\.[\s\n]+//;
                           $$settings{maindata}{text} =~ s/_\/$reftag\\_/$newtag/;
                           $$settings{maindata}{text} =~ s/END\sOF\sBLOCK\sON\sNEXT\sLINE[\s\n]+//;
                           $$settings{maindata}{text} =~ s/\-\->//;
   #                      $$settings{maindata}{text} =~ s/<!\-\-\sCOMMENT\sBLOCK\sFOR\sEMBEDDED\sFILE:\s$fname[\s\n]+DO\sNOT\sEDIT\sTHIS\sCOMMENT\sBLOCK[\s\n\]+_\/$reftag\\_[\s\n]+END\sOF\sBLOCK\sON\sNEXT\sLINE[\s\n\]+\-\->/$newtag/;
   #                      print STDERR $$settings{maindata}{text};
                       }
                   } else {
                       my $filename=$$settings{files}[$filecount]{'relfile'};
                       my $newfilename="$destresdir/resfiles/$res/$$settings{files}[$filecount]{relfile}";
                       $$settings{maindata}{text} =~ s#(src|SRC|value)=("|&quot;)$filename("|&quot;)#$1="$newfilename"#g;
                   }
               } elsif ($$settings{files}[$filecount]{fileaction} eq 'link') {
                   unless (($$settings{files}[$filecount]{packageparent} ne '') && (grep/^$$settings{files}[$filecount]{packageparent}$/,@{$$settings{files}}) ) {
                       $linktag .= qq|<a href="$destresdir/resfiles/$res/$$settings{files}[$filecount]{relfile}"|;
                       if ($$settings{newwindow} eq "true") {
                           $linktag .= qq| target="$res$filecount"|;
                     }                      }
                     unless ($file eq 'pg'.$key.'.htm') {                      foreach my $entry (keys %{$$settings{files}[$filecount]{registry}}) {
                         system("cp $tempdir/_assoc/$key/$file $destdir/resfiles/$key/$file");                          $linktag .= qq| $entry="$$settings{files}[$filecount]{registry}{$entry}"|;
                     }                      }
                         $linktag .= qq|>$$settings{files}[$filecount]{linkname}</a><br/>\n|;
                 }                  }
               } elsif ( ($$settings{files}[$filecount]{fileaction} eq 'PACKAGE') || ($$settings{files}[$filecount]{fileaction} eq 'package') ) {
                  my $open_package = '';
                  if ($$settings{files}[$filecount]{'relfile'} =~ m|\.zip$|i) {
                      $open_package = &expand_zip("$docroot/$res",$$settings{files}[$filecount]{'relfile'});
                  }
                  if ($open_package eq 'ok') {
                      opendir(DIR,"$docroot/$res");
                      my @dircontents = grep(!/^\./,readdir(DIR));
                      closedir(DIR);
                      push @{$resrcfiles}, @dircontents;
                      @{$$hrefs{$res}} = @dircontents;
                      push @{$packages}, $res;
                  }
               } elsif ( ($$settings{files}[$filecount]{fileaction} eq 'BROKEN_IMAGE') && ($cms eq 'bb6') ) {
                   my $filename=$$settings{files}[$filecount]{'relfile'};
                   my $newfilename="$destresdir/resfiles/$res/$$settings{files}[$filecount]{relfile}";
                   $$settings{maindata}{text} =~ s#(src|SRC|value)=("|&quot;)$filename("|&quot;)#$1="$newfilename"#g;
               } elsif ( ($$settings{files}[$filecount]{fileaction} eq 'LINK') && ($cms eq 'bb6') ) {
                   my $filename=$$settings{files}[$filecount]{'relfile'};
                   my $newfilename="$destresdir/resfiles/$res/$$settings{files}[$filecount]{relfile}";
                   my $filetitle = $$settings{files}[$filecount]{'linkname'};
                   $$settings{maindata}{text} = '<a href="'.$newfilename.'">'.$filetitle.'</a><br /><br />'. $$settings{maindata}{text};
             }              }
         } elsif ($cms eq 'bb5') {          }
             foreach my $key (sort keys %href) {      }
                 foreach my $file (@{$href{$key}}) {      if (defined($$settings{maindata}{textcolor})) {
                     my $filepath = $file;          $fontcol =  qq|<font color="$$settings{maindata}{textcolor}">|;
                     if (!-e "$destdir/resfiles/$key") {      }
                         mkdir("$destdir/resfiles/$key",0755);      if (defined($$settings{maindata}{text})) {
           if ($$settings{maindata}{bodytype} eq "S") {
               $$settings{maindata}{text} =~ s#\n#<br/>#g;
           }
           if ($$settings{maindata}{ishtml} eq "false") {
               if ($$settings{maindata}{isnewline} eq "true") {
                   $$settings{maindata}{text} =~ s#\n#<br/>#g;
               }
           } else {
   #            $$settings{maindata}{text} = &HTML::Entities::decode($$settings{maindata}{text});
           }
       }
   
       open(FILE,">$destdir/resfiles/$res.html");
       push @{$resrcfiles}, "$res.html";
       my $htmldoc = 0;
   #    if ($$settings{maindata}{text} =~ m-&lt;(html|HTML)>.+&lt;\\(html|HTML)-) {
       if ($$settings{maindata}{text} =~ m-<(html|HTML)>-) {
           $htmldoc = 1;
       }
       unless ($htmldoc) {
           print FILE qq|<html>
   <head>
   <title>$$settings{title}</title>
   </head>
   <body bgcolor='#ffffff'>
   $fontcol
   |;
       }
       unless ($$settings{title} eq '') { 
           print FILE qq|$$settings{title}<br/><br/>\n|;
       }
       print FILE qq|
   $$settings{maindata}{text}
   $linktag|;
       unless ($htmldoc) {
           if (defined($$settings{maindata}{textcolor})) {
               print FILE qq|</font>|;
           }
           print FILE qq|
     </body>
    </html>|;
       }
       close(FILE);
   }
   
   
   sub process_angelboards {
       my ($context,$destdir,$boards,$timestamp,$crs,$cdom,$uname,$db_handling,$messages,$items,$resources,$hrefs,$tempdir,$longcrs) = @_;
       for (my $i=0; $i<@{$boards}; $i++) {
           my %msgidx = ();
           my $forumtext = '';
           my $boardname = 'bulletinpage_'.$$timestamp[$i];
           my $forumfile = $tempdir.'/_assoc/'.$$boards[$i].'/pg'.$$boards[$i].'.htm';
           my @state = ();
           my $p = HTML::Parser->new
           (
              xml_mode => 1,
              start_h =>
              [sub {
                   my ($tagname, $attr) = @_;
                   push @state, $tagname;
                   },  "tagname, attr"],
              text_h =>
              [sub {
                   my ($text) = @_;
                   if ("@state" eq "html body div div") {
                       $forumtext = $text;
                   }
                 }, "dtext"],
               end_h =>
               [sub {
                     my ($tagname) = @_;
                     pop @state;
                  }, "tagname"],
           );
           $p->parse_file($forumfile);
           $p->eof;
   
           my %boardinfo = (
                     'aaa_title' => $$items{$$resources{$$boards[$i]}{revitm}}{title},
                     'bbb_content' => $forumtext,
                     'ccc_webreferences' => '',
                     'uploaded.lastmodified' => time,
                     );
           my $msgcount = 0; 
                                                                                                        
           my $putresult = &Apache::lonnet::put($boardname,\%boardinfo,$cdom,$crs);
           if ($db_handling eq 'importall') {
               foreach my $msg_id (@{$$messages{$$boards[$i]}}) {
                   $msgcount ++;
                   $msgidx{$msg_id} = $msgcount;
                   my %contrib = (
                               'sendername' => 'NoName',
                               'senderdomain' => $cdom,
                               'screenname' => '',
                               'message' => $$items{$$resources{$msg_id}{revitm}}{title}
                               );
                   unless ( $$items{$$resources{$msg_id}{revitm}}{parentseq} eq $$resources{$$boards[$i]}{revitm} ) {
                       unless ( $msgidx{$$items{$$items{$$resources{$msg_id}{revitm}}{parentseq}}{resnum}} eq ''){
                           $contrib{replyto} = $msgidx{$$items{$$items{$$resources{$msg_id}{revitm}}{parentseq}}{resnum}};
                     }                      }
                     while ($filepath =~ m-(\w+)/(.+)-) {                  }
                         $filepath = $2;                  if ( @{$$hrefs{$msg_id}} > 1 )  {
                         if (!-e "$destdir/resfiles/$key/$1") {                      my $newurl = '';
                             mkdir("$destdir/resfiles/$key/$1",0755);                      foreach my $file (@{$$hrefs{$msg_id}}) {
                           unless ($file eq 'pg'.$msg_id.'.htm') {
                               $newurl = $msg_id.$file;
                                unless ($longcrs eq '') {
                                   if ($context eq 'CSTR') {
                                       if (!-e "/home/httpd/lonUsers/$cdom/$longcrs/userfiles") {
                                           mkdir("/home/httpd/lonUsers/$cdom/$longcrs/userfiles",0755);
                                       }
                                       if (!-e "/home/httpd/lonUsers/$cdom/$longcrs/userfiles/$newurl") {
                                           rename("$destdir/resfiles/$msg_id/$file","/home/httpd/lonUsers/$cdom/$longcrs/userfiles/$newurl");
                                       }
                                   }
                                   $contrib{attachmenturl} = '/uploaded/'.$cdom.'/'.$crs.'/'.$file;
                               }
                         }                          }
                     }                      }
                     system("cp $tempdir/$key/$file $destdir/resfiles/$key/$file");  
                 }                  }
                   my $xmlfile = $tempdir.'/_assoc/'.$msg_id.'/'.$$resources{$msg_id}{file};
                   &angel_message($msg_id,\%contrib,$xmlfile);
                   unless ($$resources{$msg_id}{file} eq '') {
                       unlink($xmlfile);
                   }
                   my $symb = 'bulletin___'.$$timestamp[$i].'___adm/wrapper/adm/'.$cdom.'/'.$uname.'/'.$$timestamp[$i].'/bulletinboard';
                   my $postresult = &addposting($symb,\%contrib,$cdom,$crs);
               }
           }
       }
   }
   
   # ---------------------------------------------------------------- Process ANGEL message board messages
   sub angel_message {
       my ($msg_id,$contrib,$xmlfile) = @_;
       my @state = ();
       my $p = HTML::Parser->new
       (
          xml_mode => 1,
          start_h =>
          [sub {
                my ($tagname, $attr) = @_;
                push @state, $tagname;
                },  "tagname, attr"],
           text_h =>
           [sub {
                my ($text) = @_;
                if ("@state" eq "html body table tr td div small span") {
                     $$contrib{'plainname'} = $text;
                } elsif ("@state" eq "html body div div") {
                     $$contrib{'message'} .= '<br /><br />'.$text;
                }
              }, "dtext"],
            end_h =>
            [sub {
                  my ($tagname) = @_;
                  pop @state;
               }, "tagname"],
       );
       $p->parse_file($xmlfile);
       $p->eof;
   }
   
   # ---------------------------------------------------------------- ANGEL content
   sub angel_content {
       my ($res,$docroot,$destdir,$settings,$dom,$user,$type,$title,$resrcfiles) = @_;
       my $xmlfile = $docroot.'/_assoc/'.$res.'/pg'.$res.'.htm';
       my $filecount = 0;
       my $firstline;
       my $lastline;
       my @buffer = ();
       my @state;
       @{$$settings{links}} = ();
       my $p = HTML::Parser->new
       (
          xml_mode => 1,
          start_h =>
          [sub {
                my ($tagname, $attr) = @_;
                push @state, $tagname;
               },  "tagname, attr"],
          text_h =>
          [sub {
                my ($text) = @_;
                if ("@state" eq "html body table tr td div small span") {
                    $$settings{'subtitle'} = $text;
                } elsif ("@state" eq "html body div div") {
                    $$settings{'text'} = $text;
                } elsif ("@state" eq "html body div div a") {
                   push @{$$settings{'links'}}, $text;
                }
               }, "dtext"],
          end_h =>
          [sub {
                my ($tagname) = @_;
                pop @state;
               }, "tagname"],
       );
       $p->parse_file($xmlfile);
       $p->eof;
       if ($type eq "PAGE") {
           open(FILE,"<$xmlfile");
           @buffer = <FILE>;
           close(FILE);
           chomp(@buffer);
           $firstline = -1;
           $lastline = 0;
           for (my $i=0; $i<@buffer; $i++) {
               if (($firstline == -1) && ($buffer[$i] =~ m/<div\sclass="normalDiv"><div\sclass="normalSpan">/)) {
                   $firstline = $i;
                   $buffer[$i] = substr($buffer[$i],index($buffer[$i],'"normalSpan"')+13);
               }
               if (($firstline > -1) && ($buffer[$i] =~ m-<p></p></div></div>-)) {
                   $buffer[$i] = substr($buffer[$i],0,index($buffer[$i],'<p></p></div></div>'));
                   $lastline = $i;
             }              }
         }          }
     }      }
       open(FILE,">$destdir/resfiles/$res.html");
       push @{$resrcfiles}, "$res.html";
       print FILE qq|<html>
   <head>
   <title>$title</title>
   </head>
   <body bgcolor='#ffffff'>
       |;
       unless ($title eq '') {
           print FILE qq|<b>$title</b><br/>\n|;
       }
       unless ($$settings{subtitle} eq '') {
           print FILE qq|$$settings{subtitle}<br/>\n|;
       }
       print FILE "<br/>\n";
       if ($type eq "LINK") {
           foreach my $link (@{$$settings{links}}) {
               print FILE qq|<a href="$link">$link</a><br/>\n|; 
           }
       } elsif ($type eq "PAGE") {
           if ($firstline > -1) {
               for (my $i=$firstline; $i<=$lastline; $i++) {
                   print FILE "$buffer[$i]\n";
               }
           }
       }
       print FILE qq|
     </body>
    </html>|;
       close(FILE);
 }  }
   
 1;  1;
 __END__  __END__
      
   

Removed from v.1.1  
changed lines
  Added in v.1.11


FreeBSD-CVSweb <freebsd-cvsweb@FreeBSD.org>