Diff for /loncom/publisher/lonpublisher.pm between versions 1.9 and 1.24

version 1.9, 2000/12/01 16:17:46 version 1.24, 2001/04/16 20:02:50
Line 5 Line 5
 #  #
 # 05/29/00,05/30,10/11 Gerd Kortemeyer)  # 05/29/00,05/30,10/11 Gerd Kortemeyer)
 #  #
 # 11/28,11/29,11/30,12/01 Gerd Kortemeyer  # 11/28,11/29,11/30,12/01,12/02,12/04,12/23 Gerd Kortemeyer
   # 03/23 Guy Albertelli
   # 03/24,03/29,04/03 Gerd Kortemeyer
   # 04/16/2001 Scott Harrison
   
 package Apache::lonpublisher;  package Apache::lonpublisher;
   
 use strict;  use strict;
 use Apache::File;  use Apache::File;
   use File::Copy;
 use Apache::Constants qw(:common :http :methods);  use Apache::Constants qw(:common :http :methods);
 use HTML::TokeParser;  use HTML::TokeParser;
 use Apache::lonxml;  use Apache::lonxml;
 use Apache::lonhomework;  use Apache::lonhomework;
   use DBI;
   
 my %addid;  my %addid;
 my %nokey;  my %nokey;
 my %language;  my %language;
   my %cprtag;
   
 my %metadatafields;  my %metadatafields;
 my %metadatakeys;  my %metadatakeys;
   
   my $docroot;
   
   # ----------------------------------------------- Evaluate string with metadata
   
 sub metaeval {  sub metaeval {
     my $metastring=shift;      my $metastring=shift;
         
Line 57  sub metaeval { Line 68  sub metaeval {
        }         }
 }  }
   
   # -------------------------------------------------------- Read a metadata file
   
 sub metaread {  sub metaread {
     my ($logfile,$fn)=@_;      my ($logfile,$fn)=@_;
     unless (-e $fn) {      unless (-e $fn) {
Line 73  sub metaread { Line 86  sub metaread {
     return '<br><b>Processed file:</b> <tt>'.$fn.'</tt>';      return '<br><b>Processed file:</b> <tt>'.$fn.'</tt>';
 }  }
   
   # --------------------------------------------------------- Various form fields
   
 sub textfield {  sub textfield {
     my ($title,$value)=@_;      my ($title,$name,$value)=@_;
     return "\n<p><b>$title:</b><br>".      return "\n<p><b>$title:</b><br>".
            '<input type=text size=80 value="'.$value.'">';             '<input type=text name="'.$name.'" size=80 value="'.$value.'">';
   }
   
   sub hiddenfield {
       my ($name,$value)=@_;
       return "\n".'<input type=hidden name="'.$name.'" value="'.$value.'">';
 }  }
   
 sub selectbox {  sub selectbox {
     my ($title,$value,%options)=@_;      my ($title,$name,$value,%options)=@_;
       my $selout="\n<p><b>$title:</b><br>".'<select name="'.$name.'">';
       map {
           $selout.='<option value="'.$_.'"';
           if ($_ eq $value) { $selout.=' selected'; }
           $selout.='>'.$options{$_}.'</option>';
       } sort keys %options;
       return $selout.'</select>';
 }  }
   
   # -------------------------------------------------------- Publication Step One
   
 sub publish {  sub publish {
   
     my ($source,$target,$style)=@_;      my ($source,$target,$style)=@_;
     my $logfile;      my $logfile;
     my $scrout='';      my $scrout='';
       my $allmeta='';
       my $content='';
   
     unless ($logfile=Apache::File->new('>>'.$source.'.log')) {      unless ($logfile=Apache::File->new('>>'.$source.'.log')) {
  return    return 
          '<font color=red>No write permission to user directory, FAIL</font>';           '<font color=red>No write permission to user directory, FAIL</font>';
     }      }
     print $logfile       print $logfile 
 "\n\n================== Publish ".localtime()." =================\n";  "\n\n================= Publish ".localtime()." Phase One  ================\n";
   
     if (($style eq 'ssi') || ($style eq 'rat')) {      if (($style eq 'ssi') || ($style eq 'rat')) {
 # ------------------------------------------------------- This needs processing  # ------------------------------------------------------- This needs processing
   
 # ----------------------------------------------------------------- Backup Copy  # ----------------------------------------------------------------- Backup Copy
  my $copyfile=$source.'.save';   my $copyfile=$source.'.save';
         {          if (copy($source,$copyfile)) {
     my $org=Apache::File->new($source);  
             my $cop=Apache::File->new('>'.$copyfile);  
             while (my $line=<$org>) { print $cop $line; }  
         }  
         if (-e $copyfile) {  
     print $logfile "Copied original file to ".$copyfile."\n";      print $logfile "Copied original file to ".$copyfile."\n";
         } else {          } else {
     print $logfile "Unable to write backup ".$copyfile."\n";      print $logfile "Unable to write backup ".$copyfile.':'.$!."\n";
             return "<font color=red>Failed to write backup copy, FAIL</font>";            return "<font color=red>Failed to write backup copy, $!,FAIL</font>";
         }          }
 # ------------------------------------------------------------- IDs and indices  # ------------------------------------------------------------- IDs and indices
   
         my $maxindex=10;          my $maxindex=10;
         my $maxid=10;          my $maxid=10;
         my $content='';  
         my $needsfixup=0;          my $needsfixup=0;
   
         {          {
Line 227  sub publish { Line 253  sub publish {
                   $ENV{'environment.generation'};                    $ENV{'environment.generation'};
         $metadatafields{'author'}=~s/\s+/ /g;          $metadatafields{'author'}=~s/\s+/ /g;
         $metadatafields{'author'}=~s/\s+$//;          $metadatafields{'author'}=~s/\s+$//;
           $metadatafields{'owner'}=$ENV{'user.name'}.'@'.$ENV{'user.domain'};
   
 # ------------------------------------------------ Check out directory hierachy  # ------------------------------------------------ Check out directory hierachy
   
Line 267  sub publish { Line 294  sub publish {
   
 # -------------------------------------------------- Parse content for metadata  # -------------------------------------------------- Parse content for metadata
   
  my $allmeta='';          $allmeta=Apache::lonxml::xmlparse('meta',$content);
         if ($source=~/\.problem$/) {  
     $allmeta=Apache::lonhomework::subhandler('meta',$content);  
         } else {  
             $allmeta=Apache::lonxml::xmlparse('meta',$content);  
  }  
         &metaeval($allmeta);          &metaeval($allmeta);
   
 # ---------------- Find and document discrepancies in the parameters and stores  # ---------------- Find and document discrepancies in the parameters and stores
Line 296  sub publish { Line 318  sub publish {
         my $chparms='';          my $chparms='';
         map {          map {
     if (($_=~/^parameter/) || ($_=~/^stores/)) {      if (($_=~/^parameter/) || ($_=~/^stores/)) {
                 unless (($metadatafields{$_}) || ($_=~/\.\w+$/)) {                  unless (($metadatafields{$_.'.name'}) || ($_=~/\.\w+$/)) {
     print $logfile 'Obsolete: '.$_."\n";      print $logfile 'Obsolete: '.$_."\n";
                     $chparms.=$_.' ';                      $chparms.=$_.' ';
                 }                  }
Line 306  sub publish { Line 328  sub publish {
     $scrout.='<p><b>Obsolete parameters or stored values:</b> '.      $scrout.='<p><b>Obsolete parameters or stored values:</b> '.
                      $chparms;                       $chparms;
         }          }
       }
 # ------------------------------------------------------- Now have all metadata  # ------------------------------------------------------- Now have all metadata
   
         $scrout.=          $scrout.=
      '<form action="/adm/publish" method="post">'.       '<form action="/adm/publish" method="post">'.
      '<input type="hidden" name="phase" value="two">'.            &hiddenfield('phase','two').
      '<input type="hidden" name="filename" value="'.$ENV{'form.filename'}.'">'.            &hiddenfield('filename',$ENV{'form.filename'}).
           &textfield('Title',$metadatafields{'title'}).    &hiddenfield('allmeta',&Apache::lonnet::escape($allmeta)).
           &textfield('Author(s)',$metadatafields{'author'}).            &textfield('Title','title',$metadatafields{'title'}).
   &textfield('Subject',$metadatafields{'subject'});            &textfield('Author(s)','author',$metadatafields{'author'}).
     &textfield('Subject','subject',$metadatafields{'subject'});
   
 # --------------------------------------------------- Scan content for keywords  # --------------------------------------------------- Scan content for keywords
   
Line 338  sub publish { Line 361  sub publish {
                 }                   } 
             } ($textonly=~m/(\w+)/g);              } ($textonly=~m/(\w+)/g);
   
               map {
    $keywords{$_}=1;
               } split(/\W+/,$metadatafields{'keywords'});
   
             map {              map {
                 $keywordout.='<td><input type=checkbox name="'.$_.'"';                  $keywordout.='<td><input type=checkbox name="key.'.$_.'"';
                 if ($metadatafields{'keywords'}=~/$_/) {                   if ($metadatafields{'keywords'}=~/$_/) { 
                    $keywordout.=' checked';                      $keywordout.=' checked'; 
                 }                  }
Line 357  sub publish { Line 383  sub publish {
                   
  $scrout.=$keywordout;   $scrout.=$keywordout;
   
         $scrout.=&textfield('Notes',$metadatafields{'notes'});          $scrout.=&textfield('Additional Keywords','addkey','');
   
           $scrout.=&textfield('Notes','notes',$metadatafields{'notes'});
   
         $scrout.=          $scrout.=
              '<p><b>Abstract:</b><br><textarea cols=80 rows=5 name=abstract>'.               '<p><b>Abstract:</b><br><textarea cols=80 rows=5 name=abstract>'.
               $metadatafields{'abstract'}.'</textarea>';                $metadatafields{'abstract'}.'</textarea>';
   
         $scrout.=&selectbox('Language',$metadatafields{'language'},%language);   $source=~/\.(\w+)$/;
   
    $scrout.=&hiddenfield('mime',$1);
   
           $scrout.=&selectbox('Language','language',
                               $metadatafields{'language'},%language);
   
           unless ($metadatafields{'creationdate'}) {
       $metadatafields{'creationdate'}=time;
           }
           $scrout.=&hiddenfield('creationdate',$metadatafields{'creationdate'});
   
           $scrout.=&hiddenfield('lastrevisiondate',time);
   
         
  $scrout.=&textfield('Publisher/Owner',$metadatafields{'owner'});   $scrout.=&textfield('Publisher/Owner','owner',
                               $metadatafields{'owner'});
   
           $scrout.=&selectbox('Copyright/Distribution','copyright',
                               $metadatafields{'copyright'},%cprtag);
   
     }  
     return $scrout.      return $scrout.
       '<p><input type="submit" value="Finalize Publication"></form>';        '<p><input type="submit" value="Finalize Publication"></form>';
 }  }
   
   # -------------------------------------------------------- Publication Step Two
   
   sub phasetwo {
   
       my ($source,$target,$style,$distarget)=@_;
       my $logfile;
       my $scrout='';
   
       unless ($logfile=Apache::File->new('>>'.$source.'.log')) {
    return 
            '<font color=red>No write permission to user directory, FAIL</font>';
       }
       print $logfile 
   "\n================= Publish ".localtime()." Phase Two  ================\n";
   
        %metadatafields=();
        %metadatakeys=();
   
        &metaeval(&Apache::lonnet::unescape($ENV{'form.allmeta'}));
   
        $metadatafields{'title'}=$ENV{'form.title'};
        $metadatafields{'author'}=$ENV{'form.author'};
        $metadatafields{'subject'}=$ENV{'form.subject'};
        $metadatafields{'notes'}=$ENV{'form.notes'};
        $metadatafields{'abstract'}=$ENV{'form.abstract'};
        $metadatafields{'mime'}=$ENV{'form.mime'};
        $metadatafields{'language'}=$ENV{'form.language'};
        $metadatafields{'creationdate'}=$ENV{'form.creationdate'};
        $metadatafields{'lastrevisiondate'}=$ENV{'form.lastrevisiondate'};
        $metadatafields{'owner'}=$ENV{'form.owner'};
        $metadatafields{'copyright'}=$ENV{'form.copyright'};
   
        my $allkeywords=$ENV{'form.addkey'};
        map {
            if ($_=~/^form\.key\.(\w+)/) {
        $allkeywords.=','.$1;
            }
        } keys %ENV;
        $allkeywords=~s/\W+/\,/;
        $allkeywords=~s/^\,//;
        $metadatafields{'keywords'}=$allkeywords;
    
        {
          print $logfile "\nWrite metadata file for ".$source;
          my $mfh;
          unless ($mfh=Apache::File->new('>'.$source.'.meta')) {
    return 
            '<font color=red>Could not write metadata, FAIL</font>';
          }    
          map {
    unless ($_=~/\./) {
              my $unikey=$_;
              $unikey=~/^([A-Za-z]+)/;
              my $tag=$1;
              $tag=~tr/A-Z/a-z/;
              print $mfh "\n\<$tag";
              map {
                  my $value=$metadatafields{$unikey.'.'.$_};
                  $value=~s/\"/\'\'/g;
                  print $mfh ' '.$_.'="'.$value.'"';
              } split(/\,/,$metadatakeys{$unikey});
      print $mfh '>'.$metadatafields{$unikey}.'</'.$tag.'>';
            }
          } sort keys %metadatafields;
          $scrout.='<p>Wrote Metadata';
          print $logfile "\nWrote metadata";
        }
   
   # -------------------------------- Synchronize entry with SQL metadata database
       my $dbh;
       {
    unless (
    $dbh = DBI->connect("DBI:mysql:loncapa","www",$perlvar{'lonSqlAccess'},{ RaiseError =>0,PrintError=>0})
    ) { 
       return '<font color=red>Cannot connect to database!</font>';
    }
       }
   
       my %sqldatafields;
       $sqldatafields{'url'}=$distarget;
       $sth=$dbh->prepare("delete from metadata where url like binary \"".
          $sqldatafields{'url'}."\"");
       $sth->execute();
       map {my $field=$metadatafields{$_}; $field=~s/\"/\'\'/g; 
    $sqldatafields{$_}=$field;}
       ('title','author','subject','keywords','notes','abstract',
        'mime','language','creationdate','lastrevisiondate','owner','copyright');
   
       $sth=$dbh->prepare('insert into metadata values ('.
     '"'.delete($sqldatafields{'title'}).'"'.','.
     '"'.delete($sqldatafields{'author'}).'"'.','.
     '"'.delete($sqldatafields{'subject'}).'"'.','.
     '"'.delete($sqldatafields{'url'}).'"'.','.
     '"'.delete($sqldatafields{'keywords'}).'"'.','.
     '"'.'current'.'"'.','.
     '"'.delete($sqldatafields{'notes'}).'"'.','.
     '"'.delete($sqldatafields{'abstract'}).'"'.','.
     '"'.delete($sqldatafields{'mime'}).'"'.','.
     '"'.delete($sqldatafields{'language'}).'"'.','.
     '"'.delete($sqldatafields{'creationdate'}).'"'.','.
     '"'.delete($sqldatafields{'lastrevisiondate'}).'"'.','.
     '"'.delete($sqldatafields{'owner'}).'"'.','.
     '"'.delete($sqldatafields{'copyright'}).'"'.')');
       $sth->execute();
       $dbh->disconnect;
       $scrout.='<p>Synchronized SQL metadata database';
       print $logfile "\nSynchronized SQL metadata database";
   
   # ----------------------------------------------------------- Copy old versions
      
   if (-e $target) {
       my $filename;
       my $maxversion=0;
       $target=~/(.*)\/([^\/]+)\.(\w+)$/;
       my $srcf=$2;
       my $srct=$3;
       my $srcd=$1;
       unless ($srcd=~/^\/home\/httpd\/html\/res/) {
    print $logfile "\nPANIC: Target dir is ".$srcd;
           return "<font color=red>Invalid target directory, FAIL</font>";
       }
       opendir(DIR,$srcd);
       while ($filename=readdir(DIR)) {
          if ($filename=~/$srcf\.(\d+)\.$srct$/) {
      $maxversion=($1>$maxversion)?$1:$maxversion;
          }
       }
       closedir(DIR);
       $maxversion++;
       $scrout.='<p>Creating old version '.$maxversion;
       print $logfile "\nCreating old version ".$maxversion;
   
       my $copyfile=$srcd.'/'.$srcf.'.'.$maxversion.'.'.$srct;
   
           if (copy($target,$copyfile)) {
       print $logfile "Copied old target to ".$copyfile."\n";
               $scrout.='<p>Copied old target file';
           } else {
       print $logfile "Unable to write ".$copyfile.':'.$!."\n";
              return "<font color=red>Failed to copy old target, $!, FAIL</font>";
           }
   
   # --------------------------------------------------------------- Copy Metadata
   
    $copyfile=$copyfile.'.meta';
   
           if (copy($target.'.meta',$copyfile)) {
       print $logfile "Copied old target metadata to ".$copyfile."\n";
               $scrout.='<p>Copied old metadata';
           } else {
       print $logfile "Unable to write metadata ".$copyfile.':'.$!."\n";
               if (-e $target.'.meta') {
                  return 
          "<font color=red>Failed to write old metadata copy, $!, FAIL</font>";
       }
           }
   
   
   } else {
       $scrout.='<p>Initial version';
       print $logfile "\nInitial version";
   }
   
   # ---------------------------------------------------------------- Write Source
    my $copyfile=$target;
   
              my @parts=split(/\//,$copyfile);
              my $path="/$parts[1]/$parts[2]/$parts[3]/$parts[4]";
   
              my $count;
              for ($count=5;$count<$#parts;$count++) {
                  $path.="/$parts[$count]";
                  if ((-e $path)!=1) {
                      print $logfile "\nCreating directory ".$path;
                      $scrout.='<p>Created directory '.$parts[$count];
      mkdir($path,0777);
                  }
              }
   
           if (copy($source,$copyfile)) {
       print $logfile "Copied original source to ".$copyfile."\n";
               $scrout.='<p>Copied source file';
           } else {
       print $logfile "Unable to write ".$copyfile.':'.$!."\n";
               return "<font color=red>Failed to copy source, $!, FAIL</font>";
           }
   
   # --------------------------------------------------------------- Copy Metadata
   
           $copyfile=$copyfile.'.meta';
   
           if (copy($source.'.meta',$copyfile)) {
       print $logfile "Copied original metadata to ".$copyfile."\n";
               $scrout.='<p>Copied metadata';
           } else {
       print $logfile "Unable to write metadata ".$copyfile.':'.$!."\n";
               return 
             "<font color=red>Failed to write metadata copy, $!, FAIL</font>";
           }
   
   # --------------------------------------------------- Send update notifications
   
   {
   
       my $filename;
    
       $target=~/(.*)\/([^\/]+)$/;
       my $srcf=$2;
       opendir(DIR,$1);
       while ($filename=readdir(DIR)) {
          if ($filename=~/$srcf\.(\w+)$/) {
      my $subhost=$1;
              if ($subhost ne 'meta') {
          $scrout.='<p>Notifying host '.$subhost.':';
                  print $logfile "\nNotifying host '.$subhost.':'";
                  my $reply=&Apache::lonnet::critical('update:'.$target,$subhost);
                  $scrout.=$reply;
                  print $logfile $reply;              
              }
          }
       }
       closedir(DIR);
   
   }
   
   # ---------------------------------------- Send update notifications, meta only
   
   {
   
       my $filename;
    
       $target=~/(.*)\/([^\/]+)$/;
       my $srcf=$2.'.meta';
       opendir(DIR,$1);
       while ($filename=readdir(DIR)) {
          if ($filename=~/$srcf\.(\w+)$/) {
      my $subhost=$1;
              if ($subhost ne 'meta') {
          $scrout.=
                   '<p>Notifying host for metadata only '.$subhost.':';
                  print $logfile 
                   "\nNotifying host for metadata only '.$subhost.':'";
                  my $reply=&Apache::lonnet::critical(
                                   'update:'.$target.'.meta',$subhost);
                  $scrout.=$reply;
                  print $logfile $reply;              
              }
          }
       }
       closedir(DIR);
   
   }
   
   # ------------------------------------------------ Provide link to new resource
   
       my $thisdistarget=$target;
       $thisdistarget=~s/^$docroot//;
   
       my $thissrc=$source;
       $thissrc=~s/^\/home\/(\w+)\/public_html/\/priv\/$1/;
   
       my $thissrcdir=$thissrc;
       $thissrcdir=~s/\/[^\/]+$/\//;
   
   
       return $scrout.
         '<hr><a href="'.$thisdistarget.'"><font size=+2>View Target</font></a>'.
         '<p><a href="'.$thissrc.'"><font size=+2>Back to Source</font></a>'.
         '<p><a href="'.$thissrcdir.
         '"><font size=+2>Back to Source Directory</font></a>';
   
   }
   
 # ================================================================ Main Handler  # ================================================================ Main Handler
   
 sub handler {  sub handler {
Line 404  sub handler { Line 721  sub handler {
   $fn=~s/^http\:\/\/[^\/]+\/\~(\w+)/\/home\/$1\/public_html/;    $fn=~s/^http\:\/\/[^\/]+\/\~(\w+)/\/home\/$1\/public_html/;
   
   my $targetdir='';    my $targetdir='';
   my $docroot=$r->dir_config('lonDocRoot');     $docroot=$r->dir_config('lonDocRoot'); 
   if ($1 ne $ENV{'user.name'}) {    if ($1 ne $ENV{'user.name'}) {
      $r->log_reason($ENV{'user.name'}.' at '.$ENV{'user.domain'}.       $r->log_reason($ENV{'user.name'}.' at '.$ENV{'user.domain'}.
          ' trying to publish unowned file '.$ENV{'form.filename'}.           ' trying to publish unowned file '.$ENV{'form.filename'}.
Line 424  sub handler { Line 741  sub handler {
      return HTTP_NOT_FOUND;       return HTTP_NOT_FOUND;
   }     } 
   
   unless ($ENV{'form.phase'} eq 'two') {
   
 # --------------------------------- File is there and owned, init lookup tables  # --------------------------------- File is there and owned, init lookup tables
   
   %addid=();    %addid=();
Line 451  sub handler { Line 770  sub handler {
   {    {
      my $fh=Apache::File->new($r->dir_config('lonTabDir').'/language.tab');       my $fh=Apache::File->new($r->dir_config('lonTabDir').'/language.tab');
       map {        map {
           $_=~/(\w+)\s+([\w\s]+)/;            $_=~/(\w+)\s+([\w\s\-]+)/;
           $language{$1}=$2;            $language{$1}=$2;
       } <$fh>;        } <$fh>;
   }    }
   
     %cprtag=();
   
     {
        my $fh=Apache::File->new($r->dir_config('lonIncludes').'/copyright.tab');
         map {
             $_=~/(\w+)\s+([\w\s\-]+)/;
             $cprtag{$1}=$2;
         } <$fh>;
     }
   
   }
   
 # ----------------------------------------------------------- Start page output  # ----------------------------------------------------------- Start page output
   
   $r->content_type('text/html');    $r->content_type('text/html');
   $r->send_http_header;    $r->send_http_header;
   
   $r->print('<html><head><title>LON-CAPA Publishing</title></head>');    $r->print('<html><head><title>LON-CAPA Publishing</title></head>');
   $r->print('<body bgcolor="#FFFFFF">');    $r->print(
      '<body bgcolor="#FFFFFF"><img align=right src=/adm/lonIcons/lonlogos.gif>');
   my $thisfn=$fn;    my $thisfn=$fn;
         
 # ------------------------------------------------------------- Individual file  # ------------------------------------------------------------- Individual file
Line 484  sub handler { Line 817  sub handler {
       $r->print('<h2>Publishing '.        $r->print('<h2>Publishing '.
         &Apache::lonnet::filedescription($thistype).' <tt>'.          &Apache::lonnet::filedescription($thistype).' <tt>'.
         $thisdisfn.'</tt></h2><b>Target:</b> <tt>'.$thisdistarget.'</tt><p>');          $thisdisfn.'</tt></h2><b>Target:</b> <tt>'.$thisdistarget.'</tt><p>');
     
 # ------------ We are publishing from $thisfn to $thistarget with $thisembstyle  # ------------ We are publishing from $thisfn to $thistarget with $thisembstyle
   
       $r->print('<hr>'.&publish($thisfn,$thistarget,$thisembstyle));         unless ($ENV{'form.phase'} eq 'two') {
                   $r->print('<hr>'.&publish($thisfn,$thistarget,$thisembstyle));
   }           } else {
             $r->print('<hr>'.&phasetwo($thisfn,$thistarget,$thisembstyle,$thisdistarget));      
          }  
   
     }
   $r->print('</body></html>');    $r->print('</body></html>');
   
   return OK;    return OK;

Removed from v.1.9  
changed lines
  Added in v.1.24


FreeBSD-CVSweb <freebsd-cvsweb@FreeBSD.org>