[BACK]Return to searchcat.pl CVS log [TXT] [DIR] Up to [LON-CAPA] / loncom / metadata_database

Diff for /loncom/metadata_database/searchcat.pl between versions 1.41 and 1.47

version 1.41, 2003/10/07 17:51:38 version 1.47, 2003/12/25 04:06:52
Line 65  and correct user experience. Line 65  and correct user experience.
   
 =cut  =cut
   
   use strict;
   
 use lib '/home/httpd/lib/perl/';  use lib '/home/httpd/lib/perl/';
 use LONCAPA::Configuration;  use LONCAPA::Configuration;
   
Line 74  use DBI; Line 76  use DBI;
 use GDBM_File;  use GDBM_File;
 use POSIX qw(strftime mktime);  use POSIX qw(strftime mktime);
   
   require "find.pl";
   
 my @metalist;  my @metalist;
   
 $simplestatus='';  my $simplestatus='';
 my %countext=();  my %countext=();
   
   # ----------------------------------------------------- write out simple status
 sub writesimple {  sub writesimple {
     open(SMP,'>/home/httpd/html/lon-status/mysql.txt');      open(SMP,'>/home/httpd/html/lon-status/mysql.txt');
     print SMP $simplestatus."\n";      print SMP $simplestatus."\n";
Line 94  sub writecount { Line 99  sub writecount {
     close(RSMP);      close(RSMP);
 }  }
   
   # -------------------------------------- counts files with different extensions
 sub count {  sub count {
     my $file=shift;      my $file=shift;
     $file=~/\.(\w+)$/;      $file=~/\.(\w+)$/;
Line 120  sub escape { Line 126  sub escape {
     return $str;      return $str;
 }  }
   
   
 # ------------------------------------------- Code to evaluate dynamic metadata  # ------------------------------------------- Code to evaluate dynamic metadata
   
 sub dynamicmeta {  sub dynamicmeta {
   
     my $url=&declutter(shift);      my $url=&declutter(shift);
     $url=~s/\.meta$//;      $url=~s/\.meta$//;
     my %returnhash=();      my %returnhash=();
     my ($adomain,$aauthor)=($url=~/^(\w+)\/(\w+)\//);      my ($adomain,$aauthor)=($url=~/^(\w+)\/(\w+)\//);
     my $prodir=&propath($adomain,$aauthor);      my $prodir=&propath($adomain,$aauthor);
     if ((tie(%evaldata,'GDBM_File',  
             $prodir.'/nohist_resevaldata.db',&GDBM_READER(),0640)) &&  # Get metadata except counts
         (tie(%newevaldata,'GDBM_File',      if (tie(my %evaldata,'GDBM_File',
             $prodir.'/nohist_new_resevaldata.db',&GDBM_WRCREAT(),0640))) {              $prodir.'/nohist_resevaldata.db',&GDBM_READER(),0640)) {
        my %sum=();   my %sum=();
        my %cnt=();   my %cnt=();
        my %listitems=('count'        => 'add',   my %concat=();
                       'course'       => 'add',   my %listitems=(
       'goto'         => 'add',         'course'       => 'add',
       'comefrom'     => 'add',         'goto'         => 'add',
                       'avetries'     => 'avg',         'comefrom'     => 'add',
                       'stdno'        => 'add',         'avetries'     => 'avg',
                       'difficulty'   => 'avg',         'stdno'        => 'add',
                       'clear'        => 'avg',         'difficulty'   => 'avg',
                       'technical'    => 'avg',         'clear'        => 'avg',
                       'helpful'      => 'avg',         'technical'    => 'avg',
                       'correct'      => 'avg',         'helpful'      => 'avg',
                       'depth'        => 'avg',         'correct'      => 'avg',
                       'comments'     => 'app',         'depth'        => 'avg',
                       'usage'        => 'cnt'         'comments'     => 'app',
                       );         'usage'        => 'cnt'
        my $regexp=$url;         );
        $regexp=~s/(\W)/\\$1/g;  
        $regexp='___'.$regexp.'___([a-z]+)$';   my $regexp=$url;
        foreach (keys %evaldata) {   $regexp=~s/(\W)/\\$1/g;
  my $key=&unescape($_);   $regexp='___'.$regexp.'___([a-z]+)$';
  if ($key=~/$regexp/) {   while (my ($esckey,$value)=each %evaldata) {
     my $ctype=$1;      my $key=&unescape($esckey);
             if (defined($cnt{$ctype})) {       if ($key=~/$regexp/) {
                $cnt{$ctype}++;    my ($item,$purl,$cat)=split(/___/,$key);
             } else {    if (defined($cnt{$cat})) { $cnt{$cat}++; } else { $cnt{$cat}=1; }
                $cnt{$ctype}=1;    unless ($listitems{$cat} eq 'app') {
             }      if (defined($sum{$cat})) {
             unless ($listitems{$ctype} eq 'app') {   $sum{$cat}+=$evaldata{$esckey};
                if (defined($sum{$ctype})) {   $concat{$cat}.=','.$item;
                   $sum{$ctype}+=$evaldata{$_};      } else {
           } else {   $sum{$cat}=$evaldata{$esckey};
                   $sum{$ctype}=$evaldata{$_};   $concat{$cat}=$item;
        }      }
             } else {   } else {
                if (defined($sum{$ctype})) {      if (defined($sum{$cat})) {
                   if ($evaldata{$_}) {   if ($evaldata{$esckey}=~/\w/) {
                      $sum{$ctype}.='<hr>'.$evaldata{$_};      $sum{$cat}.='<hr>'.$evaldata{$esckey};
           }   }
         } else {      } else {
              $sum{$ctype}=''.$evaldata{$_};   $sum{$cat}=''.$evaldata{$esckey};
        }      }
    }
     }      }
     if ($ctype ne 'count') {   }
        $newevaldata{$_}=$evaldata{$_};   untie(%evaldata);
    }  # transfer gathered data to returnhash, calculate averages where applicable
  }   while (my $cat=each(%cnt)) {
       }      if ($listitems{$cat} eq 'avg') {
       foreach (keys %cnt) {   $returnhash{$cat}=int(($sum{$cat}/$cnt{$cat})*100.0+0.5)/100.0;
          if ($listitems{$_} eq 'avg') {      } elsif ($listitems{$cat} eq 'cnt') {
      $returnhash{$_}=int(($sum{$_}/$cnt{$_})*100.0+0.5)/100.0;   $returnhash{$cat}=$cnt{$cat};
          } elsif ($listitems{$_} eq 'cnt') {      } else {
              $returnhash{$_}=$cnt{$_};   $returnhash{$cat}=$sum{$cat};
          } else {      }
              $returnhash{$_}=$sum{$_};      $returnhash{$cat.'_list'}=$concat{$cat};
          }   }
      }      }
      if ($returnhash{'count'}) {  # get count
          my $newkey=$$.'_'.time.'_searchcat___'.&escape($url).'___count';      if (tie(my %evaldata,'GDBM_File',
          $newevaldata{$newkey}=$returnhash{'count'};              $prodir.'/nohist_accesscount.db',&GDBM_READER(),0640)) {
      }   my $escurl=&escape($url);
      untie(%evaldata);   if (! exists($evaldata{$escurl})) {
      untie(%newevaldata);      $returnhash{'count'}=0;
    }   } else {
    return %returnhash;      $returnhash{'count'}=$evaldata{$escurl};
    }
    untie %evaldata;
       }
       return %returnhash;
 }  }
       
 # ----------------- Code to enable 'find' subroutine listing of the .meta files  
 require "find.pl";  
 sub wanted {  
     (($dev,$ino,$mode,$nlink,$uid,$gid) = lstat($_)) &&  
         -f _ &&  
         /^.*\.meta$/ && !/^.+\.\d+\.[^\.]+\.meta$/ &&  
         push(@metalist,"$dir/$_");  
 }  
   
 # ---------------  Read loncapa_apache.conf and loncapa.conf and get variables  # ---------------  Read loncapa_apache.conf and loncapa.conf and get variables
 my $perlvarref=LONCAPA::Configuration::read_conf('loncapa.conf');  my $perlvarref=LONCAPA::Configuration::read_conf('loncapa.conf');
 my %perlvar=%{$perlvarref};  my %perlvar=%{$perlvarref};
Line 224  exit unless $perlvar{'lonRole'} eq 'libr Line 224  exit unless $perlvar{'lonRole'} eq 'libr
   
 my $wwwid=getpwnam('www');  my $wwwid=getpwnam('www');
 if ($wwwid!=$<) {  if ($wwwid!=$<) {
     $emailto="$perlvar{'lonAdmEMail'},$perlvar{'lonSysEMail'}";      my $emailto="$perlvar{'lonAdmEMail'},$perlvar{'lonSysEMail'}";
     $subj="LON: $perlvar{'lonHostID'} User ID mismatch";      my $subj="LON: $perlvar{'lonHostID'} User ID mismatch";
     system("echo 'User ID mismatch. searchcat.pl must be run as user www.' |\      system("echo 'User ID mismatch. searchcat.pl must be run as user www.' |\
  mailto $emailto -s '$subj' > /dev/null");   mailto $emailto -s '$subj' > /dev/null");
     exit 1;      exit 1;
Line 249  my $dbh; Line 249  my $dbh;
  exit;   exit;
     }      }
   
     my $make_metadata_table = "CREATE TABLE IF NOT EXISTS metadata (".  # Make temporary table
       $dbh->do("DROP TABLE IF EXISTS newmetadata");
       my $make_metadata_table = "CREATE TABLE IF NOT EXISTS newmetadata (".
         "title TEXT, author TEXT, subject TEXT, url TEXT, keywords TEXT, ".          "title TEXT, author TEXT, subject TEXT, url TEXT, keywords TEXT, ".
         "version TEXT, notes TEXT, abstract TEXT, mime TEXT, language TEXT, ".          "version TEXT, notes TEXT, abstract TEXT, mime TEXT, language TEXT, ".
         "creationdate DATETIME, lastrevisiondate DATETIME, owner TEXT, ".          "creationdate DATETIME, lastrevisiondate DATETIME, owner TEXT, ".
         "copyright TEXT, FULLTEXT idx_title (title), ".          "copyright TEXT, ".
           "count INTEGER UNSIGNED, ".
           "course INTEGER UNSIGNED, course_list TEXT, ".
           "goto INTEGER UNSIGNED, goto_list TEXT, ".
           "comefrom INTEGER UNSIGNED, comefrom_list TEXT, ".
           "fusage INTEGER UNSIGNED, fusage_list TEXT, ".
           "stdno INTEGER UNSIGNED, stdno_list TEXT, ".
    "avetries FLOAT, avetries_list TEXT, ".
           "difficulty FLOAT, difficulty_list TEXT, ".
           "FULLTEXT idx_title (title), ".
         "FULLTEXT idx_author (author), FULLTEXT idx_subject (subject), ".          "FULLTEXT idx_author (author), FULLTEXT idx_subject (subject), ".
         "FULLTEXT idx_url (url), FULLTEXT idx_keywords (keywords), ".          "FULLTEXT idx_url (url), FULLTEXT idx_keywords (keywords), ".
         "FULLTEXT idx_version (version), FULLTEXT idx_notes (notes), ".          "FULLTEXT idx_version (version), FULLTEXT idx_notes (notes), ".
         "FULLTEXT idx_abstract (abstract), FULLTEXT idx_mime (mime), ".          "FULLTEXT idx_abstract (abstract), FULLTEXT idx_mime (mime), ".
         "FULLTEXT idx_language (language), FULLTEXT idx_owner (owner), ".          "FULLTEXT idx_language (language), FULLTEXT idx_owner (owner), ".
         "FULLTEXT idx_copyright (copyright)) TYPE=MYISAM";          "FULLTEXT idx_copyright (copyright)) ".
           "TYPE=MyISAM";
     # It would sure be nice to have some logging mechanism.      # It would sure be nice to have some logging mechanism.
     $dbh->do($make_metadata_table);      unless ($dbh->do($make_metadata_table)) {
    print LOG "\nMySQL Error Create: ".$dbh->errstr."\n";
    die $dbh->errstr;
       }
 }  }
   
 # ------------------------------------------------------------- get .meta files  # ------------------------------------------------------------- get .meta files
Line 273  closedir RESOURCES; Line 288  closedir RESOURCES;
   
 #  #
 # Create the statement handlers we need  # Create the statement handlers we need
 my $delete_sth = $dbh->prepare  
     ("DELETE FROM metadata WHERE url LIKE BINARY ?");  
   
 my $insert_sth = $dbh->prepare  my $insert_sth = $dbh->prepare
     ("INSERT INTO metadata VALUES (".      ("INSERT INTO newmetadata VALUES (".
      "?,".   # title       "?,".   # title
      "?,".   # author       "?,".   # author
      "?,".   # subject       "?,".   # subject
      "?,".   # m2???       "?,".   # declutter url
      "?,".   # version       "?,".   # version
      "?,".   # current       "?,".   # current
      "?,".   # notes       "?,".   # notes
Line 291  my $insert_sth = $dbh->prepare Line 304  my $insert_sth = $dbh->prepare
      "?,".   # creationdate       "?,".   # creationdate
      "?,".   # revisiondate       "?,".   # revisiondate
      "?,".   # owner       "?,".   # owner
      "?)"    # copyright       "?,".   # copyright
        "?,".   # count
        "?,".   # course
        "?,".   # course_list
        "?,".   # goto
        "?,".   # goto_list
        "?,".   # comefrom
        "?,".   # comefrom_list
        "?,".   # usage
        "?,".   # usage_list
        "?,".   # stdno
        "?,".   # stdno_list
        "?,".   # avetries
        "?,".   # avetries_list
        "?,".   # difficulty
        "?,"    # difficulty_list
      );       );
   
 foreach my $user (@homeusers) {  foreach my $user (@homeusers) {
     print LOG "\n=== User: ".$user."\n\n";      print LOG "\n=== User: ".$user."\n\n";
     # Remove left-over db-files from potentially crashed searchcat run  
     my $prodir=&propath($perlvar{'lonDefDomain'},$user);      my $prodir=&propath($perlvar{'lonDefDomain'},$user);
     unlink($prodir.'/nohist_new_resevaldata.db');  
     # Use find.pl      # Use find.pl
     undef @metalist;      undef @metalist;
     @metalist=();      @metalist=();
Line 311  foreach my $user (@homeusers) { Line 338  foreach my $user (@homeusers) {
         my $ref=&metadata($m);          my $ref=&metadata($m);
         my $m2='/res/'.&declutter($m);          my $m2='/res/'.&declutter($m);
         $m2=~s/\.meta$//;          $m2=~s/\.meta$//;
         &dynamicmeta($m2);  
   if ($ref->{'obsolete'}) { print LOG "obsolete\n"; next; }    if ($ref->{'obsolete'}) { print LOG "obsolete\n"; next; }
  if ($ref->{'copyright'} eq 'private') { print LOG "private\n"; next; }   if ($ref->{'copyright'} eq 'private') { print LOG "private\n"; next; }
           my %dyn=&dynamicmeta($m2);
  &count($m2);   &count($m2);
         $delete_sth->execute($m2);          unless ($insert_sth->execute(
         $insert_sth->execute($ref->{'title'},       $ref->{'title'},
                              $ref->{'author'},                               $ref->{'author'},
                              $ref->{'subject'},                               $ref->{'subject'},
                              $m2,                               $m2,
Line 329  foreach my $user (@homeusers) { Line 356  foreach my $user (@homeusers) {
                              sqltime($ref->{'creationdate'}),                               sqltime($ref->{'creationdate'}),
                              sqltime($ref->{'lastrevisiondate'}),                               sqltime($ref->{'lastrevisiondate'}),
                              $ref->{'owner'},                               $ref->{'owner'},
                              $ref->{'copyright'});                               $ref->{'copyright'},
 #        if ($dbh->err()) {       $dyn{'count'},
 #            print STDERR "Error:".$dbh->errstr()."\n";       $dyn{'course'},
 #        }       $dyn{'course_list'},
        $dyn{'goto'},
        $dyn{'goto_list'},
        $dyn{'comefrom'},
        $dyn{'comefrom_list'},
        $dyn{'usage'},
        $dyn{'usage_list'},
        $dyn{'stdno'},
        $dyn{'stdno_list'},
        $dyn{'avetries'},
        $dyn{'avetries_list'},
        $dyn{'difficulty'},
        $dyn{'difficulty_list'}     
        )) {
       print LOG "\nMySQL Error Insert: ".$dbh->errstr."\n";
       die $dbh->errstr;
    }
         $ref = undef;          $ref = undef;
     }      }
       
     # --------------------------------------------------- Clean up database  
     # Need to, perhaps, remove stale SQL database records.  
     # ... not yet implemented  
           
     # ------------------------------------------- Copy over the new db-files  
     #  
   
     system('mv '.$prodir.'/nohist_new_resevaldata.db '.  
    $prodir.'/nohist_resevaldata.db');  
   
 }  }
 # --------------------------------------------------- Close database connection  # --------------------------------------------------- Close database connection
 $dbh->disconnect;  $dbh->do("DROP TABLE IF EXISTS metadata");
   unless ($dbh->do("RENAME TABLE newmetadata TO metadata")) {
       print LOG "\nMySQL Error Rename: ".$dbh->errstr."\n";
       die $dbh->errstr;
   }
   unless ($dbh->disconnect) {
       print LOG "\nMySQL Error Disconnect: ".$dbh->errstr."\n";
       die $dbh->errstr;
   }
 print LOG "\n==== Searchcat completed ".localtime()." ====\n";  print LOG "\n==== Searchcat completed ".localtime()." ====\n";
 close(LOG);  close(LOG);
 &writesimple();  &writesimple();
Line 363  exit 0; Line 403  exit 0;
 # significantly altered from subroutine present in lonnet  # significantly altered from subroutine present in lonnet
 sub metadata {  sub metadata {
     my ($uri,$what)=@_;      my ($uri,$what)=@_;
     my %metacache;      my %metacache=();
     $uri=&declutter($uri);      $uri=&declutter($uri);
     my $filename=$uri;      my $filename=$uri;
     $uri=~s/\.meta$//;      $uri=~s/\.meta$//;
Line 477  sub unsqltime { Line 517  sub unsqltime {
     return $timestamp;      return $timestamp;
 }  }
   
   # ----------------- Code to enable 'find' subroutine listing of the .meta files
   
   no strict "vars";
   
   sub wanted {
       (($dev,$ino,$mode,$nlink,$uid,$gid) = lstat($_)) &&
            -f _ &&
            /^.*\.meta$/ && !/^.+\.\d+\.[^\.]+\.meta$/ &&
            push(@metalist,"$dir/$_");
   }
Removed from v.1.41  
changed lines
  Added in v.1.47

FreeBSD-CVSweb <freebsd-cvsweb@FreeBSD.org>
500 Internal Server Error

Internal Server Error

The server encountered an internal error or misconfiguration and was unable to complete your request.

Please contact the server administrator at root@localhost to inform them of the time this error occurred, and the actions you performed just before this error.

More information about this error may be available in the server error log.