Diff for /loncom/interface/lonsearchcat.pm between versions 1.19 and 1.233

version 1.19, 2001/03/15 18:49:45 version 1.233, 2004/09/23 21:16:45
Line 1 Line 1
 # The LearningOnline Network  # The LearningOnline Network with CAPA
 # Search Catalog  # Search Catalog
 #  #
 # 03/08/2001 Scott Harrison  # $Id$
 #  #
   # Copyright Michigan State University Board of Trustees
   #
   # This file is part of the LearningOnline Network with CAPA (LON-CAPA).
   #
   # LON-CAPA is free software; you can redistribute it and/or modify
   # it under the terms of the GNU General Public License as published by
   # the Free Software Foundation; either version 2 of the License, or
   # (at your option) any later version.
   #
   # LON-CAPA is distributed in the hope that it will be useful,
   # but WITHOUT ANY WARRANTY; without even the implied warranty of
   # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
   # GNU General Public License for more details.
   #
   # You should have received a copy of the GNU General Public License
   # along with LON-CAPA; if not, write to the Free Software
   # Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
   #
   # /home/httpd/html/adm/gpl.txt
   #
   # http://www.lon-capa.org/
   #
   ###############################################################################
   ###############################################################################
   
   =pod 
   
   =head1 NAME
   
   lonsearchcat - LONCAPA Search Interface
   
   =head1 SYNOPSIS
   
   Search interface to LON-CAPAs digital library
   
   =head1 DESCRIPTION
   
   This module enables searching for a distributed browseable catalog.
   
   This is part of the LearningOnline Network with CAPA project
   described at http://www.lon-capa.org.
   
   lonsearchcat presents the user with an interface to search the LON-CAPA
   digital library.  lonsearchcat also initiates the execution of a search
   by sending the search parameters to LON-CAPA servers.  The progress of 
   search (on a server basis) is displayed to the user in a separate window.
   
   =head1 Internals
   
   =over 4
   
   =cut
   
   ###############################################################################
   ###############################################################################
   
 package Apache::lonsearchcat;  package Apache::lonsearchcat;
   
 use strict;  use strict;
 use Apache::Constants qw(:common);  use Apache::Constants qw(:common :http);
 use Apache::lonnet();  use Apache::lonnet();
 use Apache::File();  use Apache::File();
 use CGI qw(:standard);  use CGI qw(:standard);
   use Text::Query;
   use GDBM_File;
   use Apache::loncommon();
   use Apache::lonmysql();
   use Apache::lonmeta;
   use Apache::lonhtmlcommon;
   use Apache::lonlocal;
   use LONCAPA::lonmetadata();
   use HTML::Entities();
   use Parse::RecDescent;
   use Apache::lonnavmaps;
   
   ######################################################################
   ######################################################################
   ##
   ## Global variables
   ##
   ######################################################################
   ######################################################################
   my %groupsearch_db;  # Database hash used to save values for the 
                        # groupsearch RAT interface.
   my %persistent_db;   # gdbm hash which holds data which is supposed to
                        # persist across calls to lonsearchcat.pm
   
   # The different view modes and associated functions
   
   my %Views = ("detailed" => \&detailed_citation_view,
        "summary"  => \&summary_view,
        "fielded"  => \&fielded_format_view,
        "xml"      => \&xml_sgml_view,
        "compact"  => \&compact_view);
   
 my %language;  ######################################################################
 my $scrout;  ######################################################################
 my %metadatafields;  
 my %cprtag;  
 my %mimetag;  
   
 sub handler {  sub handler {
     my $r = shift;      my $r = shift;
   #    &set_defaults();
       #
       # set form defaults
       #
       my $hidden_fields;# Hold all the hidden fields used to keep track
                         # of the search system state
       my $importbutton; # button to take the selected results and go to group 
                         # sorting
       my $diropendb;    # The full path to the (temporary) search database file.
                         # This is set and used in &handler() and is also used in 
                         # &output_results().
       my $bodytag;  # LON-CAPA standard body tag, gotten from 
                     # &Apache::lonnet::bodytag. 
                     # No title, no table, just a <body> tag.
   
       my $loaderror=&Apache::lonnet::overloaderror($r);
       if ($loaderror) { return $loaderror; }
       #
       my $closebutton;  # button that closes the search window 
                         # This button is different for the RAT compared to
                         # normal invocation.
       #
       &Apache::loncommon::content_type($r,'text/html');
       $r->send_http_header;
       return OK if $r->header_only;
       ##
       ## Prevent caching of the search interface window.  Hopefully this means
       ## we will get the launch=1 passed in a little more.
       &Apache::loncommon::no_cache($r);
       ## 
       ## Pick up form fields passed in the links.
       ##
       &Apache::loncommon::get_unprocessed_cgi($ENV{'QUERY_STRING'},
                ['catalogmode','launch','acts','mode','form','element','pause',
                 'phase','persistent_db_id','table','start','show',
                 'cleargroupsort','titleelement']);
       ##
       ## The following is a trick - we wait a few seconds if asked to so
       ##     the daemon running the search can get ahead of the daemon
       ##     printing the results.  We only need (theoretically) to do
       ##     this once, so the pause indicator is deleted
       ##
       if (exists($ENV{'form.pause'})) {
           sleep(1);
           delete($ENV{'form.pause'});
       }
       ##
       ## Initialize global variables
       ##
       my $domain  = $r->dir_config('lonDefDomain');
       $diropendb= "/home/httpd/perl/tmp/".
           "$ENV{'user.domain'}_$ENV{'user.name'}_searchcat.db";
       #
       # set the name of the persistent database
       #          $ENV{'form.persistent_db_id'} can only have digits in it.
       if (! exists($ENV{'form.persistent_db_id'}) ||
           ($ENV{'form.persistent_db_id'} =~ /\D/) ||
           ($ENV{'form.launch'} eq '1')) {
           $ENV{'form.persistent_db_id'} = time;
       }
       $bodytag=&Apache::loncommon::bodytag(undef,undef,undef,1);
       my $persistent_db_file = "/home/httpd/perl/tmp/".
           &Apache::lonnet::escape($domain).
               '_'.&Apache::lonnet::escape($ENV{'user.name'}).
                   '_'.$ENV{'form.persistent_db_id'}.'_persistent_search.db';
       ##
       &Apache::lonhtmlcommon::clear_breadcrumbs();
       if (exists($ENV{'request.course.id'}) && $ENV{'request.course.id'} ne '') {
           &Apache::lonhtmlcommon::add_breadcrumb
                ({href=>'/adm/searchcat?'.
                      'catalogmode='.$ENV{'form.catalogmode'}.
                      '&launch='.$ENV{'form.launch'}.
                      '&mode='.$ENV{'form.mode'},
                 text=>"Course and Catalog Search",
                 target=>'_top',
                 bug=>'Searching',});
       } else {
           &Apache::lonhtmlcommon::add_breadcrumb
                ({href=>'/adm/searchcat?'.
                      'catalogmode='.$ENV{'form.catalogmode'}.
                      '&launch='.$ENV{'form.launch'}.
                      '&mode='.$ENV{'form.mode'},
                 text=>"Catalog Search",
                 target=>'_top',
                 bug=>'Searching',});
       }
       #
       if ($ENV{'form.phase'} !~ m/(basic|adv|course)_search/) {
           if (! &get_persistent_form_data($persistent_db_file)) {
               if ($ENV{'form.phase'} =~ /(run_search|results)/) {
                   &Apache::lonnet::logthis('lonsearchcat:'.
                                            'Unable to recover data from '.
                                            $persistent_db_file);
                   $r->print(<<END);
   <html>
   <head><title>LON-CAPA Search Error</title></head>
   $bodytag
   We were unable to retrieve data describing your search.  This is a serious
   error and has been logged.  Please alert your LON-CAPA administrator.
   </body>
   </html>
   END
                   return OK;
               }
           }
       } else {
           &clean_up_environment();
       }
       ##
       ## Clear out old values from groupsearch database
       ##
       untie %groupsearch_db if (tied(%groupsearch_db));
       if (($ENV{'form.cleargroupsort'} eq '1') || 
           (($ENV{'form.launch'} eq '1') && 
            ($ENV{'form.catalogmode'} eq 'groupsearch'))) {
    if (tie(%groupsearch_db,'GDBM_File',$diropendb,&GDBM_WRCREAT(),0640)) {
       &start_fresh_session();
       untie %groupsearch_db;
               delete($ENV{'form.cleargroupsort'});
    } else {
               # This is a stupid error to give to the user.  
               # It really tells them nothing.
       $r->print('<html><head></head>'.$bodytag.
                         'Unable to tie hash to db file</body></html>');
       return OK;
    }
       }
       ##
       ## Configure hidden fields
       ##
       $hidden_fields = '<input type="hidden" name="persistent_db_id" value="'.
           $ENV{'form.persistent_db_id'}.'" />'."\n";
       if (exists($ENV{'form.catalogmode'})) {
           $hidden_fields .= &hidden_field('catalogmode');
       }
       if (exists($ENV{'form.form'})) {
           $hidden_fields .= &hidden_field('form');
       }
       if (exists($ENV{'form.element'})) {
           $hidden_fields .= &hidden_field('element');
       }
       if (exists($ENV{'form.titleelement'})) {
           $hidden_fields .= &hidden_field('titleelement');
       }
       if (exists($ENV{'form.mode'})) {
           $hidden_fields .= &hidden_field('mode');
       }
       ##
       ## Configure dynamic components of interface
       ##
       if ($ENV{'form.catalogmode'} eq 'interactive') {
           $closebutton="<input type='button' name='close' value='CLOSE' ";
           if ($ENV{'form.phase'} =~ /(results|run_search)/) {
       $closebutton .="onClick='parent.close()'";
           } else {
               $closebutton .="onClick='self.close()'";
           }
           $closebutton .=">\n";
       } elsif ($ENV{'form.catalogmode'} eq 'groupsearch') {
           $closebutton="<input type='button' name='close' value='CLOSE' ";
           if ($ENV{'form.phase'} =~ /(results|run_search)/) {
       $closebutton .="onClick='parent.close()'";
           } else {
               $closebutton .="onClick='self.close()'";
           }
           $closebutton .= ">";
           $importbutton=<<END;
   <input type='button' name='import' value='IMPORT'
   onClick='javascript:select_group()'>
   END
       } else {
           $closebutton = '';
           $importbutton = '';
       }
       ##
       ## Sanity checks on form elements
       ##
       if (!defined($ENV{'form.viewselect'})) {
           if (($ENV{'form.catalogmode'} eq 'groupsearch') ||
               ($ENV{'form.catalogmode'} eq 'interactive')) {
               $ENV{'form.viewselect'} ="Compact View";
           } else {
               $ENV{'form.viewselect'} ="Detailed Citation View";
           }
       }
       $ENV{'form.phase'} = 'disp_basic' if (! exists($ENV{'form.phase'}));
       $ENV{'form.show'} = 20 if (! exists($ENV{'form.show'}));
       #
       $ENV{'form.searchmode'} = 'basic' if (! exists($ENV{'form.searchmode'}));
       if ($ENV{'form.phase'} eq 'adv_search' ||
           $ENV{'form.phase'} eq 'disp_adv') {
           $ENV{'form.searchmode'} = 'advanced';
       } elsif ($ENV{'form.phase'} eq 'course_search') {
           $ENV{'form.searchmode'} = 'course_search';
       }
       #
       if ($ENV{'form.searchmode'} eq 'advanced') {
           &Apache::lonhtmlcommon::add_breadcrumb
               ({href=>'/adm/searchcat?phase=disp_adv&'.
                     'catalogmode='.$ENV{'form.catalogmode'}.
                     '&launch='.$ENV{'form.launch'}.
                     '&mode='.$ENV{'form.mode'},
                     text=>"Advanced Search",
                     bug=>'Searching',});
       } elsif ($ENV{'form.searchmode'} eq 'course search') {
           &Apache::lonhtmlcommon::add_breadcrumb
               ({href=>'/adm/searchcat?phase=disp_adv&'.
                     'catalogmode='.$ENV{'form.catalogmode'}.
                     '&launch='.$ENV{'form.launch'}.
                     '&mode='.$ENV{'form.mode'},
                     text=>"Course Search",
                     bug=>'Searching',});
       }
       ##
       ## Switch on the phase
       ##
       if ($ENV{'form.phase'} eq 'disp_basic') {
           &print_basic_search_form($r,$closebutton,$hidden_fields);
       } elsif ($ENV{'form.phase'} eq 'disp_adv') {
           &print_advanced_search_form($r,$closebutton,$hidden_fields);
       } elsif ($ENV{'form.phase'} eq 'results') {
           &display_results($r,$importbutton,$closebutton,$diropendb);
       } elsif ($ENV{'form.phase'} =~ /^(sort|run_search)$/) {
           my ($query,$customquery,$customshow,$libraries,$pretty_string) =
               &get_persistent_data($persistent_db_file,
                    ['query','customquery','customshow',
                     'libraries','pretty_string']);
           if ($ENV{'form.phase'} eq 'sort') {
               &print_sort_form($r,$pretty_string);
           } elsif ($ENV{'form.phase'} eq 'run_search') {
               &run_search($r,$query,$customquery,$customshow,
                           $libraries,$pretty_string);
           }
       } elsif ($ENV{'form.phase'} eq 'course_search') {
           &course_search($r);
       } elsif(($ENV{'form.phase'} eq 'basic_search') ||
               ($ENV{'form.phase'} eq 'adv_search')) {
           #
           # We are running a search, try to parse it
           my ($query,$customquery,$customshow,$libraries) = 
               (undef,undef,undef,undef);
           my $pretty_string;
           if ($ENV{'form.phase'} eq 'basic_search') {
               ($query,$pretty_string,$libraries) = 
                   &parse_basic_search($r,$closebutton,$hidden_fields);
               return OK if (! defined($query));
               &make_persistent({ basicexp => $ENV{'form.basicexp'}},
                                $persistent_db_file);
           } else {                      # Advanced search
               ($query,$customquery,$customshow,$libraries,$pretty_string) 
                   = &parse_advanced_search($r,$closebutton,$hidden_fields);
               return OK if (! defined($query));
           }
           &make_persistent({ query => $query,
                              customquery => $customquery,
                              customshow => $customshow,
                              libraries => $libraries,
                              pretty_string => $pretty_string },
                            $persistent_db_file);
           #
           # Set up table
           if (! defined(&create_results_table())) {
       my $errorstring=&Apache::lonmysql::get_error();
               &Apache::lonnet::logthis('lonsearchcat.pm: Unable to create '.
                                        'needed table.  lonmysql error:'.
                                        $errorstring);
               $r->print(<<END);
   <html><head><title>Search Error</title></head>
   $bodytag
   Unable to create table in which to store search results.  
   The search has been aborted.
   </body>
   </html>
   END
               return OK;
           }
           delete($ENV{'form.launch'});
           if (! &make_form_data_persistent($r,$persistent_db_file)) {
               $r->print(<<END);
   <html><head><title>Search Error</title></head>
   $bodytag
   Unable to properly store search information.  The search has been aborted.
   </body>
   </html>
   END
               return OK;
           }
           ##
           ## Print out the frames interface
           ##
           if (defined($query)) {
               &print_frames_interface($r);
           }
       }
       return OK;
   } 
   
   #
   # The mechanism used to store values away and retrieve them does not
   # handle the case of missing environment variables being significant.
   #
   # This routine sets non existant checkbox form elements to ''.
   #
   sub clean_up_environment {
       if ($ENV{'form.phase'} eq 'basic_search') {
           if (! exists($ENV{'form.related'})) {
               $ENV{'form.related'} = '';
           }
           if (! exists($ENV{'form.domains'})) {
               $ENV{'form.domains'} = '';
           }
       } elsif ($ENV{'form.phase'} eq 'adv_search') {
           foreach my $field ('title','keywords','notes',
                              'abstract','standards','mime') {
               if (! exists($ENV{'form.'.$field.'_related'})) {
                   $ENV{'form.'.$field.'_related'} = '';
               }
           }
       } elsif ($ENV{'form.phase'} eq 'course_search') {
           if (! exists($ENV{'form.crsrelated'})) {
               $ENV{'form.crsrelated'} = '';
           }
       }
   }
   
   sub hidden_field {
       my ($name,$value) = @_;
       if (! defined($value)) {
           $value = $ENV{'form.'.$name};
       }
       return '<input type="hidden" name="'.$name.'" value="'.$value.'" />'.$/;
   }
   
   ######################################################################
   ######################################################################
   ##
   ##   Course Search
   ##
   ######################################################################
   ######################################################################
   {   # Scope the course search to avoid global variables
   #
   # Variables For course search
   my %alreadyseen;
   my %hash;
   my $totalfound;
   
   sub course_search {
       my $r=shift;
       my $bodytag=&Apache::loncommon::bodytag('Course Search');
       my $pretty_search_string = '<b>'.$ENV{'form.courseexp'}.'</b>';
       my $search_string = $ENV{'form.courseexp'};
       my @New_Words;
       if ($ENV{'form.crsrelated'}) {
           ($search_string,@New_Words) = &related_version($ENV{'form.courseexp'});
           if (@New_Words) {
               $pretty_search_string .= ' '.&mt("with related words").": <b>@New_Words</b>.";
           } else {
               $pretty_search_string .= ' '.&mt('with no related words').".";
           }
       }
       my $fulltext=$ENV{'form.crsfulltext'};
       my $discuss=$ENV{'form.crsdiscuss'};
       my @allwords=($search_string,@New_Words);
       $totalfound=0;
       $r->print('<html><head><title>LON-CAPA Course Search</title></head>'.
         $bodytag.'<hr /><center><font size="+2" face="arial">'.$pretty_search_string.'</font></center><hr /><b>'.&mt('Course content').':</b><br />');
       $r->rflush();
   # ======================================================= Go through the course
       undef %alreadyseen;
       %alreadyseen=();
       my $c=$r->connection;
       if (tie(%hash,'GDBM_File',$ENV{'request.course.fn'}.".db",
               &GDBM_READER(),0640)) {
           foreach (keys %hash) {
               if ($c->aborted()) { last; }
               if (($_=~/^src\_(.+)$/) && (!$alreadyseen{$hash{$_}})) {
                   &checkonthis($r,$hash{$_},0,$hash{'title_'.$1},$fulltext,
                                @allwords);
               }
           }
           untie(%hash);
       }
       unless ($totalfound) {
    $r->print('<p>'.&mt('No matches found in resources').'.</p>');
       }
   
 # -------------------------------------- see if called from an interactive mode  # Check discussions if requested
     map {      if ($discuss) {
        my ($name, $value) = split(/=/,$_);          my $totaldiscussions = 0;
        $value =~ tr/+/ /;          $r->print('<br /><br /><b>'.&mt('Discussion postings').':</b><br />'); 
        $value =~ s/%([a-fA-F0-9][a-fA-F0-9])/pack("C",hex($1))/eg;          my $navmap = Apache::lonnavmaps::navmap->new();
        if ($name eq 'catalogmode') {          my @allres=$navmap->retrieveResources();
    $ENV{'form.'.$name}=$value;          my %discussiontime = &Apache::lonnet::dump('discussiontimes',
                                  $ENV{'course.'.$ENV{'request.course.id'}.'.domain'},
                                  $ENV{'course.'.$ENV{'request.course.id'}.'.num'});
           foreach my $resource (@allres) {
               my $result = '';
               my $applies = 0;
               my $symb = $resource->symb();
               my $ressymb = $symb;
               if ($symb =~ m#(___adm/\w+/\w+)/(\d+)/bulletinboard$#) {
                   $ressymb = 'bulletin___'.$2.$1.'/'.$2.'/bulletinboard';
                   unless ($ressymb =~ m#bulletin___\d+___adm/wrapper#) {
                       $ressymb=~s#(bulletin___\d+___)#$1adm/wrapper/#;
                   }
               }
               if (defined($discussiontime{$ressymb})) { 
                   my %contrib = &Apache::lonnet::restore($ressymb,$ENV{'request.course.id'},
                        $ENV{'course.'.$ENV{'request.course.id'}.'.domain'},
                        $ENV{'course.'.$ENV{'request.course.id'}.'.num'});
                   if ($contrib{'version'}) {
                       for (my $id=1;$id<=$contrib{'version'};$id++) {
                           unless (($contrib{'hidden'}=~/\.$id\./) || ($contrib{'deleted'}=~/\.$id\./)) { 
                               if ($contrib{$id.':subject'}) {
                                   $result .= $contrib{$id.':subject'};
                               }
                               if ($contrib{$id.':message'}) {
                                   $result .= $contrib{$id.':message'};
                               }
                               if ($contrib{$id,':attachmenturl'}) {
                                   if ($contrib{$id,':attachmenturl'} =~ m-/([^/]+)$-) {
                                       $result .= $1;
                                   }
                               }
                               $applies = &checkwords($result,$applies,@allwords);
                           }
                       }
                   }
               }
   # Does this discussion apply?
               if ($applies) {
                   my ($map,$ind,$url)=&Apache::lonnet::decode_symb($ressymb);
                   my $disctype = &mt('resource');
                   if ($url =~ m#/bulletinboard$#) {
                       if ($url =~m#^adm/wrapper/adm/.*/bulletinboard$#) {
                           $url =~s#^adm/wrapper##;
                       }
                       $disctype = &mt('bulletin board');
                   } else {
                       $url = '/res/'.$url;
                   }
                   if ($url =~ /\?/) {
                       $url .= '&symb=';
                   } else {
                       $url .= '?symb=';
                   }
                   $url .= &Apache::lonnet::escape($resource->symb());
                   my $title = $resource->compTitle();
                   $r->print('<br /><a href="'.$url.'" target="cat">'.
                        ($title?$title:$url).'</a>&nbsp;&nbsp;-&nbsp;'.$disctype.'<br />');
                   $totaldiscussions++;
               } else {
                   $r->print(' .');
               }
           }
           unless ($totaldiscussions) {
               $r->print('<p>'.&mt('No matches found in postings').'.</p>');
           }
       }
    
   # =================================================== Done going through course
       $r->print('</body></html>');
   }
   
   # =============================== This pulls up a resource and its dependencies
   
   sub checkonthis {
       my ($r,$url,$level,$title,$fulltext,@allwords)=@_;
       $alreadyseen{$url}=1;
       $r->rflush();
       my $result=&Apache::lonnet::metadata($url,'title').' '.
                  &Apache::lonnet::metadata($url,'subject').' '.
                  &Apache::lonnet::metadata($url,'abstract').' '.
                  &Apache::lonnet::metadata($url,'keywords');
       if (($url) && ($fulltext)) {
    $result.=&Apache::lonnet::ssi_body($url);
       }
       $result=~s/\s+/ /gs;
       my $applies = 0;
       $applies = &checkwords($result,$applies,@allwords);
   # Does this resource apply?
       if ($applies) {
          $r->print('<br />');
          for (my $i=0;$i<=$level*5;$i++) {
              $r->print('&nbsp;');
        }         }
     } (split(/&/,$ENV{'QUERY_STRING'}));         $r->print('<a href="'.$url.'" target="cat">'.
    ($title?$title:$url).'</a><br />');
          $totalfound++;
       } elsif ($fulltext) {
          $r->print(' .');
       }
       $r->rflush();
   # Check also the dependencies of this one
       my $dependencies=
                   &Apache::lonnet::metadata($url,'dependencies');
       foreach (split(/\,/,$dependencies)) {
          if (($_=~/^\/res\//) && (!$alreadyseen{$_})) {
             &checkonthis($r,$_,$level+1,'',$fulltext,@allwords);
          }
       }
   }
   
     $r->content_type('text/html');  sub checkwords {
     $r->send_http_header;      my ($result,$applies,@allwords) = @_;
     return OK if $r->header_only;      foreach (@allwords) {
           if ($_=~/\w/) {
               if ($result=~/$_/si) {
                   $applies++;
               }
           }
       }
       return $applies;
   }
   
   sub untiehash {
       if (tied(%hash)) {
           untie(%hash);
       }
   }
   
   } # End of course search scoping
   
   sub search_html_header {
       my $Str = <<ENDHEADER;
   <html>
   <head>
   <title>The LearningOnline Network with CAPA</title>
   </head>
   ENDHEADER
       return $Str;
   }
   
   ######################################################################
   ######################################################################
   
   =pod 
   
   =item &print_basic_search_form() 
   
   Prints the form for the basic search.  Sorry the name is so cryptic.
   
   =cut
   
   ######################################################################
   ######################################################################
   sub print_basic_search_form {
       my ($r,$closebutton,$hidden_fields) = @_;
       my $result = ($ENV{'form.catalogmode'} ne 'groupsearch');
       my $bodytag=&Apache::loncommon::bodytag('Search').
           &Apache::lonhtmlcommon::breadcrumbs(undef,'Searching','Search_Basic',
                                      undef,undef,
                                      $ENV{'form.catalogmode'} ne 'groupsearch');
       my $scrout = &search_html_header().$bodytag;
       if (&Apache::lonnet::allowed('bre',$ENV{'request.role.domain'})) {
           # Define interface components
           my $userelatedwords= '<label>'.
               &mt('[_1] use related words',
                   &Apache::lonhtmlcommon::checkbox
                   ('related',$ENV{'form.related'},'related')).'</label>';
           my $onlysearchdomain='<label>'.
               &mt('[_1] only search domain [_2]',
                   &Apache::lonhtmlcommon::checkbox('domains',
                                                    $ENV{'form.domains'},
                                                    $r->dir_config('lonDefDomain')
                                                    ),
                   $r->dir_config('lonDefDomain')
                   ).'</label>';
           my $adv_search_link = 
               '<a href="/adm/searchcat?'.
               'phase=disp_adv&'.
               'catalogmode='.$ENV{'form.catalogmode'}.
               '&launch='.$ENV{'form.launch'}.
               '&mode='.$ENV{'form.mode'}.
               '">'.&mt('Advanced Search').'</a>';
           #
           $scrout.='<form name="loncapa_search" method="post" '.
               'action="/adm/searchcat">'.
               '<input type="hidden" name="phase" value="basic_search" />'.
               $hidden_fields;
           #
           $scrout .= '<center>'.$/;
           if ($ENV{'request.course.id'}) {
               $scrout .= '<h1>'.&mt('LON-CAPA Catalog Search').'</h1>';
           } else {
               # No need to tell them they are searching
               $scrout.= ('<br />'x2);
           }
           $scrout.='<table>'.
               '<tr><td align="center" valign="top">'.
               &Apache::lonhtmlcommon::textbox
               ('basicexp',
                &HTML::Entities::encode($ENV{'form.basicexp'},'<>&"'),50
                ).
                '<br />'.
               '<font size="-1">'.&searchhelp().'</font>'.'</td>'.
               '<td><font size="-1">'.
               '<nobr>'.('&nbsp;'x3).$adv_search_link.'</nobr>'.'<br />'.
               '<nobr>'.('&nbsp;'x1).$userelatedwords.'</nobr>'.'<br />'.
               '<nobr>'.('&nbsp;'x1).$onlysearchdomain.'</nobr>'.'<br />'.
               '</font></td>'.
               '</tr>'.$/;
           #
           $scrout .= '<tr><td align="center" colspan="2">'.
               '<font size="-1">'.
               '<input type="submit" name="basicsubmit" '.
               'value="'.&mt('Search').'" />'.
               ('&nbsp;'x2).$closebutton.('&nbsp;'x2).
               &viewoptions().
               '</font>'.
               '</td></tr>'.$/;
           $scrout .= '</table>'.$/.'</center>'.'</form>';
       }
       if ($ENV{'request.course.id'}) {
    my %lt=&Apache::lonlocal::texthash('srch' => 'Search',
                                              'header' => 'Course Search',
    'note' => 'Enter terms or phrases, then press "Search" below',
    'use' => 'use related words',
    'full' =>'fulltext search (time consuming)',
            'disc' => 'search discussion postings (resources and bulletin boards)',
      );
           $scrout.=(<<ENDCOURSESEARCH);
   <form name="loncapa_search" method="post" action="/adm/searchcat">
   <center>
   <hr />
   <h1>$lt{'header'}</h1>    
   <input type="hidden" name="phase" value="course_search" />
   $hidden_fields
   <p>
   $lt{'note'}.
   </p>
   <p>
   <table>
   <tr><td>
   ENDCOURSESEARCH
           $scrout.='&nbsp;'.
               &Apache::lonhtmlcommon::textbox('courseexp',
                                     $ENV{'form.courseexp'},40);
           my $crscheckbox = 
               &Apache::lonhtmlcommon::checkbox('crsfulltext',
                                      $ENV{'form.crsfulltext'});
           my $relcheckbox = 
               &Apache::lonhtmlcommon::checkbox('crsrelated',
      $ENV{'form.crsrelated'});
           my $discheckbox = 
               &Apache::lonhtmlcommon::checkbox('crsdiscuss',
                                      $ENV{'form.crsrelated'});
           $scrout.=(<<ENDENDCOURSE);
   </td></tr>
   <tr><td>$relcheckbox $lt{'use'}</td><td></td></tr>
   <tr><td>$crscheckbox $lt{'full'}</td><td></td></tr>
   <tr><td>$discheckbox $lt{'disc'}</td><td></td></tr>
   </table><p>
   &nbsp;<input type="submit" name="coursesubmit" value='$lt{'srch'}' />
   </p>
   </center>
   </form>
   ENDENDCOURSE
       }
       $scrout.=(<<ENDDOCUMENT);
   </body>
   </html>
   ENDDOCUMENT
       $r->print($scrout);
       return;
   }
   ######################################################################
   ######################################################################
   
   =pod 
   
     %metadatafields=();  =item &advanced_search_form() 
   
     my $hidden='';  Prints the advanced search form.
     $hidden=<<END if $ENV{'form.catalogmode'} eq 'interactive';  
 <input type='hidden' name='catalogmode' value='interactive'>  =cut
   
   ######################################################################
   ######################################################################
   sub print_advanced_search_form{
       my ($r,$closebutton,$hidden_fields) = @_;
       my $bodytag=&Apache::loncommon::bodytag('Advanced Catalog Search').
           &Apache::lonhtmlcommon::breadcrumbs(undef,'Searching',
                                               'Search_Advanced',
                                               undef,undef,
                                     $ENV{'form.catalogmode'} ne 'groupsearch');
       my %lt=&Apache::lonlocal::texthash('srch' => 'Search',
          'reset' => 'Reset',
          'help' => 'Help');
       my $advanced_buttons=<<"END";
   <input type="submit" name="advancedsubmit" value='$lt{"srch"}' />
   <input type="reset" name="reset" value='$lt{"reset"}' />
   $closebutton
 END  END
       my $scrout=&search_html_header();
       $scrout .= <<"ENDHEADER";
   $bodytag
   <form method="post" action="/adm/searchcat" name="advsearch">
   <p>
   $advanced_buttons
   ENDHEADER
       $scrout.=('&nbsp;'x2).&viewoptions().'</p>'.$hidden_fields. 
           '<input type="hidden" name="phase" value="adv_search" />';
       my %fields=&Apache::lonmeta::fieldnames();
       #
       $scrout .= '<h3>'.&mt('Standard Metadata').'</h3>';
       $scrout .= "<table>\n";
       $scrout .= '<tr><td>&nbsp;</td><td colspan="2"><font size="-1">'.
           ('&nbsp;'x2).&searchhelp()."</font></td></tr>\n";
       my %related_word_search = 
           ('title'    => 1,
            'author'   => 0,
            'owner'    => 0,
            'authorspace'  => 0,
            'modifyinguser'=> 0,
            'keywords' => 1,
            'notes'    => 1,
            'abstract' => 1,
            'standards'=> 1,
            'mime'     => 1,
            );
       #
       foreach my $field ('title','author','owner','authorspace','modifyinguser',
        'keywords','notes','abstract','standards','mime') {
    $scrout.='<tr><td align="right">'.&titlefield($fields{$field}).'</td><td>'.
       &Apache::lonmeta::prettyinput($field,
                                             $ENV{'form.'.$field},
                                             $field,
                                             'advsearch',
     $related_word_search{$field},
                                             '</td><td align="left">',
                                             $ENV{'form.'.$field.'_related'},
                                             50);
           if ($related_word_search{$field}) {
               $scrout .= 'related words';
           } else {
               $scrout .= '</td><td>&nbsp;';
           }
           $scrout .= '</td></tr>'.$/;
       }
       foreach my $field ('lowestgradelevel','highestgradelevel') {
    $scrout.='<tr>'.
               '<td align="right">'.&titlefield($fields{$field}).'</td>'.
               '<td colspan="2">'.
       &Apache::lonmeta::prettyinput($field,
                                             $ENV{'form.'.$field},
                                             $field,
                                             'advsearch',
     0).
                                             '</td></tr>'.$/;
       }
       $scrout.='<tr><td align="right">'.
    &titlefield(&mt('MIME Type Category')).'</td><td colspan="2">'. 
       &Apache::loncommon::filecategoryselect('category',
      $ENV{'form.category'}).
       '</td></tr>'.$/;
       $scrout.='<tr><td align="right" valign="top">'.
    &titlefield(&mt('Domains')).'</td><td colspan="2">'. 
       &Apache::loncommon::domain_select('domains',
      $ENV{'form.domains'},1).
       '</td></tr>'.$/;
       #
       # Misc metadata
       $scrout.='<tr><td align="right" valign="top">'.
    &titlefield(&mt('Copyright/Distribution')).'</td><td colspan="2">'.
           &Apache::lonmeta::selectbox('copyright',
                                       $ENV{'form.copyright'},
                                       \&Apache::loncommon::copyrightdescription,
                                       ( undef,
                                         &Apache::loncommon::copyrightids)
                                       ).'</td></tr>'.$/;
       $scrout.='<tr><td align="right" valign="top">'.
    &titlefield(&mt('Language')).'</td><td colspan="2">'.
           &Apache::lonmeta::selectbox('language',
                                       $ENV{'form.language'},
                                       \&Apache::loncommon::languagedescription,
                                       ('any',&Apache::loncommon::languageids)
                                       ).'</td></tr>';
       $scrout .= "</table>\n";    
       #
       # Dynamic metadata
       $scrout .= '<h3>'.&mt('Problem Statistics').'</h3>';
       $scrout .= "<table>\n";
       $scrout .= '<tr><td>&nbsp;</td><td align="center">'.&mt('Minimum').'</td>'.
           '<td align="center">'.&mt('Maximum').'</td></tr>'."\n";
       foreach my $statistic 
           ({ name=>'count',
              description=>'Network-wide number of accesses (hits)',},
            { name=>'stdno',
              description=>
                  'Total number of students who have worked on this problem',},
            { name => 'avetries',
              description=>'Average number of tries till solved',},
            { name => 'difficulty',
              description=>'Degree of difficulty',},
            { name => 'disc',
              description=>'Degree of discrimination'}) {
           $scrout .= '<tr><td align="right">'.
               &titlefield(&mt($statistic->{'description'})).
               '</td><td align="center">'.
               '<input type="text" name="'.$statistic->{'name'}.'_min" '.
               'value="" size="6" />'.
               '</td><td align="center">'.
               '<input type="text" name="'.$statistic->{'name'}.'_max" '.
               'value="" size="6" />'.
               '</td></tr>'.$/;
       }
       $scrout .= "</table>\n";
       $scrout .= '<h3>'.&mt('Evaluation Data').'</h3>';
       $scrout .= "<table>\n";
       $scrout .= '<tr><td>&nbsp;</td><td align="center">'.&mt('Minimum').'</td>'.
           '<td align="center">'.&mt('Maximum').'</td></tr>'."\n";
       foreach my $evaluation
           ( { name => 'clear',
               description => 'Material presented in clear way'},
             { name =>'depth',
               description => 'Material covered with sufficient depth'},
             { name => 'helpful',
               description => 'Material is helpful'},
             { name => 'correct',
               description => 'Material appears to be correct'},
             { name => 'technical',
               description => 'Resource is technically correct'}){
           $scrout .= '<tr><td align="right">'.
               &titlefield(&mt($evaluation->{'description'})).
               '</td><td align="center">'.
               '<input type="text" name="'.$evaluation->{'name'}.'_min" '.
               'value="" size="6" />'.
               '</td><td align="center">'.
               '<input type="text" name="'.$evaluation->{'name'}.'_max" '.
               'value="" size="6" />'.
               '</td></tr>'.$/;
       }
       $scrout .= "</table>\n";
       #
       # Creation/Modification date limits
       $scrout .= '<h3>'.&mt('Creation and Modification dates').'</h3>';
       $scrout .= "\n<table>\n";
       my $cafter = 
           &Apache::lonhtmlcommon::date_setter('advsearch',         # formname
                                               'creationdate1', # fieldname
                                               0,           # current value
                                               '',          # special 
                                               1,           # includeempty
                                               '',          # state
                                               1,           # no_hh_mm_ss
                                               );
       my $cbefore = 
           &Apache::lonhtmlcommon::date_setter('advsearch',         # formname
                                               'creationdate2', # fieldname
                                               0,           # current value
                                               '',          # special 
                                               1,           # includeempty
                                               '',          # state
                                               1,           # no_hh_mm_ss
                                               );
       $scrout .= &mt('<tr><td align="right">Created between</td>'.
                      '<td>[_1]</td></tr>'.
                      '<tr><td align="right">and </td>'.
                      '<td>[_2]</td></tr>',$cafter,$cbefore);
       my $lafter = 
           &Apache::lonhtmlcommon::date_setter('advsearch',
                                               'revisiondate1', 
                                               0,           # current value
                                               '',          # special 
                                               1,           # includeempty
                                               '',          # state
                                               1,           # no_hh_mm_ss
                                               );
       my $lbefore = 
           &Apache::lonhtmlcommon::date_setter('advsearch',
                                               'revisiondate2',
                                               0,           # current value
                                               '',          # special 
                                               1,           # includeempty
                                               '',          # state
                                               1,           # no_hh_mm_ss
                                               );
       $scrout .= &mt('<tr><td align="right">Last modified between </td>'.
                      '<td>[_1]</td></tr>'.
                      '<tr><td align="right">and</td>'.
                      '<td>[_2]</td></tr>',$lafter,$lbefore);
       $scrout.="</table>\n";
       $scrout.=<<ENDDOCUMENT;
   $advanced_buttons
   </form>
   </body>
   </html>
   ENDDOCUMENT
       $r->print($scrout);
       return;
   }
   
 # ------------------------------------------------ First, check out environment  ######################################################################
     $metadatafields{'owner'}=$ENV{'user.name'}.'@'.$ENV{'user.domain'};  ######################################################################
   
 # --------------------------------- Compute various listings of metadata values  =pod 
       
     %language=();  =item &titlefield()
     $language{'any'}='Any language';  
     {  Inputs: title text
  my $fh=Apache::File->new($r->dir_config('lonTabDir').'/language.tab');  
  map {  Outputs: titletext with font wrapper
     $_=~/(\w+)\s+([\w\s\-]+)/;  
     $language{$1}=$2;  =cut
  } <$fh>;  
   ######################################################################
   ######################################################################
   sub titlefield {
       my $title=shift;
       return $title;
   }
   
   ######################################################################
   ######################################################################
   
   =pod 
   
   =item viewoptiontext()
   
   Inputs: codename for view option
   
   Outputs: displayed text
   
   =cut
   
   ######################################################################
   ######################################################################
   sub viewoptiontext {
       my $code=shift;
       my %desc=&Apache::lonlocal::texthash
           ('detailed' => "Detailed Citation View",
            'xml' => 'XML/SGML',
            'compact' => 'Compact View',
            'fielded' => 'Fielded Format',
            'summary' => 'Summary View');
       return $desc{$code};
   }
   
   ######################################################################
   ######################################################################
   
   =pod 
   
   =item viewoptions()
   
   Inputs: none
   
   Outputs: text for box with view options
   
   =cut
   
   ######################################################################
   ######################################################################
   sub viewoptions {
       my $scrout;
       if (! defined($ENV{'form.viewselect'})) { 
           $ENV{'form.viewselect'}='detailed'; 
       }
       $scrout.=&Apache::lonmeta::selectbox('viewselect',
    $ENV{'form.viewselect'},
    \&viewoptiontext,
    sort(keys(%Views)));
       $scrout.= '&nbsp;&nbsp;';
       my $countselect = &Apache::lonmeta::selectbox('show',
                                                     $ENV{'form.show'},
                                                     undef,
                                                     (10,20,50,100,1000,10000));
       $scrout .= ('&nbsp;'x2).&mt('[_1] Records per Page',$countselect).
           '</nobr>'.$/;
       return $scrout;
   }
   
   ######################################################################
   ######################################################################
   
   =pod 
   
   =item searchhelp()
   
   Inputs: none
   
   Outputs: return little blurb on how to enter searches
   
   =cut
   
   ######################################################################
   ######################################################################
   sub searchhelp {
       return &mt('Enter words and quoted phrases');
   }
   
   ######################################################################
   ######################################################################
   
   =pod 
   
   =item &get_persistent_form_data()
   
   Inputs: filename of database
   
   Outputs: returns undef on database errors.
   
   This function is the reverse of &make_persistent() for form data.
   Retrieve persistent data from %persistent_db.  Retrieved items will have their
   values unescaped.  If a form value already exists in $ENV, it will not be
   overwritten.  Form values that are array references may have values appended
   to them.
   
   =cut
   
   ######################################################################
   ######################################################################
   sub get_persistent_form_data {
       my $filename = shift;
       return 0 if (! -e $filename);
       return undef if (! tie(%persistent_db,'GDBM_File',$filename,
                              &GDBM_READER(),0640));
       #
       # These make sure we do not get array references printed out as 'values'.
       my %arrays_allowed = ('form.domains'=>1);
       #
       # Loop through the keys, looking for 'form.'
       foreach my $name (keys(%persistent_db)) {
           next if ($name !~ /^form./);
           # Kludgification begins!
           if ($name eq 'form.domains' && 
               $ENV{'form.searchmode'} eq 'basic' &&
               $ENV{'form.phase'} ne 'disp_basic') {
               next;
           }
           # End kludge (hopefully)
           next if (exists($ENV{$name}));
           my @values = map { 
               &Apache::lonnet::unescape($_);
           } split(',',$persistent_db{$name});
           next if (@values <1);
           if ($arrays_allowed{$name}) {
               $ENV{$name} = [@values];
           } else {
               $ENV{$name} = $values[0] if ($values[0]);
           }
     }      }
       untie (%persistent_db);
       return 1;
   }
   
   ######################################################################
   ######################################################################
   
   =pod 
   
   =item &get_persistent_data()
   
     %cprtag=();  Inputs: filename of database, ref to array of values to recover.
     $cprtag{'any'}='Any copyright/distribution';  
     {  Outputs: array of values.  Returns undef on error.
  my $fh=Apache::File->new($r->dir_config('lonIncludes').'/copyright.tab');  
  map {  This function is the reverse of &make_persistent();
     $_=~/(\w+)\s+([\w\s\-]+)/;  Retrieve persistent data from %persistent_db.  Retrieved items will have their
     $cprtag{$1}=$2;  values unescaped.  If the item contains commas (before unescaping), the
  } <$fh>;  returned value will be an array pointer. 
   
   =cut
   
   ######################################################################
   ######################################################################
   sub get_persistent_data {
       my $filename = shift;
       my @Vars = @{shift()};
       my @Values;   # Return array
       return undef if (! -e $filename);
       return undef if (! tie(%persistent_db,'GDBM_File',$filename,
                              &GDBM_READER(),0640));
       foreach my $name (@Vars) {
           if (! exists($persistent_db{$name})) {
               push @Values, undef;
               next;
           }
           my @values = map { 
               &Apache::lonnet::unescape($_);
           } split(',',$persistent_db{$name});
           if (@values <= 1) {
               push @Values,$values[0];
           } else {
               push @Values,\@values;
           }
     }      }
       untie (%persistent_db);
       return @Values;
   }
   
   ######################################################################
   ######################################################################
   
     %mimetag=();  =pod 
     $mimetag{'any'}='Any type';  
     {  =item &make_persistent() 
  my $fh=Apache::File->new($r->dir_config('lonTabDir').'/filetypes.tab');  
  map {  Inputs: Hash of values to save, filename of persistent database.
     $_=~/(\w+)\s+(\w+)\s+([\w\s\-]+)/;  
     $mimetag{$1}=".$1 $3";  Store variables away to the %persistent_db.
  } <$fh>;  Values will be escaped.  Values that are array pointers will have their
   elements escaped and concatenated in a comma separated string.  
   
   =cut
   
   ######################################################################
   ######################################################################
   sub make_persistent {
       my %save = %{shift()};
       my $filename = shift;
       return undef if (! tie(%persistent_db,'GDBM_File',
                              $filename,&GDBM_WRCREAT(),0640));
       foreach my $name (keys(%save)) {
           my @values = (ref($save{$name}) ? @{$save{$name}} : ($save{$name}));
           # We handle array references, but not recursively.
           my $store = join(',', map { &Apache::lonnet::escape($_); } @values );
           $persistent_db{$name} = $store;
     }      }
       untie(%persistent_db);
       return 1;
   }
   
   ######################################################################
   ######################################################################
   
   =pod 
   
     if ($ENV{'form.basicsubmit'} eq 'SEARCH') {  =item &make_form_data_persistent() 
  return &basicsearch($r,\%ENV);  
   Inputs: filename of persistent database.
   
   Store most form variables away to the %persistent_db.
   Values will be escaped.  Values that are array pointers will have their
   elements escaped and concatenated in a comma separated string.  
   
   =cut
   
   ######################################################################
   ######################################################################
   sub make_form_data_persistent {
       my $r = shift;
       my $filename = shift;
       my %save;
       foreach (keys(%ENV)) {
           next if (!/^form/ || /submit/);
           $save{$_} = $ENV{$_};
     }      }
     elsif ($ENV{'form.advancedsubmit'} eq 'SEARCH') {      return &make_persistent(\%save,$filename);
  return &advancedsearch($r,\%ENV);  }
   
   ######################################################################
   ######################################################################
   
   =pod 
   
   =item &parse_advanced_search()
   
   Parse advanced search form and return the following:
   
   =over 4
   
   =item $query Scalar containing an SQL query.
   
   =item $customquery Scalar containing a custom query.
   
   =item $customshow Scalar containing commands to show custom metadata.
   
   =item $libraries_to_query Reference to array of domains to search.
   
   =back
   
   =cut
   
   ######################################################################
   ######################################################################
   sub parse_advanced_search {
       my ($r,$closebutton,$hidden_fields)=@_;
       my @BasicFields = ('title','author','subject','keywords','url','version',
                          'notes','abstract','extension','owner','authorspace',
   #                       'custommetadata','customshow',
                          'modifyinguser','standards','mime');
       my @StatsFields = &statfields();
       my @EvalFields = &evalfields();
       my $fillflag=0;
       my $pretty_search_string = "";
       # Clean up fields for safety
       for my $field (@BasicFields,
                      'creationdatestart_month','creationdatestart_day',
      'creationdatestart_year','creationdateend_month',
      'creationdateend_day','creationdateend_year',
      'lastrevisiondatestart_month','lastrevisiondatestart_day',
      'lastrevisiondatestart_year','lastrevisiondateend_month',
      'lastrevisiondateend_day','lastrevisiondateend_year') {
    $ENV{'form.'.$field}=~s/[^\w\/\s\(\)\=\-\"\']//g;
       }
       foreach ('mode','form','element') {
    # is this required?  Hmmm.
    next if (! exists($ENV{'form.'.$_}));
    $ENV{'form.'.$_}=&Apache::lonnet::unescape($ENV{'form.'.$_});
    $ENV{'form.'.$_}=~s/[^\w\/\s\(\)\=\-\"\']//g;
       }
       # Preprocess the category form element.
       $ENV{'form.category'} = 'any' if (! defined($ENV{'form.category'}) ||
                                         ref($ENV{'form.category'}));
       #
       # Check to see if enough information was filled in
       foreach my $field (@BasicFields) {
    if (&filled($ENV{'form.'.$field})) {
       $fillflag++;
    }
       }
       foreach my $field (@StatsFields,@EvalFields) {
           if (&filled($ENV{'form.'.$field.'_max'})) {
               $fillflag++;
           }
           if (&filled($ENV{'form.'.$field.'_min'})) {
               $fillflag++;
           }
     }      }
   
     $scrout=''; # building a part of screen output      for my $field ('lowestgradelevel','highestgradelevel') {
     $scrout.=&searchphrasefield('Limit by title','title',          if ( $ENV{'form.'.$field} =~ /^\d+$/ &&
  $ENV{'form.title'});               $ENV{'form.'.$field} > 0) {
               $fillflag++;
           }
       }
       if (! $fillflag) {
    &output_blank_field_error($r,$closebutton,
                                     'phase=disp_adv',$hidden_fields);
    return ;
       }
       # Turn the form input into a SQL-based query
       my $query='';
       my @queries;
       my $font = '<font color="#800000" face="helvetica">';
       # Evaluate logical expression AND/OR/NOT phrase fields.
       foreach my $field (@BasicFields) {
    next if (!defined($ENV{'form.'.$field}) || $ENV{'form.'.$field} eq '');
           my ($error,$SQLQuery) = 
               &process_phrase_input($ENV{'form.'.$field},
                                     $ENV{'form.'.$field.'_related'},$field);
           if (defined($error)) {
               &output_unparsed_phrase_error($r,$closebutton,'phase=disp_adv',
                                            $hidden_fields,$field);
               return;
           } else {
               $pretty_search_string .= 
                   $font.$field.'</font>: '.$ENV{'form.'.$field};
               if ($ENV{'form.'.$field.'_related'}) {
                   my @Words = 
                       &Apache::loncommon::get_related_words
                       ($ENV{'form.'.$field});
                   if (@Words) {
                       $pretty_search_string.= ' with related words: '.
                           join(', ',@Words[0..4]);
                   } else {
                       $pretty_search_string.= ' with related words.';
                   }
               }
               $pretty_search_string .= '<br />';
               push (@queries,$SQLQuery);
           }
       }
       #
       # Make the 'mime' from 'form.category' and 'form.extension'
       #
       my $searchphrase;
       if (exists($ENV{'form.category'})    && 
           $ENV{'form.category'} !~ /^\s*$/ &&
           $ENV{'form.category'} ne 'any')     {
           my @extensions = &Apache::loncommon::filecategorytypes
                                                      ($ENV{'form.category'});
           if (scalar(@extensions) > 0) {
               $searchphrase = join(' OR ',@extensions);
           }
       }
       if (defined($searchphrase)) {
           my ($error,$SQLsearch) = &process_phrase_input($searchphrase,0,'mime');
           push @queries,$SQLsearch;
           $pretty_search_string .=$font.'mime</font> contains <b>'.
               $searchphrase.'</b><br />';
       }
       #
       # Evaluate option lists
       if ($ENV{'form.lowestgradelevel'}        &&
           $ENV{'form.lowestgradelevel'} ne '0' &&
           $ENV{'form.lowestgradelevel'} =~ /^\d+$/) {
    push(@queries,
                '(lowestgradelevel>='.$ENV{'form.lowestgradelevel'}.')');
           $pretty_search_string.="lowestgradelevel>=".
               $ENV{'form.lowestgradelevel'}."<br />\n";
       }
       if ($ENV{'form.highestgradelevel'}        &&
           $ENV{'form.highestgradelevel'} ne '0' &&
           $ENV{'form.highestgradelevel'} =~ /^\d+$/) {
    push(@queries,
                '(highestgradelevel<='.$ENV{'form.highestgradelevel'}.')');
           $pretty_search_string.="highestgradelevel<=".
               $ENV{'form.highestgradelevel'}."<br />\n";
       }
       if ($ENV{'form.language'} and $ENV{'form.language'} ne 'any') {
    push @queries,"(language like \"$ENV{'form.language'}\")";
           $pretty_search_string.=$font."language</font>= ".
               &Apache::loncommon::languagedescription($ENV{'form.language'}).
                   "<br />\n";
       }
       if ($ENV{'form.copyright'} and $ENV{'form.copyright'} ne 'any') {
    push @queries,"(copyright like \"$ENV{'form.copyright'}\")";
           $pretty_search_string.=$font."copyright</font> = ".
               &Apache::loncommon::copyrightdescription($ENV{'form.copyright'}).
                   "<br />\n";
       }
       #
       # Statistics
       foreach my $field (@StatsFields,@EvalFields) {
           my ($min,$max);
           if (exists($ENV{'form.'.$field.'_min'}) && 
               $ENV{'form.'.$field.'_min'} ne '') {
               $min = $ENV{'form.'.$field.'_min'};
           }
           if (exists($ENV{'form.'.$field.'_max'}) &&
               $ENV{'form.'.$field.'_max'} ne '') {
               $max = $ENV{'form.'.$field.'_max'};
           }
           next if (! defined($max) && ! defined($min));
           if (defined($min) && defined($max)) {
               ($min,$max) = sort {$a <=>$b} ($min,$max);
           }
           if (defined($min) && $min =~ /^(\d+\.\d+|\d+|\.\d+)$/) {
               push(@queries,'('.$field.'>'.$min.')');
               $pretty_search_string.=$font.$field.'</font>&gt;'.$min.'<br />';
           }
           if (defined($max) && $max =~ /^(\d+\.\d+|\d+|\.\d+)$/) {
               push(@queries,'('.$field.'<'.$max.')');
               $pretty_search_string.=$font.$field.'</font>&lt;'.$max.'<br />';
           }
       }
       #
       # Evaluate date windows
       my $cafter =
           &Apache::lonhtmlcommon::get_date_from_form('creationdate1');
       my $cbefore = 
           &Apache::lonhtmlcommon::get_date_from_form('creationdate2');
       if ($cafter > $cbefore) {
           my $tmp = $cafter;
           $cafter = $cbefore;
           $cbefore = $tmp;
       }
       my $mafter = 
           &Apache::lonhtmlcommon::get_date_from_form('revisiondate1');
       my $mbefore =
           &Apache::lonhtmlcommon::get_date_from_form('revisiondate2');
       if ($mafter > $mbefore) {
           my $tmp = $mafter;
           $mafter = $mbefore;
           $mbefore = $tmp;
       }
       my ($datequery,$error,$prettydate)=&build_date_queries($cafter,$cbefore,
                                                              $mafter,$mbefore);
       if (defined($error)) {
           &output_date_error($r,$error,$closebutton,$hidden_fields);
       } elsif (defined($datequery)) {
           # Here is where you would set up pretty_search_string to output
           # date query information.
           $pretty_search_string .= '<br />'.$prettydate.'<br />';
    push @queries,$datequery;
       }
       #
       # Process form information for custom metadata querying
       my $customquery=undef;
       ##
       ## The custom metadata search was removed q long time ago mostly 
       ## because I was unable to figureout exactly how it worked and could
       ## not imagine people actually using it.  MH
       ##
       # if ($ENV{'form.custommetadata'}) {
       #    $pretty_search_string .=$font."Custom Metadata Search</font>: <b>".
       #    $ENV{'form.custommetadata'}."</b><br />\n";
       #    $customquery=&build_custommetadata_query('custommetadata',
       #                                             $ENV{'form.custommetadata'});
       # }
       my $customshow=undef;
       # if ($ENV{'form.customshow'}) {
       # $pretty_search_string .=$font."Custom Metadata Display</font>: <b>".
       #                         $ENV{'form.customshow'}."</b><br />\n";
       #    $customshow=$ENV{'form.customshow'};
       #    $customshow=~s/[^\w\s]//g;
       #    my @fields=split(/\s+/,$customshow);
       #    $customshow=join(" ",@fields);
       # }
       ##
       ## Deal with restrictions to given domains
       ## 
       my ($libraries_to_query,$pretty_domains_string) = 
           &parse_domain_restrictions();
       $pretty_search_string .= $pretty_domains_string."<br />\n";
       #
       if (@queries) {
    $query="SELECT * FROM metadata WHERE (".join(") AND (",@queries).')';
       } elsif ($customquery) {
           $query = '';
       }
       # &Apache::lonnet::logthis('query = '.$/.$query);
       return ($query,$customquery,$customshow,$libraries_to_query,
               $pretty_search_string);
   }
   
     $scrout.=&searchphrasefield('Limit by author','author',  sub parse_domain_restrictions {
  $ENV{'form.author'});      my $libraries_to_query = undef;
       # $ENV{'form.domains'} can be either a scalar or an array reference.
       # We need an array.
       if (! exists($ENV{'form.domains'}) || $ENV{'form.domains'} eq '') {
           return (undef,'');
       }
       my @allowed_domains;
       if (ref($ENV{'form.domains'})) {
           @allowed_domains =  @{$ENV{'form.domains'}};
       } else {
           @allowed_domains = ($ENV{'form.domains'});
       }
       #
       my %domain_hash = ();
       my $pretty_domains_string;
       foreach (@allowed_domains) {
           $domain_hash{$_}++;
       }
       if ($domain_hash{'any'}) {
           $pretty_domains_string = "In all LON-CAPA domains.";
       } else {
           if (@allowed_domains > 1) {
               $pretty_domains_string = "In LON-CAPA domains:";
           } else {
               $pretty_domains_string = "In LON-CAPA domain ";
           }
           foreach (sort @allowed_domains) {
               $pretty_domains_string .= "<b>".$_."</b> ";
           }
           foreach (keys(%Apache::lonnet::libserv)) {
               if (exists($domain_hash{$Apache::lonnet::hostdom{$_}})) {
                   push @$libraries_to_query,$_;
               }
           }
       }
       return ($libraries_to_query,$pretty_domains_string);
   }
   
     $scrout.=&searchphrasefield('Limit by subject','subject',  ######################################################################
  $ENV{'form.subject'});  ######################################################################
   
     $scrout.=&searchphrasefield('Limit by keywords','keywords',  =pod 
  $ENV{'form.keywords'});  
   
     $scrout.=&searchphrasefield('Limit by URL','url',  =item &parse_basic_search() 
  $ENV{'form.url'});  
   
     $scrout.=&searchphrasefield('Limit by version','version',  Parse the basic search form and return a scalar containing an sql query.
  $ENV{'form.version'});  
   
     $scrout.=&searchphrasefield('Limit by notes','notes',  =cut
  $ENV{'form.notes'});  
   
     $scrout.=&searchphrasefield('Limit by abstract','abstract',  ######################################################################
  $ENV{'form.abstract'});  ######################################################################
   sub parse_basic_search {
       my ($r,$closebutton)=@_;
       #
       # Clean up fields for safety
       for my $field ('basicexp') {
    $ENV{"form.$field"}=~s/[^\w\s\'\"\!\(\)\-]//g;
       }
       foreach ('mode','form','element') {
    # is this required?  Hmmm.
    next unless (exists($ENV{"form.$_"}));
    $ENV{"form.$_"}=&Apache::lonnet::unescape($ENV{"form.$_"});
    $ENV{"form.$_"}=~s/[^\w\/\s\(\)\=\-\"\']//g;
       }
       my ($libraries_to_query,$pretty_domains_string) = 
           &parse_domain_restrictions();
       #
       # Check to see if enough of a query is filled in
       my $search_string = $ENV{'form.basicexp'};
       if (! &filled($search_string)) {
    &output_blank_field_error($r,$closebutton,'phase=disp_basic');
    return OK;
       }
       my $pretty_search_string=$search_string;
       my @Queries;
       my $searchfield = 'concat_ws(" ",'.join(',',
                                               ('title','author','subject',
                                                'notes','abstract','keywords')
                                               ).')';
       my ($error,$SQLQuery) = &process_phrase_input($search_string,
                                                       $ENV{'form.related'},
                                                       $searchfield);
       if ($error) {
           &output_unparsed_phrase_error($r,$closebutton,'phase=disp_basic',
                                         '','basicexp');
           return;
       }
       push(@Queries,$SQLQuery);
       #foreach my $q (@Queries) {
       #    &Apache::lonnet::logthis('    '.$q);
       #}
       my $final_query = 'SELECT * FROM metadata WHERE '.join(" AND ",@Queries);
       #
       if (defined($pretty_domains_string) && $pretty_domains_string ne '') {
           $pretty_search_string .= ' '.$pretty_domains_string;
       }
       $pretty_search_string .= "<br />\n";
       $pretty_search_string =~ s:^<br /> and ::;
       # &Apache::lonnet::logthis($final_query);
       return ($final_query,$pretty_search_string,
               $libraries_to_query);
   }
   
     $ENV{'form.mime'}='notxxx' unless length($ENV{'form.mime'});  
     $scrout.=&selectbox('Limit by MIME type','mime',  
  $ENV{'form.mime'},%mimetag);  
   
     $ENV{'form.language'}='any' unless length($ENV{'form.language'});  ###############################################################
   ###############################################################
   
     $scrout.=&selectbox('Limit by language','language',  my @Phrases;
  $ENV{'form.language'},%language);  
       
   
 # ------------------------------------------------ Compute date selection boxes  sub concat {
     $scrout.=<<CREATIONDATESTART;      my ($item) = @_;
 <p>      my $results = '';
 <font color="#800000" face="helvetica"><b>LIMIT BY CREATION DATE RANGE:</b>      foreach (@$item) {
 </font>          if (ref($_) eq 'ARRAY') {
 <br>              $results .= join(' ',@$_);
 between:          }
 CREATIONDATESTART      }
     $scrout.=&dateboxes('creationdatestart',1,1,1976,      return $results;
  $ENV{'form.creationdatestart_month'},  }
  $ENV{'form.creationdatestart_day'},  
  $ENV{'form.creationdatestart_year'},  
  );  
     $scrout.=<<CREATIONDATEEND;  
 and:  
 CREATIONDATEEND  
     $scrout.=&dateboxes('creationdateend',12,31,2051,  
  $ENV{'form.creationdateend_month'},  
  $ENV{'form.creationdateend_day'},  
  $ENV{'form.creationdateend_year'},  
  );  
     $scrout.="</p>";  
   
     $scrout.=<<LASTREVISIONDATESTART;  sub process_phrase_input {
 <p>      my ($phrase,$related,$field)=@_;
 <font color="#800000" face="helvetica"><b>LIMIT BY LAST REVISION DATE RANGE:      #&Apache::lonnet::logthis('phrase = :'.$phrase.':');
 </b></font>      my $grammar = <<'ENDGRAMMAR';
 <br>between:      searchphrase:
 LASTREVISIONDATESTART          expression /^\Z/ {
     $scrout.=&dateboxes('lastrevisiondatestart',1,1,1976,              # &Apache::lonsearchcat::print_item(\@item,0);
  $ENV{'form.lastrevisiondatestart_month'},              [@item];
  $ENV{'form.lastrevisiondatestart_day'},          }
  $ENV{'form.lastrevisiondatestart_year'},      expression:
  );          phrase(s)   {
     $scrout.=<<LASTREVISIONDATEEND;              [@item];
 and:          }
 LASTREVISIONDATEEND      phrase:
     $scrout.=&dateboxes('lastrevisiondateend',12,31,2051,          orword {
  $ENV{'form.lastrevisiondateend_month'},              [@item];
  $ENV{'form.lastrevisiondateend_day'},          }
  $ENV{'form.lastrevisiondateend_year'},        | andword {
  );              [@item];
     $scrout.='</p>';          }
         | minusword {
     $scrout.=&searchphrasefield('Limit by publisher/owner','owner',              unshift(@::Phrases,$item[1]->[0]);
  $ENV{'form.owner'});              unshift(@::Phrases,$item[1]->[1]);
 # $metadatafields{'owner'});              [@item];
           }
     $ENV{'form.copyright'}='any' unless length($ENV{'form.copyright'});        | word {
     $scrout.=&selectbox('Limit by copyright/distribution','copyright',              unshift(@::Phrases,$item[1]);
  $ENV{'form.copyright'},%cprtag);              [@item];
           } 
       #
       orword:
           word 'OR' phrase {
               unshift(@::Phrases,'OR');
               unshift(@::Phrases,$item[1]);
               [@item];
           }
           | word 'or' phrase {
               unshift(@::Phrases,'OR');
               unshift(@::Phrases,$item[1]);
               [@item];
           }    
           | minusword 'OR' phrase {
               unshift(@::Phrases,'OR');
               unshift(@::Phrases,$item[1]->[0]);
               unshift(@::Phrases,$item[1]->[1]);
               [@item];
           }
           | minusword 'or' phrase {
               unshift(@::Phrases,'OR');
               unshift(@::Phrases,$item[1]->[0]);
               unshift(@::Phrases,$item[1]->[1]);
               [@item];
           }    
       andword:
           word phrase {
               unshift(@::Phrases,'AND');
               unshift(@::Phrases,$item[1]);
               [@item];
           }
           | minusword phrase {
               unshift(@::Phrases,'AND');
               unshift(@::Phrases,$item[1]->[0]);
               unshift(@::Phrases,$item[1]->[1]);
               [@item];
           }
       #
       minusword:
           '-' word {
               [$item[2],'NOT'];
           }
       word:
           "'" term(s) "'" {
             &Apache::lonsearchcat::concat(\@item);
           }
         | '"' term(s) '"' {
             &Apache::lonsearchcat::concat(\@item);
           }
         | term {
               $item[1];
           }
       term:
           /[\w\Q:!@#$%^&*()+_=|{}<>,.;\\\/?\E]+/ {
               $item[1];
           }
   ENDGRAMMAR
       #
       # The end result of parsing the phrase with the grammar is an array
       # @::Phrases.
       # $phrase = "gene splicing" or cat -> "gene splicing","OR","cat"
       # $phrase = "genetic engineering" -dna ->
       #                      "genetic engineering","AND","NOT","dna"
       # $phrase = cat or dog -poodle -> "cat","OR","dog","AND","NOT","poodle"
       undef(@::Phrases);
       my $p = new Parse::RecDescent($grammar);
       if (! defined($p->searchphrase($phrase))) {
           &Apache::lonnet::logthis('lonsearchcat:unable to process:'.$phrase);
           return 'Unable to process phrase '.$phrase;
       }
       #
       # Go through the phrases and make sense of them.  
       # Apply modifiers NOT OR and AND to the phrases.
       my @NewPhrases;
       while(@::Phrases) {
           my $phrase = shift(@::Phrases);
           # &Apache::lonnet::logthis('phrase = '.$phrase);
           my $phrasedata;
           if ($phrase =~ /^(NOT|OR|AND)$/) {
               if ($phrase eq 'OR') {
                   $phrasedata->{'or'}++;
                   if (! @::Phrases) { $phrasedata = undef; last; }
                   $phrase = shift(@::Phrases);
               } elsif ($phrase eq 'AND') {
                   $phrasedata->{'and'}++;
                   if (! @::Phrases) { $phrasedata = undef; last; }
                   $phrase = shift(@::Phrases);
               }
               if ($phrase eq 'NOT') {
                   $phrasedata->{'negate'}++;
                   if (! @::Phrases) { $phrasedata = undef; last; }
                   $phrase = shift(@::Phrases);
               }
           }
           $phrasedata->{'phrase'} = $phrase;
           if ($related) {
               my @NewWords;
               (undef,@NewWords) = &related_version($phrasedata->{'phrase'});
               $phrasedata->{'related_words'} = \@NewWords;
           }
           push(@NewPhrases,$phrasedata);
       }
       #
       # Actually build the sql query from the phrases
       my $SQLQuery;
       foreach my $phrase (@NewPhrases) {
           my $query;
           if ($phrase->{'negate'}) {
               $query .= $field.' NOT LIKE "%'.$phrase->{'phrase'}.'%"';
           } else {
               $query .= $field.' LIKE "%'.$phrase->{'phrase'}.'%"';
           }
           foreach my $related (@{$phrase->{'related_words'}}) {
               if ($phrase->{'negate'}) {
                   $query .= ' AND '.$field.' NOT LIKE "%'.$related.'%"';
               } else {
                   $query .= ' OR '.$field.' LIKE "%'.$related.'%"';
               }
           }
           if ($SQLQuery) {
               if ($phrase->{'or'}) {
                   $SQLQuery .= ' OR ('.$query.')';
               } else {
                   $SQLQuery .= ' AND ('.$query.')';
               }
           } else {
               $SQLQuery = '('.$query.')';
           }
       }
       #
       # &Apache::lonnet::logthis("SQLQuery = $SQLQuery");
       #
       return undef,$SQLQuery;
   }
   
 # ------------------------------------------- Compute customized metadata field  ######################################################################
     $scrout.=<<CUSTOMMETADATA;  ######################################################################
 <p>  
 <font color="#800000" face="helvetica"><b>LIMIT BY OTHER METADATA FIELDS:</b>  =pod 
 </font>  
 For author-specific metadata, enter in an expression in the form of   =item &related_version()
 <i>key</i>=<i>value</i> separated by operators such as AND or OR.<br>  
 <b>Example:</b> grandmother=75 OR grandfather=85  Modifies an input string to include related words.  Words in the string
 <br>  are replaced with parenthesized lists of 'OR'd words.  For example
 CUSTOMMETADATA  "torque" is replaced with "(torque OR word1 OR word2 OR ...)".  
 $scrout.=&simpletextfield('custommetadata',$ENV{'form.custommetadata'});  
 $scrout.=' <i>initial users of this system do not need to worry about this option</i>';  Note: Using this twice on a string is probably silly.
   
   =cut
   
   ######################################################################
   ######################################################################
   sub related_version {
       my ($word) = @_;
       return (undef) if (lc($word) =~ /\b(or|and|not)\b/);
       my @Words = &Apache::loncommon::get_related_words($word);
       # Only use 4 related words
       @Words = ($#Words>4? @Words[0..4] : @Words);
       my $result = join " OR ", ($word,@Words);
       return $result,sort(@Words);
   }
   
   
   ######################################################################
   ######################################################################
   
   =pod 
   
 # ---------------------------------------------------------------- Print screen  =item &build_custommetadata_query() 
     $r->print(<<ENDDOCUMENT);  
   Constructs a custom metadata query using a rather heinous regular
   expression.
   
   =cut
   
   ######################################################################
   ######################################################################
   sub build_custommetadata_query {
       my ($field_name,$logic_statement)=@_;
       my $q=new Text::Query('abc',
     -parse => 'Text::Query::ParseAdvanced',
     -build => 'Text::Query::BuildAdvancedString');
       $q->prepare($logic_statement);
       my $matchexp=${$q}{'-parse'}{'-build'}{'matchstring'};
       # quick fix to change literal into xml tag-matching
       # will eventually have to write a separate builder module
       # wordone=wordtwo becomes\<wordone\>[^\<] *wordtwo[^\<]*\<\/wordone\>
       $matchexp =~ s/(\w+)\\=([\w\\\+]+)?# wordone=wordtwo is changed to 
                    /\\<$1\\>?#           \<wordone\>
                      \[\^\\<\]?#        [^\<]         
                      \*$2\[\^\\<\]?#           *wordtwo[^\<]
                      \*\\<\\\/$1\\>?#                        *\<\/wordone\>
                      /g;
       return $matchexp;
   }
   
   
   ######################################################################
   ######################################################################
   
   =pod 
   
   =item &build_date_queries() 
   
   Builds a SQL logic query to check time/date entries.
   Also reports errors (check for /^Incorrect/).
   
   =cut
   
   ######################################################################
   ######################################################################
   sub build_date_queries {
       my ($cafter,$cbefore,$mafter,$mbefore) = @_;
       my ($result,$error,$pretty_string);
       #
       # Verify the input
       if (! defined($cafter) && ! defined($cbefore) &&
           ! defined($mafter) && ! defined($mbefore)) {
           # This is an okay situation, so return undef for the error
           return (undef,undef,undef);
       }
       if ((defined($cafter)  && ! defined($cbefore)) ||
           (defined($cbefore) && ! defined($cafter))) {
           # This is bad, so let them know
           $error = &mt('Incorrect entry for the creation date.  '.
                       'You must specify both the beginning and ending dates.');
       }
       if (! defined($error) && 
           ((defined($mafter)  && ! defined($mbefore)) ||
           (defined($mbefore) && ! defined($mafter)))) {
           # This is also bad, so let them know
           $error = &mt('Incorrect entry for the last revision date.  '.
                        'You must specify both the beginning and ending dates.');
       }
       if (! defined($error)) {
           #
           # Build the queries
           my @queries;
           if (defined($cbefore) && defined($cafter)) {
               my (undef,undef,undef,$caday,$camon,$cayear) = localtime($cafter);
               my (undef,undef,undef,$cbday,$cbmon,$cbyear) = localtime($cbefore);
               # Correct for year being relative to 1900
               $cayear+=1900; $cbyear+=1900;
               my $cquery=
                   '(creationdate BETWEEN '.
                   "'".$cayear.'-'.$camon.'-'.$caday."'".
                   ' AND '.
                   "'".$cbyear.'-'.$cbmon.'-'.$cbday." 23:59:59')";
               $pretty_string .= '<br />' if (defined($pretty_string));
               $pretty_string .= 
                   &mt('created between [_1] and [_2]',
                       &Apache::lonlocal::locallocaltime($cafter),
                       &Apache::lonlocal::locallocaltime($cbefore+24*60*60-1));
               push(@queries,$cquery);
               $pretty_string =~ s/ 00:00:00//g;
           }
           if (defined($mbefore) && defined($mafter)) {
               my (undef,undef,undef,$maday,$mamon,$mayear) = localtime($mafter);
               my (undef,undef,undef,$mbday,$mbmon,$mbyear) = localtime($mbefore);
               # Correct for year being relative to 1900
               $mayear+=1900; $mbyear+=1900;
               my $mquery=
                   '(lastrevisiondate BETWEEN '.
                   "'".$mayear.'-'.$mamon.'-'.$maday."'".
                   ' AND '.
                   "'".$mbyear.'-'.$mbmon.'-'.$mbday." 23:59:59')";
               push(@queries,$mquery);
               $pretty_string .= '<br />' if (defined($pretty_string));
               $pretty_string .= 
                   &mt('last revised between [_1] and [_2]',
                       &Apache::lonlocal::locallocaltime($mafter),
                       &Apache::lonlocal::locallocaltime($mbefore+24*60*60-1));
               $pretty_string =~ s/ 00:00:00//g;
           }
           if (@queries) {
               $result .= join(" AND ",@queries);
           }
       }
       return ($result,$error,$pretty_string);
   }
   
   ######################################################################
   ######################################################################
   
   =pod
   
   =item &copyright_check()
   
   Inputs: $Metadata, a hash pointer of metadata for a resource.
   
   Returns: 1 if the resource is available to the user making the query, 
            0 otherwise.
   
   =cut
   
   ######################################################################
   ######################################################################
   sub copyright_check {
       my $Metadata = shift;
       # Check copyright tags and skip results the user cannot use
       my (undef,undef,$resdom,$resname) = split('/',
                                                 $Metadata->{'url'});
       # Check for priv
       if (($Metadata->{'copyright'} eq 'priv') && 
           (($ENV{'user.name'} ne $resname) &&
            ($ENV{'user.domain'} ne $resdom))) {
           return 0;
       }
       # Check for domain
       if (($Metadata->{'copyright'} eq 'domain') &&
           ($ENV{'user.domain'} ne $resdom)) {
           return 0;
       }
       return 1;
   }
   
   ######################################################################
   ######################################################################
   
   =pod
   
   =item &ensure_db_and_table()
   
   Ensure we can get lonmysql to connect to the database and the table we
   need exists.
   
   Inputs: $r, table id
   
   Returns: undef on error, 1 if the table exists.
   
   =cut
   
   ######################################################################
   ######################################################################
   sub ensure_db_and_table {
       my ($r,$table) = @_;
       ##
       ## Sanity check the table id.
       ##
       if (! defined($table) || $table eq '' || $table =~ /\D/ ) {
           $r->print("Unable to retrieve search results.  ".
                     "Unable to determine the table results were stored in.  ".
                     "</body></html>");
           return undef;
       }
       ##
       ## Make sure we can connect and the table exists.
       ##
       my $connection_result = &Apache::lonmysql::connect_to_db();
       if (!defined($connection_result)) {
           $r->print("Unable to connect to the MySQL database where your results".
                     " are stored. </body></html>");
           &Apache::lonnet::logthis("lonsearchcat: unable to get lonmysql to".
                                    " connect to database.");
           &Apache::lonnet::logthis(&Apache::lonmysql::get_error());
           return undef;
       }
       my $table_check = &Apache::lonmysql::check_table($table);
       if (! defined($table_check)) {
           $r->print("A MySQL error has occurred.</form></body></html>");
           &Apache::lonnet::logthis("lonmysql was unable to determine the status".
                                    " of table ".$table);
           return undef;
       } elsif (! $table_check) {
           $r->print("The table of results could not be found.");
           &Apache::lonnet::logthis("The user requested a table, ".$table.
                                    ", that could not be found.");
           return undef;
       }
       return 1;
   }
   
   ######################################################################
   ######################################################################
   
   =pod
   
   =item &print_sort_form()
   
   The sort feature is not implemented at this time.  This form just prints 
   a link to change the search query.
   
   =cut
   
   ######################################################################
   ######################################################################
   sub print_sort_form {
       my ($r,$pretty_query_string) = @_;
       my $bodytag=&Apache::loncommon::bodytag(undef,undef,undef,1).
           &Apache::lonhtmlcommon::breadcrumbs
           (undef,'Searching','Searching',undef,undef,
            $ENV{'form.catalogmode'} ne 'groupsearch');
   
       ##
       my %SortableFields=&Apache::lonlocal::texthash( 
            id        => 'Default',
            title     => 'Title',
            author    => 'Author',
            subject   => 'Subject',
            url       => 'URL',
            version   => 'Version Number',
            mime      => 'Mime type',
            lang      => 'Language',
            owner     => 'Owner/Publisher',
            copyright => 'Copyright',
            hostname  => 'Host',
            creationdate     => 'Creation Date',
            lastrevisiondate => 'Revision Date'
        );
       ##
       my $table = $ENV{'form.table'};
       return if (! &ensure_db_and_table($r,$table));
       ##
       ## Get the number of results 
       ##
       my $total_results = &Apache::lonmysql::number_of_rows($table);
       if (! defined($total_results)) {
           $r->print("A MySQL error has occurred.</form></body></html>");
           &Apache::lonnet::logthis("lonmysql was unable to determine the number".
                                    " of rows in table ".$table);
           &Apache::lonnet::logthis(&Apache::lonmysql::get_error());
           return;
       }
       my $result;
       $result.=<<END;
 <html>  <html>
 <head>  <head>
 <title>The LearningOnline Network with CAPA</title>  <script>
       function change_sort() {
           var newloc = "/adm/searchcat?phase=results";
           newloc += "&persistent_db_id=$ENV{'form.persistent_db_id'}";
           newloc += "&sortby=";
           newloc += document.forms.statusform.elements.sortby.value;
           parent.resultsframe.location= newloc;
       }
   </script>
   <title>Results</title>
 </head>  </head>
 <body bgcolor="#FFFFFF">  $bodytag
 <img align=right src=/adm/lonIcons/lonlogos.gif>  <form name="statusform" action="" method="post">
 <h1>Search Catalog</h1>  <input type="hidden" name="Queue" value="" />
 <form method="post" action="/adm/searchcat">  END
 $hidden  
 <hr>  #<h2>Sort Results</h2>
 <h3>Basic Search</h3>  #Sort by: <select size="1" name="sortby" onchange="javascript:change_sort();">
 <p>  #    $ENV{'form.sortby'} = 'id' if (! defined($ENV{'form.sortby'}));
 Enter terms or phrases separated by search operators  #    foreach (keys(%SortableFields)) {
 such as AND or OR then press SEARCH below.  Terms should be specific  #        $result.="<option name=\"$_\"";
 to the title, author, subject, notes, or abstract information associated  #        if ($_ eq $ENV{'form.sortby'}) {
 with a resource.  #            $result.=" selected ";
 <br>  #        }
 ENDDOCUMENT  #        $result.=" >$SortableFields{$_}</option>\n";
     $r->print(&simpletextfield('basicexp',$ENV{'form.basicexp'}));  #    }
     $r->print(' ');  #    $result.="</select>\n";
     $r->print(&simplecheckbox('titleonly',$ENV{'form.titleonly'}));      my $revise = &revise_button();
     $r->print('<font color="#800000">Title only</font> ');      $result.=<<END;
     $r->print(&simplecheckbox('allversions',$ENV{'form.allversions'}));  
     $r->print(<<ENDDOCUMENT);  
 <font color="#800000">Search historic archives</font>  
 <br>  
 <input type="submit" name="basicsubmit" value="SEARCH">  
 <input type="reset" name="reset" value="RESET">  
 <input type="button" name="close" value="CLOSE" onClick="self.close()">  
 </p>  
 <hr>  
 <h3>Advanced Search</h3>  
 $scrout  
 <p>  <p>
 <input type="submit" name="advancedsubmit" value="SEARCH">  There are $total_results matches to your query. $revise
 <input type="reset" name="reset" value="RESET">  </p><p>
 <input type="button" name="close" value="CLOSE" onClick="self.close()">  Search:$pretty_query_string
 </p>  </p>
 </form>  </form>
 </body>  </body>
 </html>  </html>
 ENDDOCUMENT  END
     return OK;      $r->print($result);
 }       return;
   }
   
 # --------------------------------------------------------- Various form fields  #####################################################################
   #####################################################################
   
 sub textfield {  =pod
     my ($title,$name,$value)=@_;  
     return "\n<p><b>$title:</b><br>".  =item MySQL Table Description
            '<input type=text name="'.$name.'" size=80 value="'.$value.'">';  
 }  MySQL table creation requires a precise description of the data to be
   stored.  The use of the correct types to hold data is vital to efficient
 sub simpletextfield {  storage and quick retrieval of records.  The columns must be described in
     my ($name,$value)=@_;  the following format:
     return '<input type=text name="'.$name.'" size=20 value="'.$value.'">';  
 }  =cut
   
 sub simplecheckbox {  #####################################################################
     my ($name,$value)=@_;  #####################################################################
     my $checked='';  #
     $checked="CHECKED" if $value eq 'on';  # These should probably be scoped but I don't have time right now...
     return '<input type=checkbox name="'.$name.'" '. $checked . '>';  #
 }  my @Datatypes;
   my @Fullindicies;
 sub searchphrasefield {      
     my ($title,$name,$value)=@_;  ######################################################################
     my $instruction=<<END;  ######################################################################
 Enter terms or phrases separated by search operators such  
 as AND or OR.  =pod
 END  
     my $uctitle=uc($title);  =item &create_results_table()
     return "\n<p><font color=\"#800000\" face=\"helvetica\"><b>$uctitle:</b>".  
    "</FONT> $instruction<br>".  Creates the table of search results by calling lonmysql.  Stores the
            '<input type=text name="'.$name.'" size=80 value="'.$value.'">';  table id in $ENV{'form.table'}
 }  
   Inputs: none.
 sub dateboxes {  
     my ($name,$defaultmonth,$defaultday,$defaultyear,  Returns: the identifier of the table on success, undef on error.
  $currentmonth,$currentday,$currentyear)=@_;  
     ($defaultmonth,$defaultday,$defaultyear)=('','','');  =cut
     my $month=<<END;  
 <select name="${name}_month">  ######################################################################
 <option value='$defaultmonth'> </option>  ######################################################################
 <option value="1">January</option>  sub set_up_table_structure {
 <option value="2">February</option>      my ($datatypes,$fullindicies) = 
 <option value="3">March</option>          &LONCAPA::lonmetadata::describe_metadata_storage();
 <option value="4">April</option>      # Copy the table description before modifying it...
 <option value="5">May</option>      @Datatypes = @{$datatypes};
 <option value="6">June</option>      unshift(@Datatypes,{name => 'id',  
 <option value="7">July</option>          type => 'MEDIUMINT',
 <option value="8">August</option>          restrictions => 'UNSIGNED NOT NULL',
 <option value="9">September</option>          primary_key  => 'yes',
 <option value="10">October</option>          auto_inc     => 'yes' });
 <option value="11">November</option>      @Fullindicies = @{$fullindicies};
 <option value="12">December</option>      return;
 </select>  
 END  
     $month=~s/(\"$currentmonth\")/$1 SELECTED/ if length($currentmonth);  
     my $day=<<END;  
 <select name="${name}_day">  
 <option value='$defaultday'> </option>  
 <option value="1">1</option>  
 <option value="2">2</option>  
 <option value="3">3</option>  
 <option value="4">4</option>  
 <option value="5">5</option>  
 <option value="6">6</option>  
 <option value="7">7</option>  
 <option value="8">8</option>  
 <option value="9">9</option>  
 <option value="10">10</option>  
 <option value="11">11</option>  
 <option value="12">12</option>  
 <option value="13">13</option>  
 <option value="14">14</option>  
 <option value="15">15</option>  
 <option value="16">16</option>  
 <option value="17">17</option>  
 <option value="18">18</option>  
 <option value="19">19</option>  
 <option value="20">20</option>  
 <option value="21">21</option>  
 <option value="22">22</option>  
 <option value="23">23</option>  
 <option value="24">24</option>  
 <option value="25">25</option>  
 <option value="26">26</option>  
 <option value="27">27</option>  
 <option value="28">28</option>  
 <option value="29">29</option>  
 <option value="30">30</option>  
 <option value="31">31</option>  
 </select>  
 END  
     $day=~s/(\"$currentday\")/$1 SELECTED/ if length($currentday);  
     my $year=<<END;  
 <select name="${name}_year">  
 <option value='$defaultyear'> </option>  
 <option value="1976">1976</option>  
 <option value="1977">1977</option>  
 <option value="1978">1978</option>  
 <option value="1979">1979</option>  
 <option value="1980">1980</option>  
 <option value="1981">1981</option>  
 <option value="1982">1982</option>  
 <option value="1983">1983</option>  
 <option value="1984">1984</option>  
 <option value="1985">1985</option>  
 <option value="1986">1986</option>  
 <option value="1987">1987</option>  
 <option value="1988">1988</option>  
 <option value="1989">1989</option>  
 <option value="1990">1990</option>  
 <option value="1991">1991</option>  
 <option value="1992">1992</option>  
 <option value="1993">1993</option>  
 <option value="1994">1994</option>  
 <option value="1995">1995</option>  
 <option value="1996">1996</option>  
 <option value="1997">1997</option>  
 <option value="1998">1998</option>  
 <option value="1999">1999</option>  
 <option value="2000">2000</option>  
 <option value="2001">2001</option>  
 <option value="2002">2002</option>  
 <option value="2003">2003</option>  
 <option value="2004">2004</option>  
 <option value="2005">2005</option>  
 <option value="2006">2006</option>  
 <option value="2007">2007</option>  
 <option value="2008">2008</option>  
 <option value="2009">2009</option>  
 <option value="2010">2010</option>  
 <option value="2011">2011</option>  
 <option value="2012">2012</option>  
 <option value="2013">2013</option>  
 <option value="2014">2014</option>  
 <option value="2015">2015</option>  
 <option value="2016">2016</option>  
 <option value="2017">2017</option>  
 <option value="2018">2018</option>  
 <option value="2019">2019</option>  
 <option value="2020">2020</option>  
 <option value="2021">2021</option>  
 <option value="2022">2022</option>  
 <option value="2023">2023</option>  
 <option value="2024">2024</option>  
 <option value="2025">2025</option>  
 <option value="2026">2026</option>  
 <option value="2027">2027</option>  
 <option value="2028">2028</option>  
 <option value="2029">2029</option>  
 <option value="2030">2030</option>  
 <option value="2031">2031</option>  
 <option value="2032">2032</option>  
 <option value="2033">2033</option>  
 <option value="2034">2034</option>  
 <option value="2035">2035</option>  
 <option value="2036">2036</option>  
 <option value="2037">2037</option>  
 <option value="2038">2038</option>  
 <option value="2039">2039</option>  
 <option value="2040">2040</option>  
 <option value="2041">2041</option>  
 <option value="2042">2042</option>  
 <option value="2043">2043</option>  
 <option value="2044">2044</option>  
 <option value="2045">2045</option>  
 <option value="2046">2046</option>  
 <option value="2047">2047</option>  
 <option value="2048">2048</option>  
 <option value="2049">2049</option>  
 <option value="2050">2050</option>  
 <option value="2051">2051</option>  
 </select>  
 END  
     $year=~s/(\"$currentyear\")/$1 SELECTED/ if length($currentyear);  
     return "$month$day$year";  
 }  
   
 sub selectbox {  
     my ($title,$name,$value,%options)=@_;  
     my $uctitle=uc($title);  
     my $selout="\n<p><font color=\"#800000\" face=\"helvetica\"><b>$uctitle:".  
  "</b></font><br>".'<select name="'.$name.'">';  
     map {  
         $selout.='<option value="'.$_.'"';  
         if ($_ eq $value) { $selout.=' selected'; }  
         $selout.='>'.$options{$_}.'</option>';  
     } sort keys %options;  
     return $selout.'</select>';  
 }  
   
 # ------------------------------------------------ Performing a advanced search  
 sub advancedsearch {  
     my ($r,$envhash)=@_;  
     my %ENV=%{$envhash};  
   
 }  
   
 # --------------------------------------------------- Performing a basic search  
 sub basicsearch {  
     my ($r,$envhash)=@_;  
     my %ENV=%{$envhash};  
   
     my $query=$ENV{'form.basicexp'};  
     $query="select * from metadata where concat(title,\"    \",author) like '\%$ENV{'form.basicexp'}\%'";  
     my $reply=&Apache::lonnet::metadata_query($query);  
     &output_results($r,$envhash,$reply);  
     return OK;  
 }  }
   
 # ----------------------------- format and output results based on a reply list  sub create_results_table {
 sub output_results {      &set_up_table_structure();
     my ($r,$envhash,@replylist)=@_;      my $table = &Apache::lonmysql::create_table
     my %ENV=%{$envhash};          ( { columns => \@Datatypes,
     foreach my $reply (@replylist) {              FULLTEXT => [{'columns' => \@Fullindicies},],
           } );
  my @results;      if (defined($table)) {
           $ENV{'form.table'} = $table;
  my $replyfile='';          return $table;
  $reply=~/^([\.\w]+)$/; # must do since 'use strict' checks for tainting      } 
  $replyfile=$r->dir_config('lonDaemons').'/tmp/'.$1;      return undef; # Error...
  $reply=~/(.*?)\_/;  }
  my $hostname=$1;  
   
  {  
     while (1) {  
  last if -e $replyfile;  
  sleep 1;  
     }  
     # QUESTION: how should I handle this error condition..  
     # I'm sure there is syntax elsewhere I can use..  
     my $fh=Apache::File->new($replyfile) or  
  ($r->print('file cannot be opened') and return OK);  
     @results=<$fh>;  
  }  
   
  my $compiledresult='';  ######################################################################
   ######################################################################
   
  foreach my $result (@results) {  =pod
     my ($title,$author,$subject,$url,$keywords,$version,  
  $notes,$abstract,$mime,$lang,  =item Search Status update functions
  $creationdate,$lastrevisiondate,$owner,$copyright  
  )=map {&Apache::lonnet::unescape($_)} (split(/\,/,$result));  Each of the following functions changes the values of one of the
     my $shortabstract=$abstract;  input fields used to display the search status to the user.  The names
     $shortabstract=substr($abstract,0,200) if length($abstract)>200;  should be explanatory.
     $compiledresult.=<<END;  
 <p>  Inputs: Apache request handler ($r), text to display.
   
   Returns: Nothing.
   
   =over 4
   
   =item &update_count_status()
   
   =item &update_status()
   
   =item &update_seconds()
   
   =back
   
   =cut
   
   ######################################################################
   ######################################################################
   sub update_count_status {
       my ($r,$text) = @_;
       $text =~ s/\'/\\\'/g;
       $r->print
           ("<script>document.statusform.count.value = ' $text'</script>\n");
       $r->rflush();
   }
   
   sub update_status {
       my ($r,$text) = @_;
       $text =~ s/\'/\\\'/g;
       $r->print
           ("<script>document.statusform.status.value = ' $text'</script>\n");
       $r->rflush();
   }
   
   {
       my $max_time  = 40;  # seconds for the search to complete
       my $start_time = 0;
       my $last_time = 0;
   
   sub reset_timing {
       $start_time = 0;
       $last_time = 0;
   }
   
   sub time_left {
       if ($start_time == 0) {
           $start_time = time;
       }
       my $time_left = $max_time - (time - $start_time);
       $time_left = 0 if ($time_left < 0);
       return $time_left;
   }
   
   sub update_seconds {
       my ($r) = @_;
       my $time = &time_left();
       if (($last_time-$time) > 0) {
           $r->print("<script>".
                     "document.statusform.seconds.value = '$time'".
                     "</script>\n");
           $r->rflush();
       }
       $last_time = $time;
   }
   
   }
   
   ######################################################################
   ######################################################################
   
   =pod
   
   =item &revise_button()
   
   Inputs: None
   
   Returns: html string for a 'revise search' button.
   
   =cut
   
   ######################################################################
   ######################################################################
   sub revise_button {
       my $revise_phase = 'disp_basic';
       $revise_phase = 'disp_adv' if ($ENV{'form.searchmode'} eq 'advanced');
       my $newloc = '/adm/searchcat'.
           '?persistent_db_id='.$ENV{'form.persistent_db_id'}.
               '&cleargroupsort=1'.
               '&phase='.$revise_phase;
       my $result = qq{<input type="button" value="Revise search" name="revise"} .
           qq{ onClick="parent.location='$newloc';" /> };
       return $result;
   }
   
   ######################################################################
   ######################################################################
   
   =pod
   
   =item &run_search()
   
   Executes a search query by sending it the the other servers and putting the
   results into MySQL.
   
   =cut
   
   ######################################################################
   ######################################################################
   sub run_search {
       my ($r,$query,$customquery,$customshow,$serverlist,$pretty_string) = @_;
       my $bodytag=&Apache::loncommon::bodytag(undef,undef,undef,1);
       $bodytag.=&Apache::lonhtmlcommon::breadcrumbs
           (undef,'Searching','Searching',undef,undef,
            $ENV{'form.catalogmode'} ne 'groupsearch');
       my $connection = $r->connection;
       #
       # Print run_search header
       #
       $r->print(<<END);
   <html>
   <head><title>Search Status</title></head>
   $bodytag
   <form name="statusform" action="" method="post">
   <input type="hidden" name="Queue" value="" />
   END
       # Remove leading and trailing <br />
       $pretty_string =~ s:^\s*<br />::i;
       $pretty_string =~ s:(<br />)*\s*$::im;
       my @Lines = split("<br />",$pretty_string);
       # I keep getting blank items at the end of the list, hence the following:
       while ($Lines[-1] =~ /^\s*$/ && @Lines) {
           pop(@Lines);
       }
       if (@Lines > 2) {
           $pretty_string = join '<br />',(@Lines[0..2],'....<br />');
       }
       $r->print(&mt("Search: [_1]",$pretty_string));
       $r->rflush();
       #
       # Determine the servers we need to contact.
       my @Servers_to_contact;
       if (defined($serverlist)) {
           if (ref($serverlist) eq 'ARRAY') {
               @Servers_to_contact = @$serverlist;
           } else {
               @Servers_to_contact = ($serverlist);
           }
       } else {
           @Servers_to_contact = sort(keys(%Apache::lonnet::libserv));
       }
       my %Server_status;
       #
       # Check on the mysql table we will use to store results.
       my $table =$ENV{'form.table'};
       if (! defined($table) || $table eq '' || $table =~ /\D/ ) {
           $r->print("Unable to determine table id to store search results in.".
                     "The search has been aborted.</body></html>");
           return;
       }
       my $table_status = &Apache::lonmysql::check_table($table);
       if (! defined($table_status)) {
           $r->print("Unable to determine status of table.</body></html>");
           &Apache::lonnet::logthis("Bogus table id of $table for ".
                                    "$ENV{'user.name'} @ $ENV{'user.domain'}");
           &Apache::lonnet::logthis("lonmysql error = ".
                                    &Apache::lonmysql::get_error());
           return;
       }
       if (! $table_status) {
           &Apache::lonnet::logthis("lonmysql error = ".
                                    &Apache::lonmysql::get_error());
           &Apache::lonnet::logthis("lonmysql debug = ".
                                    &Apache::lonmysql::get_debug());
           &Apache::lonnet::logthis('table status = "'.$table_status.'"');
           $r->print("The table id,$table, we tried to use is invalid.".
                     "The search has been aborted.</body></html>");
           return;
       }
       ##
       ## Prepare for the big loop.
       my $hitcountsum;
       my $server; 
       my $status;
       my $revise = &revise_button();
       $r->print(<<END);
   <table>
   <tr><th>Status</th><th>Total Matches</th><th>Time Remaining</th><th></th></tr>
   <tr>
   <td><input type="text" name="status"  value="" size="30" /></td>
   <td><input type="text" name="count"   value="" size="10" /></td>
   <td><input type="text" name="seconds" value="" size="8" /></td>
   <td>$revise</td>
   </tr>
   </table>
   </form>
 END  END
             $compiledresult.=<<END if $ENV{'form.catalogmode'} eq 'interactive';      $r->rflush();
       &reset_timing();
       &update_seconds($r);
       &update_status($r,&mt('contacting [_1]',$Servers_to_contact[0]));
       while (&time_left() &&
              ((@Servers_to_contact) || keys(%Server_status))) {
           &update_seconds($r);
           #
           # Send out a search request
           if (@Servers_to_contact) {
               # Contact one server
               my $server = shift(@Servers_to_contact);
               &update_status($r,&mt('contacting [_1]',$server));
               my $reply=&Apache::lonnet::metadata_query($query,$customquery,
                                                         $customshow,[$server]);
               ($server) = keys(%$reply);
               $Server_status{$server} = $reply->{$server};
           } else {
               # wait a sec. to give time for files to be written
               # This sleep statement is here instead of outside the else 
               # block because we do not want to pause if we have servers
               # left to contact.  
               if (scalar (keys(%Server_status))) {
                   &update_status($r,
                          &mt('waiting on [_1]',join(' ',keys(%Server_status))));
               }
               sleep(1)
           }
           #
           # Loop through the servers we have contacted but do not
           # have results from yet, looking for results.
           foreach my $server (keys(%Server_status)) {
               last if ($connection->aborted());
               &update_seconds($r);
               my $status = $Server_status{$server};
               if ($status eq 'con_lost') {
                   delete ($Server_status{$server});
                   next;
               }
               $status=~/^([\.\w]+)$/; 
              my $datafile=$r->dir_config('lonDaemons').'/tmp/'.$1;
               if (-e $datafile && ! -e "$datafile.end") {
                   &update_status($r,&mt('Receiving results from [_1]',$server));
                   next;
               }
               last if ($connection->aborted());
               if (-e "$datafile.end") {
                   &update_status($r,&mt('Reading results from [_1]',$server));
                   if (-z "$datafile") {
                       delete($Server_status{$server});
                       next;
                   }
                   my $fh;
                   if (!($fh=Apache::File->new($datafile))) { 
                       $r->print("Unable to open search results file for ".
                                     "server $server.  Omitting from search");
                       delete($Server_status{$server}); 
                      next;
                   }
                   # Read in the whole file.
                   while (my $result = <$fh>) {
                       last if ($connection->aborted());
                       #
                       # Records are stored one per line
                       chomp($result);
                       next if (! $result);
                       #
                       # Parse the result.
                       my %Fields = &parse_raw_result($result,$server);
                       $Fields{'hostname'} = $server;
                       #
                       # Skip based on copyright
                       next if (! &copyright_check(\%Fields));
                       #
                       # Store the result in the mysql database
                       my $result = &Apache::lonmysql::store_row($table,\%Fields);
                       if (! defined($result)) {
                           $r->print(&Apache::lonmysql::get_error());
                       }
                       #
                       $hitcountsum ++;
                       &update_seconds($r);
                       if ($hitcountsum % 50 == 0) {
                           &update_count_status($r,$hitcountsum);
                       }
                   }
                   $fh->close();
                   # $server is only deleted if the results file has been 
                   # found and (successfully) opened.  This may be a bad idea.
                   delete($Server_status{$server});
               }
               last if ($connection->aborted());
               &update_count_status($r,$hitcountsum);
           }
           last if ($connection->aborted());
           &update_seconds($r);
       }
       &update_status($r,&mt('Search Complete [_1]',$server));
       &update_seconds($r);
       #
       &Apache::lonmysql::disconnect_from_db(); # This is unneccessary
       #
       # We have run out of time or run out of servers to talk to and
       # results to get, so let the client know the top frame needs to be
       # loaded from /adm/searchcat
       $r->print("</body></html>");
   #    if ($ENV{'form.catalogmode'} ne 'groupsearch') {
           $r->print("<script>".
                         "window.location='/adm/searchcat?".
                         "phase=sort&".
                         "persistent_db_id=$ENV{'form.persistent_db_id'}';".
                     "</script>");
   #    }
       return;
   }
   
   ######################################################################
   ######################################################################
   
   =pod
   
   =item &prev_next_buttons()
   
   Returns html for the previous and next buttons on the search results page.
   
   =cut
   
   ######################################################################
   ######################################################################
   sub prev_next_buttons {
       my ($current_min,$show,$total,$parms) = @_;
       return '' if ($show eq 'all'); # No links if you get them all at once.
       #
       # Create buttons
       my $buttons = '<input type="submit" name="prev" value="'.&mt('Prev').'" ';
       $buttons .= '/>';
       $buttons .= '&nbsp;'x3;
       $buttons .= '<input type="submit" name="reload" '.
           'value="'.&mt('Reload').'" />';
       $buttons .= '&nbsp;'x3;
       $buttons .= '<input type="submit" name="next" value="'.&mt('Next').'" ';
       $buttons .= '/>';
       return $buttons;
   }
   
   ######################################################################
   ######################################################################
   
   =pod
   
   =item &display_results()
   
   Prints the results out for selection and perusal.
   
   =cut
   
   ######################################################################
   ######################################################################
   sub display_results {
       my ($r,$importbutton,$closebutton,$diropendb) = @_;
       my $connection = $r->connection;
       $r->print(&search_results_header($importbutton,$closebutton));
       ##
       ## Set viewing function
       ##
       my $viewfunction = $Views{$ENV{'form.viewselect'}};
       if (!defined($viewfunction)) {
           $r->print("Internal Error - Bad view selected.\n");
           $r->rflush();
           return;
       }
       ##
       ## $checkbox_num is a count of the number of checkboxes output on the 
       ## page this is used only during catalogmode=groupsearch.
       my $checkbox_num = 0;
       ##
       ## Get the catalog controls setup
       ##
       my $action = "/adm/searchcat?phase=results";
       ##
       ## Deal with groupsearch by opening the groupsearch db file.
       if ($ENV{'form.catalogmode'} eq 'groupsearch') {
           if (! tie(%groupsearch_db,'GDBM_File',$diropendb,
                     &GDBM_WRCREAT(),0640)) {
               $r->print('Unable to store import results.</form></body></html>');
               $r->rflush();
               return;
           } 
       }
       ##
       ## Prepare the table for querying
       my $table = $ENV{'form.table'};
       return if (! &ensure_db_and_table($r,$table));
       ##
       ## Get the number of results 
       my $total_results = &Apache::lonmysql::number_of_rows($table);
       if (! defined($total_results)) {
           $r->print("A MySQL error has occurred.</form></body></html>");
           &Apache::lonnet::logthis("lonmysql was unable to determine the number".
                                    " of rows in table ".$table);
           &Apache::lonnet::logthis(&Apache::lonmysql::get_error());
           return;
       }
       ##
       ## Determine how many results we need to get
       $ENV{'form.start'} = 1  if (! exists($ENV{'form.start'}));
       $ENV{'form.show'}  = 20 if (! exists($ENV{'form.show'}));
       if (exists($ENV{'form.prev'})) {
           $ENV{'form.start'} -= $ENV{'form.show'};
       } elsif (exists($ENV{'form.next'})) {
           $ENV{'form.start'} += $ENV{'form.show'};
       }
       $ENV{'form.start'} = 1 if ($ENV{'form.start'}<1);
       $ENV{'form.start'} = $total_results if ($ENV{'form.start'}>$total_results);
       my $min = $ENV{'form.start'};
       my $max;
       if ($ENV{'form.show'} eq 'all') {
           $max = $total_results ;
       } else {
           $max = $min + $ENV{'form.show'} - 1;
           $max = $total_results if ($max > $total_results);
       }
       ##
       ## Output form elements
       $r->print(&hidden_field('table').
                 &hidden_field('phase').
                 &hidden_field('persistent_db_id').
                 &hidden_field('start')
                 );
       #
       # Build sorting selector
       my @field_order =  ('default',
                           'title',
                           'author',
                           'subject',
                           'url',
                           'keywords',
                           'version',
                           'language',
                           'creationdate'=>,
                           'lastrevisiondate',
                           'owner',
                           'copyright',
                           'authorspace',
                           'lowestgradeleve',
                           'highestgradelevel',
                           'standards',
                           'count',
                           'stdno',
                           'avetries',
                           'difficulty',
                           'disc',
                           'clear',
                           'technical',
                           'correct',
                           'helpful',
                           'depth',
                           );                                              
       my %sort_fields = ('default'     => 'Default',
                          'title'       => 'Title',
                          'author'      => 'Author',
                          'subject'     => 'Subject',
                          'url'         => 'URL',
                          'keywords'    => 'Keywords',
                          'version'     => 'Version',
                          'language'    => 'Language',
                          'creationdate'=> 'Creation Date',
                          'lastrevisiondate' => 'Last Revision Date',
                          'owner'       => 'Owner',
                          'copyright'   => 'Copyright',
                          'authorspace' => 'Authorspace',
                          'lowestgradeleve' => 'Lowest Grade Level',
                          'highestgradelevel' => 'Highest Grade Level',
                          'standards'   => 'Standards',
                          'count'       => 'Number of Accesses',
                          'stdno'       => 'Students Attempting',
                          'avetries'    => 'Average Number of Tries',
                          'difficulty'  => 'Mean Degree of Difficulty',
                          'disc'        => 'Mean Degree of Discrimination',
                          'clear'       => 'Evaluation: Clear',
                          'technical'   => 'Evaluation: Technically Correct',
                          'correct'     => 'Evaluation: Material is Correct',
                          'helpful'     => 'Evaluation: Material is Helpful',
                          'depth'       => 'Evaluation: Material has Depth',
                          'select_form_order' => \@field_order,
                          );
   
       my $sortform = &mt('Sort by [_1]',
                          &Apache::loncommon::select_form($ENV{'form.sortfield'},
                                                         'sortfield',
                                                         %sort_fields));
       ##
       ## Output links (if necessary) for 'prev' and 'next' pages.
       $r->print
           ('<table width="100%"><tr><td width="25%" align="right">'.
            $sortform.
            '</td><td width="25%" align="right">'.
            &prev_next_buttons($min,$ENV{'form.show'},$total_results).
            '</td><td align="right">'.
            &viewoptions().'</td></tr></table>'
            );
       if ($total_results == 0) {
           $r->print('<meta HTTP-EQUIV="Refresh" CONTENT="2">'.
                     '<h3>'.&mt('There are currently no results').'.</h3>'.
                     "</form></body></html>");
           return;
       } else {
           $r->print('<center>'.
                     mt('Results [_1] to [_2] out of [_3]',
                        $min,$max,$total_results).
                     "</center>\n");
       }
       ##
       ## Get results from MySQL table
       my $sort_command  = 'id>='.$min.' AND id<='.$max;
       if ($ENV{'form.sortfield'} ne 'default' && 
           exists($sort_fields{$ENV{'form.sortfield'}})) {
           $sort_command = $ENV{'form.sortfield'}.' IS NOT NULL '.
               'ORDER BY '.$ENV{'form.sortfield'}.
               '  LIMIT '.($min-1).','.($max-$min);
       }
       my @Results = &Apache::lonmysql::get_rows($table,$sort_command);
       ##
       ## Loop through the results and output them.
       foreach my $row (@Results) {
           if ($connection->aborted()) {
               &cleanup();
               return;
           }
           my %Fields = %{&parse_row(@$row)};
           my $output="<p>\n";
           if (! defined($Fields{'title'}) || $Fields{'title'} eq '') {
               $Fields{'title'} = 'Untitled';
           }
           my $prefix=&catalogmode_output($Fields{'title'},$Fields{'url'},
                                          $Fields{'id'},$checkbox_num++);
           # Render the result into html
           $output.= &$viewfunction($prefix,%Fields);
           # Print them out as they come in.
           $r->print($output);
           $r->rflush();
       }
       if (@Results < 1) {
           $r->print(&mt("There were no results matching your query"));
       } else {
           $r->print
               ('<center>'.
                &prev_next_buttons($min,$ENV{'form.show'},$total_results,
                                   "table=".$ENV{'form.table'}.
                                   "&phase=results".
                                   "&persistent_db_id=".
                                   $ENV{'form.persistent_db_id'})
                ."</center>\n"
                );
       }
       $r->print("</form></body></html>");
       $r->rflush();
       untie %groupsearch_db if (tied(%groupsearch_db));
       return;
   }
   
   ######################################################################
   ######################################################################
   
   =pod
   
   =item &catalogmode_output($title,$url,$fnum,$checkbox_num)
   
   Returns html needed for the various catalog modes.  Gets inputs from
   $ENV{'form.catalogmode'}.  Stores data in %groupsearch_db.
   
   =cut
   
   ######################################################################
   ######################################################################
   sub catalogmode_output {
       my $output = '';
       my ($title,$url,$fnum,$checkbox_num) = @_;
       if ($ENV{'form.catalogmode'} eq 'interactive') {
           $title=~ s/\'/\\\'/g;
           if ($ENV{'form.catalogmode'} eq 'interactive') {
               $output.=<<END 
 <font size='-1'><INPUT TYPE="button" NAME="returnvalues" VALUE="SELECT"  <font size='-1'><INPUT TYPE="button" NAME="returnvalues" VALUE="SELECT"
 onClick="javascript:select_data('$title','$url')">  onClick="javascript:select_data('$title','$url')">
 </font>  </font>
 <br>  
 END  END
             $compiledresult.=<<END;          }
 <b>URL: </b> <A HREF="$ENV{'HTTP_HOST'}/$url" TARGET='search_preview'>$url</A>      } elsif ($ENV{'form.catalogmode'} eq 'groupsearch') {
 <br>          $groupsearch_db{"pre_${fnum}_link"}=$url;
 <b>Title:</b> $title<br>          $groupsearch_db{"pre_${fnum}_title"}=$title;
 <b>Author(s):</b> $author<br>          $output.=<<END;
 <b>Subject:</b> $subject<br>  <font size='-1'>
 <b>Keyword(s):</b> $keywords<br>  <input type="checkbox" name="returnvalues" value="SELECT"
 <b>Notes:</b> $notes<br>  onClick="javascript:queue($checkbox_num,$fnum)" />
 <b>Abstract:</b> $shortabstract<br>  </font>
 <b>MIME Type:</b> $mimetag{$mime}<br>  
 <b>Language:</b> $language{$lang}<br>  
 <b>Creation Date:</b> $creationdate<br>  
 <b>Last Revision Date:</b> $lastrevisiondate<br>  
 <b>Publisher/Owner:</b> $owner<br>  
 <b>Copyright/Distribution:</b> $copyright<br>  
 <b>Repository Location:</b> $hostname  
 </p>  
 END  END
       }
       return $output;
   }
   ######################################################################
   ######################################################################
   
   =pod
   
   =item &parse_row()
   
   Parse a row returned from the database.
   
   =cut
   
   ######################################################################
   ######################################################################
   sub parse_row {
       my @Row = @_;
       my %Fields;
       if (! scalar(@Datatypes)) {
           &set_up_table_structure();
       }
       for (my $i=0;$i<=$#Row;$i++) {
           $Fields{$Datatypes[$i]->{'name'}}=&Apache::lonnet::unescape($Row[$i]);
       }
       $Fields{'language'} = 
           &Apache::loncommon::languagedescription($Fields{'language'});
       $Fields{'copyrighttag'} =
           &Apache::loncommon::copyrightdescription($Fields{'copyright'});
       $Fields{'mimetag'} =
           &Apache::loncommon::filedescription($Fields{'mime'});
       return \%Fields;
   }
   
   ###########################################################
   ###########################################################
   
   =pod
   
   =item &parse_raw_result()
   
   Takes a line from the file of results and parse it.  Returns a hash 
   with keys according to column labels
   
   In addition, the following tags are set by calling the appropriate 
   lonnet function: 'language', 'copyrighttag', 'mimetag'.
   
   The 'title' field is set to "Untitled" if the title field is blank.
   
   'abstract' and 'keywords' are truncated to 200 characters.
   
   =cut
   
   ###########################################################
   ###########################################################
   sub parse_raw_result {
       my ($result,$hostname) = @_;
       # conclude from self to others regarding fields
       my %Fields=&LONCAPA::lonmetadata::metadata_col_to_hash
           (map {
               &Apache::lonnet::unescape($_);
           } (split(/\,/,$result)) );
       return %Fields;
   }
   
   ###########################################################
   ###########################################################
   
   =pod
   
   =item &handle_custom_fields()
   
   =cut
   
   ###########################################################
   ###########################################################
   sub handle_custom_fields {
       my @results = @{shift()};
       my $customshow='';
       my $extrashow='';
       my @customfields;
       if ($ENV{'form.customshow'}) {
           $customshow=$ENV{'form.customshow'};
           $customshow=~s/[^\w\s]//g;
           my @fields=map {
               "<font color=\"#008000\">$_:</font><!-- $_ -->";
           } split(/\s+/,$customshow);
           @customfields=split(/\s+/,$customshow);
           if ($customshow) {
               $extrashow="<ul><li>".join("</li><li>",@fields)."</li></ul>\n";
           }
       }
       my $customdata='';
       my %customhash;
       foreach my $result (@results) {
           if ($result=~/^(custom\=.*)$/) { # grab all custom metadata
               my $tmp=$result;
               $tmp=~s/^custom\=//;
               my ($k,$v)=map {&Apache::lonnet::unescape($_);
                           } split(/\,/,$tmp);
               $customhash{$k}=$v;
         }          }
       }
       return ($extrashow,\@customfields,\%customhash);
   }
   
  unless ($compiledresult) {  ######################################################################
     $compiledresult="There were no results that matched your query";  ######################################################################
  }  
   
  # make query information persistent to allow for subsequent revision  =pod
  my $persistent='';  
  map {  
     if (/^form\./ && !/submit/) {  
  my $name=$_;  
  my $key=$name;  
  $name=~s/^form\.//;  
  $persistent.=<<END;  
 <INPUT TYPE='hidden' NAME='$name' VALUE='$ENV{$key}'>  
 END  
             }  
  } (keys %ENV);  
   
  $r->print(<<BEGINNING);  =item &search_results_header()
 <html>  
 <head>  Output the proper html headers and javascript code to deal with different 
 <title>The LearningOnline Network with CAPA</title>  calling modes.
 BEGINNING  
         $r->print(<<SCRIPT) if $ENV{'form.catalogmode'} eq 'interactive';  Takes most inputs directly from %ENV, except $mode.  
 <script>  
   =over 4
   
   =item $mode is either (at this writing) 'Basic' or 'Advanced'
   
   =back
   
   The following environment variables are checked:
   
   =over 4
   
   =item 'form.catalogmode' 
   
   Checked for 'interactive' and 'groupsearch'.
   
   =item 'form.mode'
   
   Checked for existance & 'edit' mode.
   
   =item 'form.form'
   
   Contains the name of the form that has the input fields to set
   
   =item 'form.element'
   
   the name of the input field to put the URL into
   
   =item 'form.titleelement'
   
   the name of the input field to put the title into
   
   =back
   
   =cut
   
   ######################################################################
   ######################################################################
   sub search_results_header {
       my ($importbutton,$closebutton) = @_;
       my $bodytag=&Apache::loncommon::bodytag(undef,undef,undef,1);
       my $result = '';
       # output beginning of search page
       # conditional output of script functions dependent on the mode in
       # which the search was invoked
       if ($ENV{'form.catalogmode'} eq 'interactive'){
    if (! exists($ENV{'form.mode'}) || $ENV{'form.mode'} ne 'edit') {
               $result.=<<SCRIPT;
   <script type="text/javascript">
     function select_data(title,url) {      function select_data(title,url) {
  changeTitle(title);   changeTitle(title);
  changeURL(url);   changeURL(url);
    parent.close();
     }      }
     function changeTitle(val) {      function changeTitle(val) {
  if (opener.inf.document.forms.resinfo.elements.t) {   if (parent.opener.inf.document.forms.resinfo.elements.t) {
     opener.inf.document.forms.resinfo.elements.t.value=val;      parent.opener.inf.document.forms.resinfo.elements.t.value=val;
  }   }
     }      }
     function changeURL(val) {      function changeURL(val) {
  if (opener.inf.document.forms.resinfo.elements.u) {   if (parent.opener.inf.document.forms.resinfo.elements.u) {
     opener.inf.document.forms.resinfo.elements.u.value=val;      parent.opener.inf.document.forms.resinfo.elements.u.value=val;
  }   }
     }      }
 </script>  </script>
 SCRIPT  SCRIPT
         $r->print(<<RESULTS);          } elsif ($ENV{'form.mode'} eq 'edit') {
               my $form = $ENV{'form.form'};
               my $element = $ENV{'form.element'};
               my $titleelement = $ENV{'form.titleelement'};
       my $changetitle;
       if (!$titleelement) {
    $changetitle='function changeTitle(val) {}';
       } else {
       $changetitle=<<END;
   function changeTitle(val) {
       if (parent.targetwin.document) {
           parent.targetwin.document.forms["$form"].elements["$titleelement"].value=val;
       } else {
    var url = 'forms[\"$form\"].elements[\"$titleelement\"].value';
           alert("Unable to transfer data to "+url);
       }
   }
   END
               }
   
               $result.=<<SCRIPT;
   <script type="text/javascript">
   function select_data(title,url) {
       changeURL(url);
       changeTitle(title);
       parent.close();
   }
   $changetitle
   function changeURL(val) {
       if (parent.targetwin.document) {
           parent.targetwin.document.forms["$form"].elements["$element"].value=val;
       } else {
    var url = 'forms[\"$form\"].elements[\"$element\"].value';
           alert("Unable to transfer data to "+url);
       }
   }
   </script>
   SCRIPT
           }
       }
       $result.=<<SCRIPT if $ENV{'form.catalogmode'} eq 'groupsearch';
   <script type="text/javascript">
       function queue(checkbox_num,val) {
           if (document.forms.results.returnvalues.length != "undefined" &&
               typeof(document.forms.results.returnvalues.length) == "number") {
               if (document.forms.results.returnvalues[checkbox_num].checked) {
                   parent.statusframe.document.forms.statusform.elements.Queue.value +='1a'+val+'b';
               } else {
                   parent.statusframe.document.forms.statusform.elements.Queue.value +='0a'+val+'b';
               }
           } else {
               if (document.forms.results.returnvalues.checked) {
                   parent.statusframe.document.forms.statusform.elements.Queue.value +='1a'+val+'b';
               } else {
                   parent.statusframe.document.forms.statusform.elements.Queue.value +='0a'+val+'b';
               }
           }
       }
       function select_group() {
    parent.window.location=
       "/adm/groupsort?mode=$ENV{'form.mode'}&catalogmode=groupsearch&acts="+
       parent.statusframe.document.forms.statusform.elements.Queue.value;
       }
   </script>
   SCRIPT
       $result.=<<END;
   </head>
   $bodytag
   <form name="results" method="post" action="/adm/searchcat" >
   <input type="hidden" name="Queue" value="" />
   $importbutton
   END
       return $result;
   }
   
   ######################################################################
   ######################################################################
   sub search_status_header {
       my $bodytag=&Apache::loncommon::bodytag(undef,undef,undef,1);
       return <<ENDSTATUS;
   <html><head><title>Search Status</title></head>
   $bodytag
   <h3>Search Status</h3>
   Sending search request to LON-CAPA servers.<br />
   ENDSTATUS
   }
   
   sub results_link {
       my $basic_link   = "/adm/searchcat?"."&table=".$ENV{'form.table'}.
           "&persistent_db_id=".$ENV{'form.persistent_db_id'};
       my $results_link = $basic_link."&phase=results".
           "&pause=1"."&start=1";
       return $results_link;
   }
   
   ######################################################################
   ######################################################################
   sub print_frames_interface {
       my $r = shift;
       my $basic_link = "/adm/searchcat?"."&table=".$ENV{'form.table'}.
           "&persistent_db_id=".$ENV{'form.persistent_db_id'};
       my $run_search_link = $basic_link."&phase=run_search";
       my $results_link = &results_link();
       my $result = <<"ENDFRAMES";
   <html>
   <head>
   <script>
   var targetwin = opener;
   var queue = '';
   </script>
   <title>LON-CAPA Digital Library Search Results</title>
   </head>
   <frameset rows="150,*">
       <frame name="statusframe"  src="$run_search_link">
       <frame name="resultsframe" src="$results_link">
   </frameset>
   </html>
   ENDFRAMES
   
       $r->print($result);
       return;
   }
   
   ######################################################################
   ######################################################################
   
   sub has_stat_data {
       my ($values) = @_;
       if ( (defined($values->{'count'})      && $values->{'count'}      ne '') ||
            (defined($values->{'stdno'})      && $values->{'stdno'}      ne '') ||
            (defined($values->{'disc'})       && $values->{'disc'}       ne '') ||
            (defined($values->{'avetries'})   && $values->{'avetries'}   ne '') ||
            (defined($values->{'difficulty'}) && $values->{'difficulty'} ne '')) {
           return 1;
       }
       return 0;
   }
   
   sub statfields {
       return ('count','stdno','disc','avetries','difficulty');
   }
   
   sub has_eval_data {
       my ($values) = @_;
       if ( (defined($values->{'clear'})     && $values->{'clear'}     ne '') ||
            (defined($values->{'technical'}) && $values->{'technical'} ne '') ||
            (defined($values->{'correct'})   && $values->{'correct'}   ne '') ||
            (defined($values->{'helpful'})   && $values->{'helpful'}   ne '') ||
            (defined($values->{'depth'})     && $values->{'depth'}     ne '')) {
           return 1;
       }
       return 0;
   }
   
   sub evalfields { 
       return ('clear','technical','correct','helpful','depth');
   }
   
   ######################################################################
   ######################################################################
   
   =pod 
   
   =item Metadata Viewing Functions
   
   Output is a HTML-ified string.
   
   Input arguments are title, author, subject, url, keywords, version,
   notes, short abstract, mime, language, creation date,
   last revision date, owner, copyright, hostname, and
   extra custom metadata to show.
   
   =over 4
   
   =item &detailed_citation_view() 
   
   =cut
   
   ######################################################################
   ######################################################################
   sub detailed_citation_view {
       my ($prefix,%values) = @_;
       my $result;
       $result .= '<b>'.$prefix.
           '<img src="'.&Apache::loncommon::icon($values{'url'}).' " />'.'&nbsp;'.
           '<a href="http://'.$ENV{'HTTP_HOST'}.$values{'url'}.'" '.
           'target="search_preview">'.$values{'title'}."</a></b>\n";
       $result .= "<p>\n";
       $result .= '<b>'.$values{'author'}.'</b>,'.
           ' <i>'.$values{'owner'}.'</i><br />';
       foreach my $field 
           (
            { name=>'url',
              translate => '<b>URL:</b>&nbsp;[_1]',
              special => 'url link',},
            { name=>'subject',
              translate => '<b>Subject:</b>&nbsp;[_1]',},
            { name=>'keywords',
              translate => '<b>Keywords:</b>&nbsp;[_1]',},
            { name=>'notes',
              translate => '<b>Notes:</b>&nbsp;[_1]',},
            { name=>'mimetag',
              translate => '<b>MIME Type:</b>&nbsp;[_1]',},
            { name=>'standards',
              translate => '<b>Standards:</b>[_1]',},
            { name=>'copyrighttag',
              translate => '<b>Copyright/Distribution:</b>&nbsp;[_1]',},
            { name=>'count',
              format => "%d",
              translate => '<b>Access Count:</b>&nbsp;[_1]',},
            { name=>'stdno',
              format => "%d",
              translate => '<b>Number of Students:</b>&nbsp;[_1]',},
            { name=>'avetries',
              format => "%.2f",
              translate => '<b>Average Tries:</b>&nbsp;[_1]',},
            { name=>'disc',
              format => "%.2f",
              translate => '<b>Degree of Discrimination:</b>&nbsp;[_1]',},
            { name=>'difficulty',
              format => "%.2f",
              translate => '<b>Degree of Difficulty:</b>&nbsp;[_1]',},
            { name=>'clear',
              format => "%.2f",
              translate => '<b>Clear:</b>&nbsp;[_1]',},
            { name=>'depth',
              format => "%.2f",
              translate => '<b>Depth:</b>&nbsp;[_1]',},
            { name=>'helpful',
              format => "%.2f",
              translate => '<b>Helpful:</b>&nbsp;[_1]',},
            { name=>'correct',
              format => "%.2f",
              translate => '<b>Correct:</b>&nbsp;[_1]',},
            { name=>'technical',
              format => "%.2f",
              translate => '<b>Technical:</b>&nbsp;[_1]',},
            { name=>'comefrom_list',
              type => 'list',
              translate => 'Resources that lead up to this resource in maps',},
            { name=>'goto_list',
              type => 'list',
              translate => 'Resources that follow this resource in maps',},
            { name=>'sequsage_list',
              type => 'list',
              translate => 'Resources using or importing resource',},
            ) {
           next if (! exists($values{$field->{'name'}}) ||
                    $values{$field->{'name'}} eq '');
           if (exists($field->{'type'}) && $field->{'type'} eq 'list') {
               $result .= '<b>'.&mt($field->{'translate'}).'</b><ul>';
               foreach my $item (split(',',$values{$field->{'name'}})){
                   $result .= '<li>'.
                       '<a target="search_preview" '.
                       'href="/res/'.$item.'">'.$item.'</a></li>';
               }
               $result .= '</ul>';
           } elsif (exists($field->{'format'}) && $field->{'format'} ne ''){
               $result.= &mt($field->{'translate'},
                             sprintf($field->{'format'},
                                     $values{$field->{'name'}}))."<br />\n";
           } else {
               if ($field->{'special'} eq 'url link') {
                   $result.= 
                        &mt($field->{'translate'},
                            '<a href="'.$values{'url'}.'" '.
                            'target="search_preview">'.
                            $values{$field->{'name'}}.
                            '</a>');
               } else {
                   $result.= &mt($field->{'translate'},
                                 $values{$field->{'name'}});
               }
               $result .= "<br />\n";
           }
       }
       $result .= "</p>";
       if (exists($values{'extrashow'}) && $values{'extrashow'} ne '') {
           $result .= '<p>'.$values{'extrashow'}.'</p>';
       }
       if (exists($values{'shortabstract'}) && $values{'shortabstract'} ne '') {
           $result .= '<p>'.$values{'shortabstract'}.'</p>';
       }
       $result .= '<hr align="left" width="200" noshade />'."\n";
       return $result;
   }
   
   ######################################################################
   ######################################################################
   
   =pod 
   
   =item &summary_view() 
   
   =cut
   ######################################################################
   ######################################################################
   sub summary_view {
       my ($prefix,%values) = @_;
       my $icon=&Apache::loncommon::icon($values{'url'});
       my $result=<<END;
   $prefix<img src="$icon" />&nbsp;
   <a href="http://$ENV{'HTTP_HOST'}$values{'url'}" 
      target='search_preview'>$values{'author'}</a><br />
   $values{'title'}<br />
   $values{'owner'} -- $values{'lastrevisiondate'}<br />
   $values{'copyrighttag'}<br />
   $values{'extrashow'}
   </p>
   <hr align='left' width='200' noshade />
   END
       return $result;
   }
   
   ######################################################################
   ######################################################################
   
   =pod 
   
   =item &compact_view() 
   
   =cut
   
   ######################################################################
   ######################################################################
   sub compact_view {
       my ($prefix,%values) = @_;
       my $result = 
           $prefix.'<img src="'.&Apache::loncommon::icon($values{'url'}).
           '">&nbsp;<a href="'.$values{'url'}.'" target="search_preview">'.
           $values{'title'}.'</a>'.('&nbsp;'x2).
           '<b>'.$values{'author'}.'</b><br />';
       return $result;
   }
   
   
   ######################################################################
   ######################################################################
   
   =pod 
   
   =item &fielded_format_view() 
   
   =cut
   
   ######################################################################
   ######################################################################
   sub fielded_format_view {
       my ($prefix,%values) = @_;
       my $icon=&Apache::loncommon::icon($values{'url'});
       my %Translated = &Apache::lonmeta::fieldnames();
       my $result=<<END;
   $prefix <img src="$icon" />
   <dl>
   <dt>URL:</dt>
       <dd><a href="http://$ENV{'HTTP_HOST'}$values{'url'}" 
            target='search_preview'>$values{'url'}</a></dd>
   END
       foreach my $field ('title','author','subject','keywords','notes',
                          'mimetag','language','creationdate','lastrevisiondate',
                          'owner','copyrighttag','hostname','abstract') {
           $result .= (' 'x4).'<dt>'.$Translated{$field}.'</dt>'."\n".
               (' 'x8).'<dd>'.$values{$field}.'</dd>'."\n";
       }
       if (&has_stat_data(\%values)) {
           foreach my $field (&statfields()) {
               $result .= (' 'x4).'<dt>'.$Translated{$field}.'</dt>'."\n".
                   (' 'x8).'<dd>'.$values{$field}.'</dd>'."\n";
           }
       }
       if (&has_eval_data(\%values)) {
           foreach my $field (&evalfields()) {
               $result .= (' 'x4).'<dt>'.$Translated{$field}.'</dt>'."\n".
                   (' 'x8).'<dd>'.$values{$field}.'</dd>'."\n";
           }
       }
       $result .= "</dl>\n";
       $result .= $values{'extrashow'};
       $result .= '<hr align="left" width="200" noshade />'."\n";
       return $result;
   }
   
   ######################################################################
   ######################################################################
   
   =pod 
   
   =item &xml_sgml_view() 
   
   =back 
   
   =cut
   
   ######################################################################
   ######################################################################
   sub xml_sgml_view {
       my ($prefix,%values) = @_;
       my $xml = '<LonCapaResource>'."\n";
       # The usual suspects
       foreach my $field ('url','title','author','subject','keywords','notes') {
           $xml .= qq{<$field>$values{$field}</$field>}."\n";
       }
       #
       $xml .= "<mimeInfo>\n";
       foreach my $field ('mime','mimetag') {
           $xml .= qq{<$field>$values{$field}</$field>}."\n";
       }
       $xml .= "</mimeInfo>\n";
       #
       $xml .= "<languageInfo>\n";
       foreach my $field ('language','languagetag') {
           $xml .= qq{<$field>$values{$field}</$field>}."\n";
       }
       $xml .= "</languageInfo>\n";
       #
       foreach my $field ('creationdate','lastrevisiondate','owner') {
           $xml .= qq{<$field>$values{$field}</$field>}."\n";
       }
       #
       $xml .= "<copyrightInfo>\n";
       foreach my $field ('copyright','copyrighttag') {
           $xml .= qq{<$field>$values{$field}</$field>}."\n";
       }
       $xml .= "</copyrightInfo>\n";
       $xml .= qq{<repositoryLocation>$values{'hostname'}</repositoryLocation>}.
           "\n";
       $xml .= qq{<shortabstract>$values{'shortabstract'}</shortabstract>}."\n";
       #
       if (&has_stat_data(\%values)){
           $xml .= "<problemstatistics>\n";
           foreach my $field (&statfields()) {
               $xml .= qq{<$field>$values{$field}</$field>}."\n";            
           }
           $xml .= "</problemstatistics>\n";
       }
       #
       if (&has_eval_data(\%values)) {
           $xml .= "<evaluation>\n";
           foreach my $field (&evalfields) {
               $xml .= qq{<$field>$values{$field}</$field>}."\n";            
           }
           $xml .= "</evaluation>\n";
       }    
       #
       $xml .= "</LonCapaResource>\n";
       $xml = &HTML::Entities::encode($xml,'<>&');
       my $result=<<END;
   $prefix
   <pre>
   $xml
   </pre>
   $values{'extrashow'}
   <hr align='left' width='200' noshade />
   END
       return $result;
   }
   
   ######################################################################
   ######################################################################
   
   =pod 
   
   =item &filled() see if field is filled.
   
   =cut
   
   ######################################################################
   ######################################################################
   sub filled {
       my ($field)=@_;
       if ($field=~/\S/ && $field ne 'any') {
           return 1;
       } else {
           return 0;
       }
   }
   
   ######################################################################
   ######################################################################
   
   =pod 
   
   =item &output_unparsed_phrase_error()
   
   =cut
   
   ######################################################################
   ######################################################################
   sub output_unparsed_phrase_error {
       my ($r,$closebutton,$parms,$hidden_fields,$field)=@_;
       my $errorstring;
       if ($field eq 'basicexp') {
           $errorstring = &mt('Unable to understand the search phrase <i>[_1]</i>.  Please modify your search.',$ENV{'form.basicexp'});
       } else {
           $errorstring = &mt('Unable to understand the search phrase <b>[_1]</b>:<i>[_2]</i>.',$field,$ENV{'form.'.$field});
       }
       my $bodytag = &Apache::loncommon::bodytag('Search');
       my $heading = &mt('Unparsed Field');
       my $revise  = &mt('Revise search request');
       # make query information persistent to allow for subsequent revision
       $r->print(<<ENDPAGE);
   <html>
   <head>
   <title>The LearningOnline Network with CAPA</title>
   </head>
   $bodytag
   <form method="post" action="/adm/searchcat">
   $hidden_fields
   $closebutton
   <hr />
   <h2>$heading</h2>
   <p>
   $errorstring
   </p>
   <p>
   <a href="/adm/searchcat?$parms&persistent_db_id=$ENV{'form.persistent_db_id'}">$revise</a>
   </p>
   </body>
   </html>
   ENDPAGE
   }
   
   ######################################################################
   ######################################################################
   
   =pod 
   
   =item &output_blank_field_error()
   
   Output a complete page that indicates the user has not filled in enough
   information to do a search.
   
   Inputs: $r (Apache request handle), $closebutton, $parms.
   
   Returns: nothing
   
   $parms is extra information to include in the 'Revise search request' link.
   
   =cut
   
   ######################################################################
   ######################################################################
   sub output_blank_field_error {
       my ($r,$closebutton,$parms,$hidden_fields)=@_;
       my $bodytag=&Apache::loncommon::bodytag('Search');
       my $errormsg = &mt('You did not fill in enough information for the search to be started.  You need to fill in relevant fields on the search page in order for a query to be processed.');
       my $revise = &mt('Revise Search Request');
       my $heading = &mt('Unactionable Search Queary');
       $r->print(<<ENDPAGE);
   <html>
   <head>
   <title>The LearningOnline Network with CAPA</title>
   </head>
   $bodytag
   <form method="post" action="/adm/searchcat">
   $hidden_fields
   $closebutton
   <hr />
   <h2>$heading</h2>
   <p>
   $errormsg
   </p>
   <p>
   <a href="/adm/searchcat?$parms&persistent_db_id=$ENV{'form.persistent_db_id'}">$revise</a>&nbsp;
   </p>
   </body>
   </html>
   ENDPAGE
       return;
   }
   
   ######################################################################
   ######################################################################
   
   =pod 
   
   =item &output_date_error()
   
   Output a full html page with an error message.
   
   Inputs: 
   
       $r, the request pointer.
       $message, the error message for the user.
       $closebutton, the specialized close button needed for groupsearch.
   
   =cut
   
   ######################################################################
   ######################################################################
   sub output_date_error {
       my ($r,$message,$closebutton,$hidden_fields)=@_;
       # make query information persistent to allow for subsequent revision
       my $bodytag=&Apache::loncommon::bodytag(undef,undef,undef,1);
       $r->print(<<RESULTS);
   <html>
   <head>
   <title>The LearningOnline Network with CAPA</title>
 </head>  </head>
 <body bgcolor="#ffffff">  $bodytag
 <img align=right src=/adm/lonIcons/lonlogos.gif>  <img align='right' src='/adm/lonIcons/lonlogos.gif' />
 <h1>Search Catalog</h1>  <h1>Search Catalog</h1>
 <form method="post" action="/adm/searchcat">  <form method="post" action="/adm/searchcat">
   $hidden_fields
 <input type='button' value='Revise search request'  <input type='button' value='Revise search request'
 onClick='this.form.submit();'>  onClick='this.form.submit();' />
 <input type='button' value='CLOSE'  $closebutton
 onClick='self.close();'>  <hr />
 $persistent  <h3>Error</h3>
 <hr>  
 <h3>Search Query</h3>  
 <p>  <p>
 <b>Basic search:</b> $ENV{'form.basicexp'}  $message
 </p>  </p>
 <h3>Search Results</h3>  
 $compiledresult  
 </body>  </body>
 </html>  </html>
 RESULTS  RESULTS
   }
   
   ######################################################################
   ######################################################################
   
   =pod 
   
   =item &start_fresh_session()
   
   Cleans the global %groupsearch_db by removing all fields which begin with
   'pre_' or 'store'.
   
   =cut
   
   ######################################################################
   ######################################################################
   sub start_fresh_session {
       delete $groupsearch_db{'mode_catalog'};
       foreach (keys %groupsearch_db) {
           if ($_ =~ /^pre_/) {
               delete $groupsearch_db{$_};
           }
           if ($_ =~ /^store/) {
       delete $groupsearch_db{$_};
    }
     }      }
 }  }
   
 1;  1;
   
   sub cleanup {
       if (tied(%groupsearch_db)) {
           unless (untie(%groupsearch_db)) {
     &Apache::lonnet::logthis('Failed cleanup searchcat: groupsearch_db');
           }
       }
       &untiehash();
       &Apache::lonmysql::disconnect_from_db();
   }
   
 __END__  __END__
   
   =pod
   
   =back 
   
   =cut

Removed from v.1.19  
changed lines
  Added in v.1.233


FreeBSD-CVSweb <freebsd-cvsweb@FreeBSD.org>