Diff for /loncom/interface/lonstatistics.pm between versions 1.18 and 1.148.2.3

version 1.18, 2002/05/14 23:17:06 version 1.148.2.3, 2010/01/11 04:11:52
Line 1 Line 1
 # The LearningOnline Network with CAPA  # The LearningOnline Network with CAPA
 # (Publication Handler  
 #  #
 # $Id$  # $Id$
 #  #
Line 26 Line 25
 # http://www.lon-capa.org/  # http://www.lon-capa.org/
 #  #
 # (Navigate problems for statistical reports  # (Navigate problems for statistical reports
 # YEAR=2001  
 # 5/5,7/9,7/25/1,8/11,9/13,9/26,10/5,10/9,10/22,10/26 Behrouz Minaei  
 # 11/1,11/4,11/16,12/14,12/16,12/18,12/20,12/31 Behrouz Minaei  
 # YEAR=2002  
 # 1/22,2/1,2/6,2/25,3/2,3/6,3/17,3/21,3/22,3/26,4/7,5/6 Behrouz Minaei  
 # 5/12, 5/14 Behrouz Minaei  
 #  #
 ###  ###
   
 package Apache::lonstatistics;   
   
 use strict;   
   package Apache::lonstatistics;
   
   use strict;
 use Apache::Constants qw(:common :http);  use Apache::Constants qw(:common :http);
 use Apache::lonnet();  use vars qw(
       @FullClasslist 
       @Students
       @Sections
       @Groups 
       %StudentData
       @StudentDataOrder
       @SelectedStudentData
       $enrollment_status);
   
   use Apache::lonnet;
 use Apache::lonhomework;  use Apache::lonhomework;
 use Apache::loncommon;  use Apache::loncommon;
 use HTML::TokeParser;  use Apache::loncoursedata;
 use GDBM_File;  use Apache::lonhtmlcommon;
   use Apache::lonmysql;
   use Apache::lonlocal;
   use Apache::longroup;
   use Time::HiRes;
   #
   # Statistics Packages
   use Apache::lonproblemanalysis();
   use Apache::lonsubmissiontimeanalysis();
   use Apache::loncorrectproblemplot();
   use Apache::lonproblemstatistics();
   use Apache::lonstudentassessment();
   use Apache::lonpercentage;
   use Apache::lonstudentsubmissions();
   use Apache::lonsurveyreports();
   use Apache::longradinganalysis();
   use LONCAPA;
   
 # -------------------------------------------------------------- Module Globals  #
 my %hash;  # Classlist variables
 my %CachData;  #
 my %GraphDat;  my $curr_student;
 my %OpResp;  my $prev_student;
 my %maps;  my $next_student;
 my %mapsort;  
 my %section;  
 my %StuBox;  sub clear_classlist_variables {
 my %DiscFac;      undef(@FullClasslist);
 my %DisUp;      undef(@Students);
 my %DisLow;      undef(@Sections);
 my $UpCnt;      undef(@Groups);
 my $CurMap;      undef(%StudentData);
 my $CurSec;      undef(@SelectedStudentData);
 my $CurStu;      undef($curr_student);
 my @cols;      undef($prev_student);
 my @list;      undef($next_student);
 my @students;  }
 my $p_count;  
 my $Pos;  
 my $r;  sub PrepareClasslist {
 my $OpSel1;      my %Sections;
 my $OpSel2;      &clear_classlist_variables();
 my $OpSel3;      #
 my $OpSel4;      # Retrieve the classlist
 my $GData;      my $cid  = $env{'request.course.id'};
 my $cid;      my $cdom = $env{'course.'.$cid.'.domain'};
 my $firstres;      my $cnum = $env{'course.'.$cid.'.num'};
 my $lastres;      my ($classlist,$field_names) = &Apache::loncoursedata::get_classlist($cdom,
 my $DiscFlag;   $cnum);
 my $HWN;      my @selected_sections = &get_selected_sections();
 my $P_Order;      my @selected_groups = &get_selected_groups();
 my %foil_to_concept;      #
 my @Concepts;      # Deal with instructors with restricted section access
 my %ConceptData;      if ($env{'request.course.sec'} !~ /^\s*$/) {
 my %Header = (0,"Homework Sets Order",1,"#Stdnts",2,"Tries",3,"Mod",          @selected_sections = ($env{'request.course.sec'});
               4,"Mean",5,"#YES",6,"#yes",7,"%Wrng",8,"DoDiff",      }
               9,"S.D.",10,"Skew.",11,"D.F.1st",12,"D.F.2nd");      #
 my %Answer = ();      # Set up %StudentData
       @StudentDataOrder = qw/fullname username domain id section status groups comments/;
 sub InitAnalysis {      foreach my $field (@StudentDataOrder) {
     my ($rid, $student)=@_;          $StudentData{$field}->{'title'} = &mt($field);
     my ($uname,$udom)=split(/\:/,$student);          $StudentData{$field}->{'base_width'} = length(&mt($field));
     $rid=~/(\d+)\.(\d+)/;          $StudentData{$field}->{'width'} = 
     my $symb=&Apache::lonnet::declutter($hash{'map_id_'.$1}).'___'.$2.'___'.                                 $StudentData{$field}->{'base_width'};
      &Apache::lonnet::declutter($hash{'src_'.$rid});      }
     my $URI = $hash{'src_'.$rid};      #
     my $Answ=&Apache::lonnet::ssi($URI,('grade_target' => 'analyze',      # get the status requested
                                   'grade_username' => $uname,      $enrollment_status = 'Active';
                                   'grade_domain' => $udom,      $enrollment_status = $env{'form.Status'} if (exists($env{'form.Status'}));
                                   'grade_courseid' => $cid,      #
                                   'grade_symb' => $symb));      # Get groupmembership
 #    my $Answ=&Apache::lonnet::ssi($URI,('grade_target' => 'analyze'));      my ($classgroups,$studentgroups);
       my %curr_groups = &Apache::longroup::coursegroups($cdom,$cnum);
     (my $garbage,$Answ)=split(/_HASH_REF__/,$Answ,2);      if (%curr_groups) {
     %Answer=();          ($classgroups,$studentgroups) = 
     %Answer=&Apache::lonnet::str2hash($Answ);      &Apache::loncoursedata::get_group_memberships($classlist,
                                                             $field_names,
     my $parts='';    $cdom,$cnum);
     foreach my $elm (@{$Answer{"parts"}}) {      }
  $parts.="$elm,";      my $now = time;
     }  
     chop($parts);      # Process the classlist
     my $conc='';      while (my ($student,$student_data) = each (%$classlist)) {
     foreach my $elm (@{$Answer{"$parts.concepts"}}) {          my $studenthash = ();
  $conc.="$elm@";          for (my $i=0; $i< scalar(@$field_names);$i++) {
     }              my $field = $field_names->[$i];
     chop($conc);              # Store the data
               $studenthash->{$field}=$student_data->[$i];
     @Concepts=split(/\@/,$conc);              # Keep track of the width of the fields
     foreach my $concept (@{$Answer{"$parts.concepts"}}) {              next if (! exists($StudentData{$field}));
  foreach my $foil (@{$Answer{"$parts.concept.$concept"}}) {              my $length = length($student_data->[$i]);
     $foil_to_concept{$foil} = $concept;              if ($StudentData{$field}->{'width'} < $length) {
  }                  $StudentData{$field}->{'width'} = $length; 
               }
           }
           my @studentsgroups = &Apache::loncoursedata::get_students_groups
                                                      ($student,$enrollment_status,
                                                       $classgroups);
           if (@studentsgroups) {
               $studenthash->{'groups'} = join(', ',@studentsgroups);
               $studenthash->{'groupref'} = \@studentsgroups;
           } else {
               $studenthash->{'groups'} = 'none';
               $studenthash->{'groupref'} = []; 
           }
           push (@FullClasslist,$studenthash);
           #
           # Build up a list of sections
           my $section = $studenthash->{'section'};
           if (! defined($section) || $section =~/^\s*$/ || $section == -1) {
               $studenthash->{'section'} = 'none';
               $section = $studenthash->{'section'};
           }
           $Sections{$section}++;
           #
           # Only put in the list those students we are interested in
           foreach my $sect (@selected_sections) {
               if ( (($sect eq 'all') || 
                     ($section eq $sect)) &&
                    (($studenthash->{'status'} eq $enrollment_status) || 
                     ($enrollment_status eq 'Any')) 
                    ){
                   my $groupcheck = 0;
                   if (grep(/^all$/,@selected_groups)) {
                       push(@Students,$studenthash);
                       last;
                   } elsif (grep(/^none$/,@selected_groups)) {
                       if ($studenthash->{'groups'} eq 'none') {
                           push(@Students,$studenthash);
                           last;
                       }     
                   } else {
                       foreach my $group (@selected_groups) {
                           if (grep(/^$group$/,@studentsgroups)) {
                               push(@Students,$studenthash);
                               $groupcheck = 1;
                               last;
                           }
                       }
                       if ($groupcheck) {
                           last;
                       }
                   }
               }
           }
     }      }
     return $symb;      #
       # Put the consolidated section data in the right place
       if ($env{'request.course.sec'} !~ /^\s*$/) {
           @Sections = ($env{'request.course.sec'});
       } else {
           @Sections = sort {
       if ($a == $a && $b == $b ) { return $a <=> $b; }
       return $a cmp $b;
    } keys(%Sections);
   
           unshift(@Sections,'all'); # Put 'all' at the front of the list
       }
       # Sort the groups
       @Groups = sort {$a cmp $b} keys(%{$studentgroups});
       unshift(@Groups,'all'); # Put 'all' at the front of the list
   
       #
       # Sort the Students
       my $sortby = 'fullname';
       $sortby = $env{'form.sort'} if (exists($env{'form.sort'}));
       my @TmpStudents = sort { lc($a->{$sortby}) cmp lc($b->{$sortby}) ||
                                lc($a->{'fullname'}) cmp lc($b->{'fullname'}) ||
        lc($a->{'username'}) cmp lc($b->{'username'}) } @Students;
       @Students = @TmpStudents;
       # 
       # Now deal with that current student thing....
       $curr_student = undef;
       if (exists($env{'form.SelectedStudent'})) {
           my ($current_uname,$current_dom) = 
               split(':',$env{'form.SelectedStudent'});
           my $i;
           for ($i = 0; $i<=$#Students; $i++) {
               next if (($Students[$i]->{'username'} ne $current_uname) || 
                        ($Students[$i]->{'domain'}   ne $current_dom));
               $curr_student = $Students[$i];
               last; # If we get here, we have our student.
           }
           if (defined($curr_student)) {
               if ($i == 0) {
                   $prev_student = undef;
               } else {
                   $prev_student = $Students[$i-1];
               }
               if ($i == $#Students) {
                   $next_student = undef;
               } else {
                   $next_student = $Students[$i+1];
               }
           }
       }
       #
       if (exists($env{'form.StudentData'})) {
    @SelectedStudentData = 
       &Apache::loncommon::get_env_multiple('form.StudentData');
       } else {
           @SelectedStudentData = ('username');
       }
       foreach (@SelectedStudentData) {
           if ($_ eq 'all') {
               @SelectedStudentData = ('all');
               last;
           }
       }
       #
       return;
 }  }
   
   
 sub Interval {  sub get_selected_sections {
     my ($rid,$part,$symb)=@_;      my @selected_sections = 
     my $Int=$ConceptData{"Interval"};   &Apache::loncommon::get_env_multiple('form.Section');
     my $due = &Apache::lonnet::EXT('resource.$part.duedate',$symb)+1;      @selected_sections = ('all') if (! @selected_sections);
     my $opn = &Apache::lonnet::EXT('resource.$part.opendate',$symb);      foreach (@selected_sections) {
     my $add=int(($due-$opn)/$Int);          if ($_ eq 'all') {
     $ConceptData{"Int.0"}=$opn;              @selected_sections = ('all');
     for (my $i=1;$i<$Int;$i++) {          }
  $ConceptData{"Int.$i"}=$opn+$i*$add;  
     }  
     $ConceptData{"Int.$Int"}=$due;       
     for (my $i=0;$i<$Int;$i++) {  
  for (my $n=0; $n<=$#Concepts; $n++ ) {  
     my $tmp=$Concepts[$n];  
     $ConceptData{"$tmp.$i.true"}=0;  
     $ConceptData{"$tmp.$i.false"}=0;  
  }  
     }      }
       #
       # Deal with instructors with restricted section access
       if ($env{'request.course.sec'} !~ /^\s*$/) {
           @selected_sections = ($env{'request.course.sec'});
       }
       return @selected_sections;
 }  }
   
   
 sub ShowOpGraph {  sub get_selected_groups {
     my ($InpStr, $Int_No)=@_;      my @selected_groups =
     my ($rid,$part)=split(/\:/,substr($InpStr,8));          &Apache::loncommon::get_env_multiple('form.Group');
     $ConceptData{"Interval"}=$Int_No;      @selected_groups = ('all') if (! @selected_groups);
     my $symb=&InitAnalysis($rid,$students[0]);      foreach my $grp (@selected_groups) {
     &Interval($rid,$part,$symb);          if ($grp eq 'all') {
     my $URI = $hash{'src_'.$rid};              @selected_groups = ('all');
     my $Src = $hash{'title_'.$rid};              last;
     $Src =~ s/\ /"_"/eg;          }
     $r->print('<br><b>'.$URI.'</b>');      }
     $r->rflush();      return @selected_groups;
       
     &Create_PrgWin();  
     &Update_PrgWin("Starting to analyze problem");  
     for (my $index=0;$index<=$#students;$index++) {  
  &Update_PrgWin($index);  
  &OpStatus($rid,$students[$index]);  
     }  
     &Close_PrgWin();  
   
     for (my $k=0; $k<$Int_No; $k++ ) {  
  &DrawGraph($k,$Src);  
     }  
 #$Apache::lonxml::debug=1;  
 #&Apache::lonhomework::showhash(%ConceptData);  
 #$Apache::lonxml::debug=0;  
     my $Answ=&Apache::lonnet::ssi($URI);  
     $r->print("<br><b>Here you can see the Problem:</b><br>$Answ");  
 }  }
                                                                                       
   
   
 sub DrawGraph {  sub section_and_enrollment_description {
     my ($k,$Src)=@_;      my ($mode) = @_;
     my $Max=0;      if (! defined($mode)) { $mode = 'localized'; }
     my @data1;      my @sections = &Apache::lonstatistics::get_selected_sections();
     my @data2;      my @groups = &Apache::lonstatistics::get_selected_groups();
     my $Correct=0;      my $description;
     my $Wrong=0;      if ($mode eq 'localized') {
     # Adjust Data and find the Max           $description = &mt('Unable to determine section, groups and access status');
     for (my $n=0; $n<=$#Concepts; $n++ ) {      } elsif ($mode eq 'plaintext') {
  my $tmp=$Concepts[$n];          $description = 'Unable to determine section, groups and access status';
  $data1[$n]=$ConceptData{"$tmp.$k.true"};      } else {
  $Correct+=$data1[$n];          $description = 'Bad parameter passed to lonstatistics::section_and_enrollment_description';
  $data2[$n]=$ConceptData{"$tmp.$k.false"};          &Apache::lonnet::logthis($description);
  $Wrong+=$data2[$n];      }
  my $Sum=$data1[$n]+$data2[$n];      $description = &section_or_group_text($mode,'section',@sections).
  if ( $Max<$Sum ) {$Max=$Sum;}   ' '.&section_or_group_text($mode,'group',@groups);
     }      if ($mode eq 'localized') {
     for (my $n=0; $n<=$#Concepts; $n++ ) {          $description .= ' '.&mt($env{'form.Status'}.' access status.');
  if ($data1[$n]+$data2[$n]<$Max) {      } elsif ($mode eq 'plaintext') {
     $data2[$n]+=$Max-($data1[$n]+$data2[$n]);          $description .= ' '.$env{'form.Status'}.' access status.';
  }      }
       return $description;
   }
   
   
   
   
   sub section_or_group_text {
       my ($mode,$type,@items) = @_;
       my $text;
       my %phrases = ();
       %{$phrases{'section'}} = (
                                 single => 'Section',
                                 all => 'All sections',
                                 plural => 'Sections',
                                );
       %{$phrases{'group'}} = (
                                 single => 'Group',
                                 all => 'All groups',
                                 plural => 'Groups',
                                );
       if (scalar(@items) == 1 && $items[0] ne 'all') {
           if ($mode eq 'localized') {
               $text = &mt($phrases{$type}{single}.' [_1].',$items[0]);
           } elsif ($mode eq 'plaintext') {
               $text = $phrases{$type}{single}.' '.$items[0].'.';
   
           }
       } elsif (scalar(@items) && $items[0] eq 'all') {
           if ($mode eq 'localized') {
               $text = &mt($phrases{$type}{all}.'.');
           } elsif ($mode eq 'plaintext') {
               $text = $phrases{$type}{all}.'.';
           }
       } elsif (scalar(@items)) {
           my $lastitem = pop(@items);
           if ($mode eq 'localized') {
               $text = &mt($phrases{$type}{plural}.' [_1] and [_2].',
                           join(', ',@items),$lastitem);
           } elsif ($mode eq 'plaintext') {
               $text = $phrases{$type}{plural}.' '.join(', ',@items).' and '.
                       $lastitem.'.';
           }
     }      }
     my $P_No = $#data1+1;      return $text;
 #    $r->print('<br><b>From: ['.localtime($ConceptData{'Int.'.($k-1)}).  }
 #              '] To: ['.localtime($ConceptData{"Int.$k"}).']</b>');   
     my $Str = "\n".'<table border=2>'.  
               "\n".'<tr>'.  
               "\n".'<th> # </th>'.  
       "\n".'<th> Concept </th>'.  
       "\n".'<th> Correct </th>'.  
       "\n".'<th> Wrong </th>'.  
       "\n".'</tr>';  
   
     for (my $n=0; $n<=$#Concepts; $n++ ) {  
  $Str .= "\n"."<tr>".  
         "\n"."<td>".($n+1)."</td>".  
                 "\n"."<td bgcolor=#FFFFDD> ".$Concepts[$n]." </td>".  
                 "\n"."<td bgcolor=#DDFFDD> ".$data1[$n]." </td>".  
                 "\n"."<td bgcolor=#FFDDDD> ".$data2[$n]." </td>".  
                 "\n"."</tr>";  
     }  
     $Str.='<td></td><td><b>From:['.localtime($ConceptData{'Int.'.($k-1)}).  
           '] To: ['.localtime($ConceptData{"Int.$k"}).  
           "]</b></td><td>$Correct</td><td>$Wrong</td>";  
   
     $Str .= "\n".'</table>';  
   
     $r->print($Str);  sub get_students {
       if (! @Students) {
           &PrepareClasslist()
       }
       return @Students;
   }
   
   
     if ( $Max > 1 ) {   
  $Max += (10 - $Max % 10);  
  $Max = int($Max);  
     } else { $Max = 1; }  
   
     if ( $Max > 1 ) {   
  $Max += (10 - $Max % 10);  
  $Max = int($Max);  
     } else { $Max = 1; }  
     my $Titr=($ConceptData{'Interval'}>1) ? $Src.'_interval_'.$k : $Src;  
 #    $GData=$Titr.'&Concepts'.'&'.'Answers'.'&'.$Max.'&'.$P_No.'&'.$data1.'&'.$data2;  
     $GData="$Titr&Concepts&Answers&$Max&$P_No&".  
            (join(',',@data1)).'&'.(join(',',@data2));  
   
     $r->print('<br><IMG src="/cgi-bin/graph.gif?'.$GData.'" />');  sub current_student { 
       return $curr_student;
 }  }
   
   
 sub AnalyzeProblem {  
 # -------------------------------- Selecting the number of intervals  sub previous_student { 
     my $OpSel='';      return $prev_student;
     my $CurInt = $ENV{'form.interval'};  
     if ($CurInt eq '') {$CurMap = '1';}  
     my $Ptr = '<b>Select number of intervals</b>'."\n".  
              '<select name="interval">'."\n";                               
     for (my $n=1;$n<=7;$n++) {            
  $Ptr .= '<option';  
         if ($CurInt eq $n) {$Ptr .= ' selected';}       
  $Ptr .= '>'.$n."</option>"."\n";       
     }  
     $Ptr .= '</select>'."\n";  
     $r->print( $Ptr );  
   
     $r->print('<br><b> Option Response Problems in this course:</b><br><br>');  
     my $Str = "\n".'<table border=2>'.  
               "\n".'<tr>'.  
               "\n".'<th> # </th>'.  
       "\n".'<th> Problem Title </th>'.  
       "\n".'<th> Resouse </th>'.  
       "\n".'<th> Address </th>'.  
       "\n".'</tr>';  
   
      my $P_No=1;  
      foreach (sort keys %OpResp) {  
  my ($rid,$part)=split(/\:/,$OpResp{$_});  
  my $Temp = '<a href="'.$hash{'src_'.$rid}.  
                     '" target="_blank">'.$hash{'title_'.$rid}.'</a>';  
  $Str .= "\n"."<tr>".  
          "\n"."<td> $P_No </td>".  
                  "\n"."<td bgcolor=#DDFFDD> ".$Temp." </td>".  
                  "\n"."<td bgcolor=#EEFFCC> ".$hash{'src_'.$rid}." </td>".  
          "\n"."<td> ".'<input type="submit" name="sort" value="'.'Analyze_'.$rid.'" />'.'</td>'.  
                  "\n"."</tr>";  
  $P_No++;  
      }  
      $Str .= "\n".'</table>';  
      $Str .= "\n".'</form>';  
      $r->print($Str);  
      $r->rflush();  
 }  }
   
   
 sub Decide {  
     my ($type,$foil,$time)=@_;   sub next_student { 
     my $k=0;      return $next_student;
     while ($time>$ConceptData{'Int.'.($k+1)} &&   
            $k<$ConceptData{'Interval'}) {$k++;}  
     $ConceptData{"$foil_to_concept{$foil}.$k.$type"}++;  
 }  }
   
   
 sub OpStatus {  
     my ($rid,$student)=@_;  sub StudentDataSelect {
     my ($uname,$udom)=split(/\:/,$student);      my ($elementname,$status,$numvisible)=@_;
     my $code='U';      if ($numvisible < 1) {
     $rid=~/(\d+)\.(\d+)/;          return;
     my $symb=&Apache::lonnet::declutter($hash{'map_id_'.$1}).'___'.$2.'___'.      }
      &Apache::lonnet::declutter($hash{'src_'.$rid});      #
     my %reshash=&Apache::lonnet::restore($symb,$cid,$udom,$uname);      # Build the form element
     my @True = ();      my $Str = "\n";
     my @False = ();      $Str .= '<select name="'.$elementname.'" ';
     my $flag=0;      if ($status ne 'single') {
     if ($reshash{'version'}) {          $Str .= 'multiple="multiple" ';
         my $tries=0;      }
  &Apache::lonhomework::showhash(%Answer);      $Str .= 'size="'.$numvisible.'" >'."\n";
  for (my $version=1;$version<=$reshash{'version'};$version++) {      #
     my $time=$reshash{"$version:timestamp"};      # Deal with 'all'
          $Str .= '    <option value="all" ';
     foreach my $key (sort(split(/\:/,$reshash{$version.':keys'}))) {      foreach (@SelectedStudentData) {
  if (($key=~/\.(\w+)\.(\w+)\.submission$/)) {          if ($_ eq 'all') {
     my $Id1 = $1; my $Id2 = $2;              $Str .= 'selected ';
     #check if this is a repeat submission, if so skip it              last;
              if ($reshash{"$version:resource.$Id1.previous"}) { next; }          }
     #if no solved this wasn't a real submission, ignore it      }
     if (!defined($reshash{"$version:resource.$Id1.solved"})) {      $Str .= ">all</option>\n";
  &Apache::lonxml::debug("skipping ");      #
  next;      # Loop through the student data fields
     }      foreach my $item (@StudentDataOrder) {
     my $Resp = $reshash{"$version:$key"};          $Str .= '    <option value="'.$item.'" ';
     my %submission=&Apache::lonnet::str2hash($Resp);          foreach (@SelectedStudentData) {
     foreach (keys %submission) {              if ($item eq $_ ) {
  my $Ansr = $Answer{"$Id1.$Id2.foil.value.$_"};                  $Str .= 'selected ';
  if ($submission{$_}) {                  last;
     if ($submission{$_} eq $Ansr) {              }
  &Decide("true",$_,$time );  
     }  
     else {&Decide("false",$_,$time );}  
  }  
     }  
         }    
     }  
         }          }
           $Str .= '>'.$item."</option>\n";
     }      }
       $Str .= "</select>\n";
       return $Str;
 }  }
   
   
 #------- Processing upperlist and lowerlist according to each problem  
 sub ProcessDisc {  sub get_selected_maps {
     my @List = @_;      my ($elementname) = @_;
     @List = sort (@List);      my @selected_maps = 
     my $Count = $#List+1;   &Apache::loncommon::get_env_multiple('form.'.$elementname);
     my $Prb;      @selected_maps = ('all') if (! @selected_maps);
     my @Dis;      foreach my $map (@selected_maps) {
     my $Slvd=0;          if ($map eq 'all') {
     my $tmp;              @selected_maps = ('all');
     my $Sum1=0;              last;
     my $Sum2=0;          }
     my $nIdx=0;  
     my $nStud=0;  
     my %Proc;  
     undef %Proc;  
     while ($nIdx<$Count) {  
  ($Prb,$tmp)=split(/\=/,$List[$nIdx]);  
  @Dis=split(/\+/,$tmp);  
  my $Temp = $Prb;  
  do {  
     $nIdx++;  
     $nStud++;  
     $Sum1 += $Dis[0];  
     $Sum2 += $Dis[1];  
     ($Prb,$tmp)=split(/\=/,$List[$nIdx]);  
     @Dis=split(/\+/,$tmp);  
  } while ( $Prb eq $Temp && $nIdx < $Count );  
 # $Proc{$Temp}=($Sum1/$nStud).':'.$nStud;  
  $Proc{$Temp}=($Sum1/$nStud).':'.($Sum2/$nStud);  
 #       $r->print("$nIdx) $Temp --> ($nStud) $Proc{$Temp} <br>");  
  $Sum1=0;  
  $Sum2=0;  
  $nStud=0;  
     }      }
     return %Proc;      return @selected_maps;
 }  }
   
   
 #------- Creating Discimination factor     
 sub Discriminant {  
     my $Count=0;  
     foreach (keys(%DiscFac)){   
  $Count++;  
     }  
     $UpCnt = int(0.27*$Count);  
     my $low=0;  
     my $up=$Count-$UpCnt;  
     my @UpList=();  
     my @LowList=();  
     $Count=0;  
     foreach my $key (sort(keys(%DiscFac))){   
  $Count++;      
         #$r->print("<br>$Count) $key = $DiscFac{$key}");  
  if ($low < $UpCnt || $Count > $up) {  
     $low++;  
     my $str=$DiscFac{$key};  
     foreach(split(/\:/,$str)){  
  if ($_) {  
     if ($low<$UpCnt){push(@LowList,$_);}  
     else {push(@UpList,$_);}  
  }  
     }  
  }  
     }  
     %DisUp=&ProcessDisc(@UpList);  
     %DisLow=&ProcessDisc(@LowList);  
 }  
   
      
 sub NumericSort {            
     $a <=> $b;  
 }  
   
 # ------ Create different Student Report   sub selected_sequences_with_assessments {
 sub StudentReport {      my ($mode) = @_;
     my ($sname,$sdom)=@_;      $mode = 'selected' if (! defined($mode));
     if ( $sname eq 'All Students' ) {      my $navmap = Apache::lonnavmaps::navmap->new();
  $r->print( '<h3><font color=blue>WARNING:       if (!defined($navmap)) {
                     Please select a student</font></h3>' );          return ('Can not open Coursemap');
  return;      }
     }      #
     my %result = &Apache::lonnet::dump($cid,$sdom,$sname);      my @sequences = $navmap->retrieveResources(undef,
     my $ResId;                                                 sub { shift->is_map(); },1,0,1);
     my $PrOrd;      my $toplevelseq = $navmap->getById('0.0');
     my $Code;      if (!grep(/^\Q$toplevelseq\E$/,@sequences)) {
     my $Tries;          unshift(@sequences,$toplevelseq);
     my $TotalTries = 0;      }
     my $ParCr = 0;  
     my $Wrongs;  
     my %TempHash;  
     my $Version;  
     my $LatestVersion;  
     my $PtrTry='';  
     my $PtrCod='';  
     my $SetNo=0;  
     my $Str = "\n".'<table border=2>'.  
               "\n".'<tr>'.  
               "\n".'<th> # </th>'.  
       "\n".'<th> Set Title </th>'.  
       "\n".'<th> Results </th>'.  
       "\n".'<th> Tries </th>'.  
       "\n".'</tr>';  
     my ($temp)=keys(%result);  
     unless ($temp=~/^error\:/) {  
         foreach my $CurCol (@cols) {  
     if (!$CurCol){  
  my $Set=&Apache::lonnet::declutter($hash{'map_id_'.$1});  
  if ( $Set ) {  
     $SetNo++;  
     $Str .= "\n"."<tr>".  
     "\n"."<td> $SetNo </td>".  
                             "\n"."<td> $Set </td>".  
                             "\n"."<td> $PtrCod </td>".  
                             "\n"."<td> $PtrTry</td>".  
                             "\n"."</tr>";  
  }  
  $PtrTry='';  
  $PtrCod='';  
  next;   
     }  
     ($PrOrd,$ResId)=split(/\:/,$CurCol);  
             $ResId=~/(\d+)\.(\d+)/;  
             my $Map = &Apache::lonnet::declutter( $hash{'map_id_'.$1} );  
             if ( $CurMap ne 'All Maps' ) {  
  my ( $ResMap, $NameMap ) = split(/\=/,$CurMap);  
  if ( $Map ne $ResMap ) { next; }  
     }  
     my $meta=$hash{'src_'.$ResId};  
     my $PartNo = 0;  
     undef %TempHash;  
     foreach (split(/\,/,&Apache::lonnet::metadata($meta,'keys'))){  
  if ($_=~/^stores\_(\w+)\_tries$/) {  
                     my $Part=&Apache::lonnet::metadata($meta,$_.'.part');  
     if ( $TempHash{"$Part"} eq '' ) {   
  $TempHash{"$Part"} = $Part;  
  $TempHash{$PartNo}=$Part;  
  $TempHash{"$Part.Code"} = '-';    
  $TempHash{"$Part.PrOrd"} = $PrOrd+$PartNo;    
  $PartNo++;  
     }  
  }  
             }  
   
             my $Prob = $Map.'___'.$2.'___'.      my @sequences_with_assessments;
                        &Apache::lonnet::declutter( $hash{'src_'.$ResId} );      foreach my $sequence (@sequences) {
             $Code='U';   if ($navmap->hasResource($sequence,sub { shift->is_problem(); },0,1)){
             $Tries = 0;              push(@sequences_with_assessments,$sequence);
             $Wrongs = 0;          }
      $LatestVersion = $result{"version:$Prob"};      }
     if ( $LatestVersion ) {      #
  for ( my $Version=1; $Version<=$LatestVersion; $Version++ ) {      my @sequences_to_show;
     my $vkeys = $result{"$Version:keys:$Prob"};      foreach my $sequence (@sequences_with_assessments) {
     my @keys = split(/\:/,$vkeys);          if ($mode eq 'all') {
                 push (@sequences_to_show,$sequence);
     foreach my $Key (@keys) {            } elsif ($mode eq 'selected') {
  if (($Key=~/\.(\w+)\.solved$/) && ($Key!~/^\d+\:/)) {              foreach my $map_symb (&get_selected_maps('Maps')) {
     my $Part = $1;                  if ($sequence->symb eq $map_symb || $map_symb eq 'all'){
     $Tries = $result{"$Version:$Prob:resource.$Part.tries"};                      push (@sequences_to_show,$sequence);
     $TempHash{"$Part.Tries"} = ($Tries) ? $Tries : 0;                       last; # Only put it in once
     $TotalTries += $Tries;  
     my $Val = $result{"$Version:$Prob:resource.$Part.solved"};  
     if ( $Val eq 'correct_by_student' )  
                                 { $Wrongs = $Tries - 1; $Code = 'Y'; }   
     elsif ( $Val eq 'correct_by_override' )  
                                 { $Wrongs = $Tries - 1; $Code = 'y'; }                          
     elsif ( $Val eq 'incorrect_attempted' ||   
                                 $Val eq 'incorrect_by_override' )  
                 { $Wrongs = $Tries; $Code = 'N'; }  
     $TempHash{"$Part.Code"} = $Code;  
     $TempHash{"$Part.Wrongs"} = $Wrongs;  
  }  
          }  
                 }                  }
  for ( my $n = 0; $n < $PartNo; $n++ ) {    
     my $part = $TempHash{$n};  
     if ($PtrTry ne '') {$PtrTry .= ',';}  
     $PtrTry .= "$TempHash{$part.'.Tries'}";  
                     $PtrCod .= "$TempHash{$part.'.Code'}";      
  }  
             }              }
     else {   
  for(my $n=0; $n<$PartNo; $n++) {   
     if ($PtrTry ne '') {$PtrTry .= ',';}  
     $PtrTry .= "0";  
                     $PtrCod .= "-";   
  }  
     }  
         }          }
   
     }      }
     $Str .= "\n".'</table>';      return $navmap,@sequences_to_show;
     $r->print($Str);  
     $r->rflush();  
 }  }
   
 sub CreateTable {  
     my ($Hd, $Hid)=@_;  sub map_select {
     if ($ENV{'form.showcsv'}) {      my ($elementname,$status,$numvisible)=@_;
  if ( $Hd == 1 ) {      if ($numvisible < 1) {
     $r->print('<br>"'.$hash{'title_'.$Hid}.'","'.$hash{'src_'.$Hid}.'"');          return;
  }      }
  return;      #
       # Set up array of selected items
       my @selected_maps = &get_selected_maps($elementname);
       #
       # Build the form element
       my $form = "\n";
       $form .= '<select name="'.$elementname.'" ';
       if ($status ne 'single') {
           $form .= 'multiple="multiple" ';
       }
       $form .= 'size="'.$numvisible.'" >'."\n";
       #
       # Put in option for 'all'
       $form .= '    <option value="all" ';
       if ($selected_maps[0] eq 'all') {
           $form .= 'selected ';
       }
       $form .= ">all</option>\n";
       #
       # Loop through the sequences
       my @sequences = &selected_sequences_with_assessments('all');
       my $navmap;
       if (!ref($sequences[0])) {
           return $sequences[0];
       } else {
           $navmap = shift(@sequences);
       }
       foreach my $seq (@sequences){
           $form .= '    <option value="'.$seq->symb.'" ';
           foreach (@selected_maps) {
               if ($seq->symb eq $_) {
                   $form .= 'selected ';
                   last;
               }
           }
           $form .= '>'.$seq->compTitle."</option>\n";
     }      }
     my $ColNo=0;      $form .= "</select>\n";
     foreach (keys(%Header)){       return $form;
  $ColNo++;  }
     }   
     if ( $Hd == 1 ) {  
  $r->print('<br><a href="'.$hash{'src_'.$Hid}.  sub SectionSelect {
                   '" target="_blank">'.$hash{'title_'.$Hid}.'</a>');      my ($elementname,$status,$numvisible)=@_;
     }      if ($numvisible < 1) {
     my $Result = "\n".'<table border=2>';          return;
     $Result .= '<tr><th>P#</th>'."\n";      }
     for ( my $nIdx=0; $nIdx < $ColNo; $nIdx++ ) {       #
  $Result .= '<th>'.'<input type="submit" name="sort" value="'.      # Make sure we have the data we need to continue
                    $Header{$nIdx}.'" />'.'</th>'."\n";      if (! @Sections) {
           &PrepareClasslist()
       }
       #
       # Build the form element
       my $Str = "\n";
       $Str .= '<select name="'.$elementname.'" ';
       if ($status ne 'single') {
           $Str .= 'multiple="multiple" ';
       }
       $Str .= 'size="'.$numvisible.'" >'."\n";
       #
       # Loop through the sequences
       foreach my $s (@Sections) {
           $Str .= '    <option value="'.$s.'" ';
           foreach (&get_selected_sections()) {
               if ($s eq $_) {
                   $Str .= 'selected ';
                   last;
               }
           }
           $Str .= '>'.$s."</option>\n";
     }      }
     $Result .= "\n".'</tr>'."\n";          $Str .= "</select>\n";
     $r->print( $Result );      return $Str;
     $r->rflush();  
 }  }
   
 sub CloseTable {  
     if ($ENV{'form.showcsv'}) {  sub GroupSelect {
  return;      my ($elementname,$status,$numvisible)=@_;
     }          if ($numvisible < 1) {
     $r->print("\n".'</table>'."\n");          return;
     $r->rflush();      }
       #
       # Make sure we have the data we need to continue
       if (! @Groups) {
           &PrepareClasslist();
       }
       #
       # Build the form element
       my $Str = "\n";
       $Str .= '<select name="'.$elementname.'" ';
       if ($status ne 'single') {
           $Str .= 'multiple="multiple" ';
       }
       $Str .= 'size="'.$numvisible.'" >'."\n";
       #
       # Loop through the groups
       foreach my $s (@Groups) {
           $Str .= '    <option value="'.$s.'" ';
           foreach my $group (&get_selected_groups()) {
               if ($s eq $group) {
                   $Str .= 'selected ';
                   last;
               }
           }
           $Str .= '>'.$s."</option>\n";
       }
       $Str .= "</select>\n";
 }  }
    
 # ------------------------------------------- Prepare Statistics Table  
 sub PreStatTable {  
     my $CacheDB = "/home/httpd/perl/tmp/$ENV{'user.name'}".  
                   "_$ENV{'user.domain'}_$cid\_statistics.db";  
     my $GraphDB = "/home/httpd/perl/tmp/$ENV{'user.name'}".  
                   "_$ENV{'user.domain'}_$cid\_graph.db";  
     my $OpSel11='';  
     my $OpSel12='';  
     my $OpSel13='';  
     my $Status = $ENV{'form.status'};  
     if ( $Status eq 'Any' ) { $OpSel13='selected'; }  
     elsif ($Status eq 'Expired' ) { $OpSel12 = 'selected'; }  
     else { $OpSel11 = 'selected'; }  
   
     my $Ptr = '';  
     $Ptr .= '<br><b> Student Status: &nbsp; </b>'."\n".  
             '<select name="status">'.   
             '<option '.$OpSel11.' >Active</option>'."\n".  
             '<option '.$OpSel12.' >Expired</option>'."\n".  
     '<option '.$OpSel13.' >Any</option> </select> '."\n";  
     $Ptr .= '&nbsp;&nbsp;&nbsp;';  
     $Ptr .= '<input type=submit name=sort value="Recalculate Statistics"/>'."\n";  
   
     $Ptr .= '<br><b> Sorting Type: &nbsp; </b>'."\n".  
             '<select name="order"> <option '.$OpSel1.' >Ascending</option>'."\n".  
     '<option '.$OpSel2.'>Descending</option> </select> '."\n";  
     $Ptr .= '&nbsp;&nbsp;&nbsp;';  
     $Ptr .= '<input type="submit" name="sort" value="DoDiff Graph" />'."\n";  
     $Ptr .= '&nbsp;&nbsp;&nbsp;';  
     $Ptr .= '<input type="submit" name="sort" value="%Wrong Graph" />'."\n";  
   
     $Ptr .= '<pre>'.  
     '<b>  #Stdnts</b>: Total Number of Students opened the problem.<br>'.   
     '<b>  Tries  </b>: Total Number of Tries for solving the problem.<br>'.   
     '<b>  Max   </b> : Maximunm Number of Tries for solving the problem.<br>'.   
     '<b>  Avg.   </b>: Average Number of the tries. [ Tries / #Stdnts ]<br>'.  
     '<b>  #YES   </b>: Number of students solved the problem correctly.<br>'.   
     '<b>  #yes   </b>: Number of students solved the problem by override.<br>'.  
     '<b>  %Wrng  </b>: Percentage of students tried to solve the problem but'.  
     ' still incorrect. [ 100*((#Stdnts-(#YES+#yes))/#Stdnts) ]<br>'.  
 #    '  DoDiff : Degree of Difficulty of the problem. [ Tries/(#YES+#yes+0.1) ]<br>'. Kashy formula  
     '<b>  DoDiff </b>: Degree of Difficulty of the problem. [ 1 - ((#YES+#yes) / Tries) ]<br>'. #Gerd formula  
     '<b>  S.D.  </b> : Standard Deviation of the tries.'.  
     '[ sqrt(sum((Xi - Avg.)^2)) / (#Stdnts-1)'.  
     ' where Xi denotes every student\'s tries ]<br>'.  
     '<b>  Skew.  </b>: Skewness of the students tries.'.  
  ' [ (sqrt( sum((Xi - Avg.)^3) / #Stdnts)) / (S.D.^3) ]<br>'.  
     '<b>  Dis.F. </b>: Discrimination Factor: A Standard for '.  
  'evaluating the problem according to a Criterion<br>'.  
  '<b>           [Applied Criterion in %27 Upper Students - '.  
  'Applied the same Criterion in %27 Lower Students]</b><br>'.  
     '<b>           1st Criterion</b> for Sorting the Students: '.  
  '<b>Sum of Partial Credit Awarded / Total Number of Tries</b><br>'.  
     '<b>           2nd Criterion</b> for Sorting the Students: '.  
  '<b>Total number of Correct Answers / Total Number of Tries</b>'.  
             '</pre>';  
   
     $r->print($Ptr);  
   
   
   sub DisplayClasslist {
       my ($r)=@_;
       &Apache::lonhtmlcommon::add_breadcrumb
           ({text=>'Select One Student'});
       #
       # Output some of the standard interface components
       my $Str;
       $Str .= &Apache::lonhtmlcommon::breadcrumbs('Select One Student');
       $Str .= '<p><table cellspacing="5">'."\n";
       $Str .= '<tr>';
       $Str .= '<th align="center"><b>'.&mt('Sections').'</b></th>';
       $Str .= '<th align="center"><b>'.&mt('Groups').'</b></th>';
       $Str .= '<th align="center"><b>'.&mt('Access Status').'</b></th>';
       $Str .= '</tr>'.$/;
       $Str .= '<tr>';
       $Str .= '<td>'.
           &Apache::lonstatistics::SectionSelect('Section','multiple',5).
           '</td>';
       $Str .=  '<td>'.
           &Apache::lonstatistics::GroupSelect('Group','multiple',5).
           '</td>';
       $Str .= '<td>'.
           &Apache::lonhtmlcommon::StatusOptions(undef,undef,5).
           '</td>';
           
     $r->print('Output CSV format: <input type=checkbox name=showcsv onClick="submit()"');      $Str .= '</tr>'.$/;
     if ($ENV{'form.showcsv'}) { $r->print(' checked'); }      $Str .= '</table></p>';
     $r->print('>');      $Str .= '<input type="submit" name="selectstudent" value="'.
           &mt('Update Display').'" />';
     $r->rflush();      $r->print($Str);
       $r->rflush();
     if ((-e "$CacheDB")&&($ENV{'form.sort'} ne 'Recalculate Statistics')) {      #
  if (tie(%CachData,'GDBM_File',"$CacheDB",&GDBM_READER,0640)) {      my @Fields = ('fullname','username','domain','id','section','status','groups');
     tie(%GraphDat,'GDBM_File',$GraphDB,&GDBM_WRCREAT,0640);      #
     &Cache_Statistics();      $Str = '';
         }      my @selected_sections = &get_selected_sections();
         else {      if (! @Students) {
     $r->print("Unable to tie hash to db file");          if ($selected_sections[0] eq 'all') { 
         }              if (lc($env{'form.Status'}) eq 'active') {
     }                  $Str .= '<p class="LC_info">'.
     else {                  &mt('There are no currently enrolled students in the course.').
  if (tie(%CachData,'GDBM_File',$CacheDB,&GDBM_WRCREAT,0640)) {                      '</p>';
     tie(%GraphDat,'GDBM_File',$GraphDB,&GDBM_WRCREAT,0640);              } elsif (lc($env{'form.Status'}) eq 'expired') {
     foreach (keys %DiscFac) {delete $CachData{$_};}                  $Str .= '<p class="LC_info">'.
     foreach (keys %CachData) {delete $CachData{$_};}                      &mt('There are no previously enrolled students in the course.').
     $DiscFlag=0;                          '</p>';
     &Build_Statistics();              } elsif (lc($env{'form.Status'}) eq 'future') {
  }                  $Str .= '<p class="LC_info">'.
         else {                      &mt('There are no students with future access in the course.').
     $r->print("Unable to tie hash to db file");                          '</p>';
               } else { # 'any' and any others
                  $Str .= '<p class="LC_info">'.
                       &mt('There are no students in the course.').
                       '</p>';
               }
           } else { 
               if (lc($env{'form.Status'}) eq 'active') {
                   $Str .= '<p class="LC_info">'.
                       &mt('There are no currently enrolled students in the selected sections.').
                       '</p>';
               } elsif (lc($env{'form.Status'}) eq 'expired') {
                   $Str .= '<p class="LC_info">'.
                       &mt('There are no previously enrolled students in the selected sections.').
                       '</p>';
               } elsif (lc($env{'form.Status'}) eq 'future') {
                   $Str .= '<p class="LC_info">'.
                       &mt('There are no students with future access in the selected sections.').
                           '</p>';
               } else { # 'any' and any others
                   $Str .= '<p class="LC_info">'.
                       &mt('There are no students in the selected sections.').
                       '</p>';
               }
         }          }
           $Str.= '<p>'
                 .'<a href="/adm/statistics?reportSelected=student_assessment">'
                 .&mt('Return to the chart').'</a>'
                 .'</p>';
           $r->print($Str);
           $r->rflush();
           return;
     }      }
   
 #    $r->print('Total instances of the problems : '.($p_count*($#students+1)));      $Str .= '<h2>'.&mt('Select One Student').'</h2>'
     untie(%CachData);             .'<p>'.&mt("Click on a student's name or username to view their chart").'</p>'
     untie(%GraphDat);             .&Apache::loncommon::start_data_table()
              .&Apache::loncommon::start_data_table_header_row();
       foreach my $field (@Fields) {
           $Str .= '<th><a href="/adm/statistics?'.
               'reportSelected=student_assessment&'.
               'selectstudent=1&'.
               'sort='.$field.'">'.&mt($field).
               '</a></th>';
       }
       $Str .= &Apache::loncommon::end_data_table_header_row();
       #
       foreach my $student (@Students) { # @Students is a package variable
           my $sname = $student->{'username'}.':'.$student->{'domain'};
           $Str .= &Apache::loncommon::start_data_table_row();
           #
           foreach my $field (@Fields) {
               $Str .= '<td>';
               if ($field eq 'fullname' || $field eq 'username') {
                   $Str .= '<a href="/adm/statistics?reportSelected=';
                   $Str .= &escape('student_assessment');
                   $Str .= '&sort='.&escape($env{'form.sort'});
                   $Str .= '&SelectedStudent=';
                   $Str .= &escape($sname).'">';
                   $Str .= $student->{$field}.'&nbsp;';
                   $Str .= '</a>';
               } elsif ($field eq 'status') {
                   $Str .= &mt($student->{$field});
               } else {
                   $Str .= $student->{$field};
               }
               $Str .= '</td>';
           }
           $Str .= &Apache::loncommon::end_data_table_row();
       }
       $Str .= &Apache::loncommon::end_data_table();
       #
       $r->print($Str);
       $r->rflush();
       #
       return;
 }  }
   
   
 # ------------------------------------- Find the section of student in a course  
   
 sub usection {  sub CreateMainMenu {
     my ($udom,$unam,$courseid,$ActiveFlag)=@_;      #
     $courseid=~s/\_/\//g;      # Define menu data
     $courseid=~s/^(\w)/\/$1/;      my @reports = (
     foreach (split(/\&/,&Apache::lonnet::reply('dump:'.      {categorytitle => 'Statistics and Analyses',
              $udom.':'.$unam.':roles',           items => [
              &Apache::lonnet::homeserver($unam,$udom)))){              {url => '/adm/statistics?reportSelected=problem_statistics',
         my ($key,$value)=split(/\=/,$_);   permission => 'F',
         $key=&Apache::lonnet::unescape($key);               icon => 'document-open.png',
         if ($key=~/^$courseid(?:\/)*(\w+)*\_st$/) {               linktext => ('Overall Problem Statistics'),
             my $section=$1;               linktitle => ('Student performance statistics on all problems.')},
             if ($key eq $courseid.'_st') { $section=''; }         
     my ($dummy,$end,$start)=split(/\_/,&Apache::lonnet::unescape($value));              {url => '/adm/statistics?reportSelected=problem_analysis',
     if ( $ActiveFlag ne 'Any' ) {   permission => 'F',
  my $now=time;               icon => 'edit-find.png',
  my $notactive=0;               linktext => ('Detailed Problem Analysis'),
  if ($start) {               linktitle => ('Detailed statistics and graphs of student performance on problems.')},
     if ($now<$start) { $notactive=1; }           ]},
  }          {categorytitle => 'Plots',
  if ($end) {           items => [
     if ($now>$end) { $notactive=1; }              {url => '/adm/statistics?reportSelected=submissiontime_analysis',
  }   permission => 'F',
  if ((($ActiveFlag eq 'Expired') && $notactive == 1) ||                icon => 'subtimpl.png',
                     (($ActiveFlag eq 'Active') && $notactive == 0 ) ) {               linktext => ('Submission Time Plots'),
     return $section;               linktitle => ('Display and analysis of submission times on assessments.')},
  }        
  else { return '-1'; }               {url => '/adm/statistics?reportSelected=correct_problems_plot',
     }   permission => 'F',
     return $section;               icon => 'coprplot.png',
         }               linktext => ('Correct Problems Plot'),
                linktitle => ('Display a histogram of student performance in the course.')},
            ]});
       unless(&Apache::loncommon::needs_gci_custom()) {
           push(@reports,
           {categorytitle => 'Reports',
            items => [
               {url => '/adm/statistics?reportSelected=student_submission_reports',
    permission => 'F',
                icon => 'edit-copy.png',
                linktext => ('Student Submission Reports'),
                linktitle => ('Prepare reports of student submissions.')},
                       
               {url => '/adm/statistics?reportSelected=survey_reports',
    permission => 'F',
                icon => 'docs.png',
    linktext => ('Survey Reports'),
                linktitle => ('Prepare reports on survey results.')},
            ]});
     }      }
     return '-1';      
   return &Apache::lonhtmlcommon::generate_menu(@reports);
    
 }  }
   
   
 # ------ Dump the Student's DB file and handling the data for statistics table   
 sub ExtractStudentData {  sub handler {
     my $student=shift;      my $r=shift;
     my ($sname,$sdom) = split( /\:/, $student );      my $c = $r->connection();
     my %result = &Apache::lonnet::dump($cid,$sdom,$sname);      #
     my $ResId;      # Check for overloading
     my $PrOrd;      my $loaderror=&Apache::lonnet::overloaderror($r);
     my $Dis = '';      if ($loaderror) { return $loaderror; }
     my $Code;      $loaderror=
     my $Tries;         &Apache::lonnet::overloaderror($r,
     my $ParCr;           $env{'course.'.$env{'request.course.id'}.'.home'});
     my $TotalTries = 0;      if ($loaderror) { return $loaderror; }
     my $TotalOpend = 0;      #
     my $ProbSolved = 0;      # Check for access
     my $ProbTot = 0;      if (! &Apache::lonnet::allowed('vgr',$env{'request.course.id'})) {
     my $TimeTot = 0;          $env{'user.error.msg'}=
     my $TotParCr = 0;              $r->uri.":vgr:0:0:Cannot view grades for complete course";
     my $Wrongs;          if (! &Apache::lonnet::allowed('vgr',
     my %TempHash;                        $env{'request.course.id'}.'/'.$env{'request.course.sec'})) {
     my $Version;               $env{'user.error.msg'}=
     my $LatestVersion;                  $r->uri.":vgr:0:0:Cannot view grades with given role";
     my $SecLimit;              return HTTP_NOT_ACCEPTABLE;
     my $MapLimit;          }
     my ($temp)=keys(%result);      }
     unless ($temp=~/^error\:/) {      #
         foreach my $CurCol(@cols) {      # Send the header
     ($PrOrd,$ResId)=split(/\:/,$CurCol);      &Apache::loncommon::no_cache($r);
     if ( !$CurCol ) { next; }      &Apache::loncommon::content_type($r,'text/html');
             $ResId=~/(\d+)\.(\d+)/;      $r->send_http_header;
     my $MapId=$1;      if ($r->header_only) { return OK; }
     my $PrbId=$2;      my $gcicustom = &Apache::loncommon::needs_gci_custom();
             my $MapOrg = $hash{'map_id_'.$MapId};      if ($gcicustom) {
             my $Map = &Apache::lonnet::declutter($MapOrg);          my $now = time;
             if ( $CurMap ne 'All Maps' ) {          my $cnum = $env{'course.'.$env{'request.course.id'}.'.num'};
  my ( $ResMap, $NameMap ) = split(/\=/,$CurMap);          my $cdom = $env{'course.'.$env{'request.course.id'}.'.domain'};
  if ( $Map ne $ResMap ) { next; }          my $courseopt=&Apache::lonnet::get_courseresdata($cnum,$cdom);
     }          my $duedate = $courseopt->{$env{'request.course.id'}.'.0.duedate'};
     my $meta=$hash{'src_'.$ResId};          if ((!$duedate) || ($duedate > $now)) {
     my $PartNo = 0;              $r->print(&Apache::loncommon::start_page("Course Statistics"));
     $Dis .= ':';              $r->print('<h3>'.&mt('Display of statistics').'</h3>');
     undef %TempHash;              if ($duedate > $now) { 
                   $r->print('<p>'.&mt('Aggregate test performance data will be available after the Concept Test end date: [_1].',
     foreach (split(/\,/,&Apache::lonnet::metadata($meta,'keys'))) {                            &Apache::lonlocal::locallocaltime($duedate)).'</p>');
  if ($_=~/^stores\_(\w+)\_tries$/) {              } else {
                     my $Part=&Apache::lonnet::metadata($meta,$_.'.part');                  $r->print('<p>'.
     if ( $TempHash{"$Part"} eq '' ) {                             &mt('Aggregate test performance data unavailable without definition of an end date for the Concept Test.').'</p>');
  $TempHash{"$Part"} = $Part;              }
  $TempHash{$PartNo}=$Part;              $r->print(&Apache::loncommon::end_page());
  $TempHash{"$Part.Code"} = 'U';                return OK;
  $TempHash{"$Part.PrOrd"} = $PrOrd+$PartNo;          }
  $PartNo++;      }
     }  
                     #my $Part=&Apache::lonnet::metadata($meta,$_.'.part');      #
  }      # Extract form elements from query string
       &Apache::loncommon::get_unprocessed_cgi($ENV{'QUERY_STRING'},
                                               ['sort','reportSelected',
                                                'SelectedStudent']);
       #
       # Give the LON-CAPA page header
       my $style = <<ENDSTYLE;
   <style type="text/css">
       ul.sub_studentans { list-style-type: none }
       ul.sub_correctans { list-style-type: none }
       tr.even           { background-color: \#CCCCCC }
       td.essay          { border: 1px solid gray; }
   </style>
   ENDSTYLE
         
       $r->print(&Apache::loncommon::start_page('Course Statistics and Charts',
        $style));
       $r->rflush();
       # 
       # Either print out a menu for them or send them to a report
       &Apache::lonhtmlcommon::clear_breadcrumbs();
       &Apache::lonhtmlcommon::add_breadcrumb({href=>'/adm/statistics',
                                               title=>'Statistics',
                                               text =>'Statistics',
                                               faq=>139,
                                               bug=>'Statistics and Charts'});
       if (! exists($env{'form.reportSelected'}) || 
           $env{'form.reportSelected'} eq '') {
           $r->print(&Apache::lonhtmlcommon::breadcrumbs('Statistics Main Page').
                     &CreateMainMenu());
       } else {
       #
           if (! &Apache::lonmysql::verify_sql_connection()) {
               my $serveradmin = $r->dir_config('lonAdmEMail');
               $r->print('<h2 class="LC_error">'.
                         &mt('Unable to connect to database!').
                         '</h2>');
               $r->print('<p>'
                        .&mt('Please notify the server administrator [_1]',
                            ,'<b>'.$serveradmin.'</b>')
                        .'</p>');
               $r->print('<p>'.
                         &mt('Course Statistics and Charts cannot be '.
                             'retrieved until the database is restarted. '.
                             'Your data is intact but cannot be displayed '.
                             'at this time.').'</p>');
               $r->print(&Apache::loncommon::end_page());
               return;
           }
           #
           # Clean out the caches
           if (exists($env{'form.ClearCache'})) {
               &Apache::loncoursedata::delete_caches($env{'requres.course.id'});
           }
           #
           # Begin form output
           $r->print('<form name="Statistics" ');
           $r->print('method="post" action="/adm/statistics">');
           $r->rflush();
           #
           my $GoToPage = $env{'form.reportSelected'};
           #
           $r->print('<input type="hidden" name="reportSelected" value="'.
                     $GoToPage.'">');
           if($GoToPage eq 'activitylog') {
   #        &Apache::lonproblemstatistics::Activity();
           } elsif($GoToPage eq 'problem_statistics') {
               &Apache::lonhtmlcommon::add_breadcrumb
                   ({href=>'/adm/statistics?reportselected=problem_statistics',
                     text=>'Overall Problem Statistics'});
               &Apache::lonproblemstatistics::BuildProblemStatisticsPage($r,$c);
           } elsif($GoToPage eq 'problem_analysis') {
               &Apache::lonhtmlcommon::add_breadcrumb
                   ({href=>'/adm/statistics?reportselected=problem_analysis',
                     text=>'Detailed Problem Analysis'});
               &Apache::lonproblemanalysis::BuildProblemAnalysisPage($r,$c);
           } elsif($GoToPage eq 'submissiontime_analysis') {
               &Apache::lonhtmlcommon::add_breadcrumb
                   ({href=>
                         '/adm/statistics?reportselected=submissiontime_analysis',
                         text=>'Submission Time Plots'});
               &Apache::lonsubmissiontimeanalysis::BuildSubmissionTimePage($r,$c);
           } elsif($GoToPage eq 'student_submission_reports') {
               &Apache::lonhtmlcommon::add_breadcrumb
               ({href=>
                 '/adm/statistics?reportselected=student_submission_reports',
                 text=>'Student Submission Reports'});
               if ($gcicustom) {
                   $r->print(&mt('Only aggregate performance data are available for Concept Tests.'));
               } else {
                   &Apache::lonstudentsubmissions::BuildStudentSubmissionsPage($r,$c);
             }              }
             &Apache::lonnet::declutter( $hash{'src_'.$ResId} );          } elsif($GoToPage eq 'survey_reports') {
     my $URI = $hash{'src_'.$ResId};              &Apache::lonhtmlcommon::add_breadcrumb
             my $Prob = $Map.'___'.$PrbId.'___'.                  ({href=>
                        &Apache::lonnet::declutter($URI);                    '/adm/statistics?reportselected=survey_reports',
             $Code='U';                    text=>'Survey Reports'});
             $Tries = 0;              &Apache::lonsurveyreports::BuildSurveyReportsPage($r,$c);
     $ParCr = 0;          } elsif($GoToPage eq 'correct_problems_plot') {
             $Wrongs = 0;              &Apache::lonhtmlcommon::add_breadcrumb
      $LatestVersion = $result{"version:$Prob"};                          ({href=>'/adm/statistics?reportselected=correct_problems_plot',
     if ( $LatestVersion ) {                    text=>'Correct Problems Plot'});
  for ( my $Version=1; $Version<=$LatestVersion; $Version++ ) {              &Apache::loncorrectproblemplot::BuildCorrectProblemsPage($r,$c);
     my $vkeys = $result{"$Version:keys:$Prob"};          } elsif($GoToPage eq 'student_assessment') {
     my @keys = split(/\:/,$vkeys);              &Apache::lonhtmlcommon::clear_breadcrumbs();
     foreach my $Key (@keys) {                &Apache::lonhtmlcommon::add_breadcrumb
  if (($Key=~/\.(\w+)\.solved$/) && ($Key!~/^\d+\:/)) {                  ({href=>'/adm/statistics?reportselected=student_assessment',
     my $Part = $1;                    text=>'Chart'});
     $Tries = $result{"$Version:$Prob:resource.$Part.tries"};              if ($gcicustom) {
     $ParCr = $result{"$Version:$Prob:resource.$Part.awarded"};                  $r->print(&mt('Only aggregate performance data are available for Concept Tests.'));  
     my $Time = $result{"$Version:$Prob:timestamp"};              } else {
     $TempHash{"$Part.Time"} = ($Time) ? $Time : 0;                  &Apache::lonstudentassessment::BuildStudentAssessmentPage($r,$c);
     $TempHash{"$Part.Tries"} = ($Tries) ? $Tries : 0;  
     $TempHash{"$Part.ParCr"} = ($ParCr) ? $ParCr : 0;          
     $TotalTries += $TempHash{"$Part.Tries"};  
     $TotParCr += $TempHash{"$Part.ParCr"};  
     my $Val = $result{"$Version:$Prob:resource.$Part.solved"};  
     if ( $Val eq 'correct_by_student' )  
                                { $Wrongs = $Tries - 1; $Code = 'C'; }   
     elsif ( $Val eq 'correct_by_override' )  
                                { $Wrongs = $Tries - 1; $Code = 'O'; }                          
     elsif ( $Val eq 'incorrect_attempted' ||   
                                 $Val eq 'incorrect_by_override' )  
                { $Wrongs = $Tries; $Code = 'I'; }  
     $TempHash{"$Part.Code"} = $Code;  
     $TempHash{"$Part.Wrongs"} = $Wrongs;  
  }  
          }  
                 }   
  for ( my $n = 0; $n < $PartNo; $n++ ) {    
     my $part = $TempHash{$n};  
     my $Yes = 0;  
                     if ( $TempHash{$part.'.Code'} eq 'C' ||  
                          $TempHash{$part.'.Code'} eq 'O'  )   
        {$ProbSolved++;$Yes=1;}  
   
  #    my $ptr = "$hash{'title_'.$ResId}";  
     my $ptr = $TempHash{$part.'.PrOrd'}.'&'.$ResId;  
   
     if ( $PartNo > 1 ) {                  
  $ptr .= "*(part $part)";  
  $Dis .= '&';  
     }  
     my $Fac = ($TempHash{"$part.Tries"}) ?   
                               ($TempHash{"$part.ParCr"}/$TempHash{"$part.Tries"}) : 0;  
     my $DisF;  
     if ( $Fac > 0 &&  $Fac < 1 ) {   
  $DisF = sprintf( "%.4f", $Fac );  
     }  
     else {$DisF = $Fac;}  
 #    $DisF .= '+'.$TempHash{"$part.Time"};33333333  
     $TimeTot += $TempHash{"$part.Time"};  
     $Dis .= $TempHash{$part.'.PrOrd'}.'='.$DisF.'+'.$Yes;  
     $ptr .= "&$TempHash{$part.'.Tries'}".  
             "&$TempHash{$part.'.Wrongs'}".  
                             "&$TempHash{$part.'.Code'}";  
     push (@list, $ptr);  
     $TotalOpend++;  
     $ProbTot++;  
  }  
             }              }
     #else {           } elsif($GoToPage eq 'grading_analysis') {
  #for(my $n=0; $n<$PartNo; $n++) {              &Apache::lonhtmlcommon::add_breadcrumb
  #    push (@list, "$TempHash{'0'.'.PrOrd'}.':'.$ResId:0:0:U");                  ({href=>'/adm/statistics?reportselected=grading_anaylsis',
  #    $ProbTot++;                     text=>'Grading Analysis'});
  #}              &Apache::longradinganalysis::build_grading_analysis_page($r,$c);
     #}  
         }  
  if ( $TotalTries ) {  
     my $DisFac = ( $TotalTries ) ? ($TotParCr/$TotalTries) : 0;  
     my $DisFactor = sprintf( "%.4f", $DisFac );  
     $DiscFac{$DisFactor}=$Dis;  
     #my $time;  
     #if ($ProbSolved){  
  #$time = int(($TimeTot/$ProbSolved)-10000000);  
     #}  
     #$DiscFac{($DisFactor.':'.$sname.':'.$ProbTot.':'.$TotalOpend.':'.  
             #          $TotalTries.':'.$ProbSolved.':'.$time)}=$Dis;  
  }   }
           #
           $r->print("</form>\n");
     }      }
     #$r->print($sname.' PrCr= '.$TotParCr.' Slvd= '.$ProbSolved.' Tries='.$TotalTries.'<br>');      $r->print(&Apache::loncommon::end_page());
       $r->rflush();
       #
       return OK;
 }  }
   
   1;
   
 # ------------------------------------------------------------ Build page table  __END__
 sub tracetable {  
     my ($rid,$beenhere)=@_;  
     my $IsMap=0;  
     $rid=~/(\d+)\.(\d+)/;  
     $maps{&Apache::lonnet::declutter($hash{'map_id_'.$1})}='';#$hash{'title_'.$rid};   
     #$maps{$HWN}=$hash{'title_'.$rid};   
     unless ($beenhere=~/\&$rid\&/) {  
        $beenhere.=$rid.'&';   
        if (defined($hash{'is_map_'.$rid})) {  
    my $cmap=$hash{'map_type_'.$hash{'map_pc_'.$hash{'src_'.$rid}}};  
            if ( $cmap eq 'sequence' || $cmap eq 'page' ) {   
                $cols[$#cols+1]=0;  
        $P_Order++;  
        $HWN=$P_Order;  
                $mapsort{$HWN} = $rid.':';  
        $IsMap=1;  
    
                #$maps{&Apache::lonnet::declutter($hash{'src_'.$rid})}=   
                #      $hash{'title_'.$rid};   
            }  
            if ((defined($hash{'map_start_'.$hash{'src_'.$rid}})) &&  
                (defined($hash{'map_finish_'.$hash{'src_'.$rid}}))) {  
        my $frid=$hash{'map_finish_'.$hash{'src_'.$rid}};  
   
                &tracetable($hash{'map_start_'.$hash{'src_'.$rid}},  =pod
    '&'.$frid.'&');  
   
        $cols[$#cols+1]=($P_Order+1).':'.$frid;  =head1 NAME
         
        my $meta=$hash{'src_'.$frid};  
        my $PartNo = 0;  
        my $Part;  
  #       if ($IsMap==0){  
                if ($meta) {  
    if ($meta=~/\.(problem|exam|quiz|assess|survey|form)$/) {  
        foreach (split(/\,/,&Apache::lonnet::metadata($meta,'keys'))) {  
    if ($_=~/^stores\_(\w+)\_tries$/) {  
        $Part=&Apache::lonnet::metadata($meta,$_.'.part');  
        $P_Order++;  
        $mapsort{$HWN} .= '&'.$P_Order;  
        $PartNo++;  
        #$r->print('<br>'.$PartNo.'---'.$P_Order);  
    }  
    foreach my $K(split(/\,/,&Apache::lonnet::metadata($meta,'packages'))) {  
        if ($K=~/^optionresponse\_($Part)\_(\w+)$/) {  
    #$r->print('<br>'.$_.'...'.$P_Order.'---'.$Part);  
    $OpResp{$P_Order}="$frid:$Part";  
        }   
    }  
        }  
    }  
                }  
    }  
  #  }  
        } else {  
    $cols[$#cols+1]=($P_Order+1).':'.$rid;  
    my $meta=$hash{'src_'.$rid};  
    my $PartNo = 0;  
    if ($meta) {  
        if ($meta=~/\.(problem|exam|quiz|assess|survey|form)$/) {  
    foreach my $Key(split(/\,/,&Apache::lonnet::metadata($meta,'keys'))) {  
        if ($Key=~/^stores\_(\w+)\_tries$/) {  
    my $Part=&Apache::lonnet::metadata($meta,$Key.'.part');  
    $P_Order++;  
    $mapsort{$HWN} .= '&'.$P_Order;  
    $PartNo++;  
    foreach (split(/\,/,&Apache::lonnet::metadata($meta,'packages'))) {  
        if ($_=~/^optionresponse\_($Part)\_(\w+)$/) {  
    #$r->print('<br>'.$_.'...'.$P_Order.'---'.$Part);  
    $OpResp{$P_Order}="$rid:$Part";;  
        }   
      
    }  
   
        }  
    }  
        }  
    }         
        }  
        if (defined($hash{'to_'.$rid})) {  
           foreach (split(/\,/,$hash{'to_'.$rid})){  
               &tracetable($hash{'goesto_'.$_},$beenhere);  
           }  
        }  
     }  
 }  
   
 sub MySort {            lonstatistics
     if ( $Pos > 0 ) {  
  if ($ENV{'form.order'} eq 'Descending') {$b <=> $a;}  
  else { $a <=> $b; }  
     }  
     else {  
  if ($ENV{'form.order'} eq 'Descending') {$b cmp $a;}  
  else { $a cmp $b; }  
     }  
 }  
   
 sub Create_PrgWin {  =head1 SYNOPSIS
 #----------- Create progress  
     $r->print(<<ENDPOP);  
     <script>  
     popwin=open('','popwin','width=400,height=100');  
     popwin.document.writeln('<html><body bgcolor="#88DDFF">'+  
       '<title>LON-CAPA Statistics</title>'+  
       '<h4>Computation Progress</h4>'+  
       '<form name=popremain>'+  
       '<input type=text size=35 name=remaining value=Starting></form>'+  
       '</body></html>');  
     popwin.document.close();  
     </script>  
 ENDPOP  
   
     $r->rflush();  Main handler for statistics and chart.
 }  
   
   This is part of the LearningOnline Network with CAPA project
   described at http://www.lon-capa.org.
   
 sub Update_PrgWin {  
 #----------- update progress  
     my $index = shift;  
     $r->print('<script>popwin.document.popremain.remaining.value="'.  
               'Computing '.($index+1).'/'.($#students+1).': '.  
               $students[$index].'";</script>');  
     $r->rflush();  
 }  
   
 sub Close_PrgWin {  =head1 PACKAGE VARIABLES
 #--------------------- close Progress Line  
     $r->print('<script>popwin.close()</script>');  
     $r->rflush();   
 }  
   
 sub Build_Statistics {  =over
     &Create_PrgWin();  
 # ---------------------------- Gathering the Data of students' tries  
     for (my $index=0;$index<=$#students;$index++) {  
  &Update_PrgWin($index);  
         &ExtractStudentData($students[$index]);  
     }  
   
 # -------------------- sorting the Data  
     $r->print('<script>popwin.document.popremain.remaining.value="'.  
               'Calculating Discrimination Factors...";</script>');  
   
     @list = sort (@list);  
   
   
     &Discriminant();  
   
     $OpSel2='';  
     $OpSel1='selected';  
       
     $p_count = 0;   
     my $nIdx = 0;  
     my $dummy;   
     my $p_val;  
     my $ResId;  
     my $NoElements = $#list + 1;  
 #-------------------------------- loop for data representation  
     foreach (sort keys %mapsort) {  
  my ($Hid,$pr)=split(/\:/,$mapsort{$_});  
  my @lpr=split(/\&/,$pr);  
  &CreateTable(1,$Hid);  
  for (my $i=1; $i<=$#lpr; $i++) {  
     my %storestats=();  
     my ($PrOrd,$Prob,$Tries,$Wrongs,$Code)=split(/\&/,$list[$nIdx]);  
     my $Temp = $Prob;  
     my $MxTries = 0;  
     my $TotalTries = 0;  
     my $YES = 0;  
     my $Incorrect = 0;  
     my $Override = 0;  
     my $StdNo = 0;  
     my @StdLst;  
     while ( $PrOrd == $lpr[$i] )   
     {  
  $nIdx++;  
  $StdNo++;  
  $StdLst[ $StdNo ] = $Tries;  
  $TotalTries += $Tries;  
  if ( $MxTries < $Tries ) { $MxTries = $Tries; }   
  if ( $Code eq 'C' ){ $YES++; }  
  elsif( $Code eq 'I' ) { $Incorrect++; }  
  elsif( $Code eq 'O' ) { $Override++; }  
  elsif( $Code eq 'U' ) { $StdNo--; }  
  ($PrOrd,$Prob,$Tries,$Wrongs,$Code)=split(/\&/,$list[$nIdx]);  
     }  
   
     $p_count++;  
     my $Dummy;  
     ($ResId,$Dummy)=split(/\*/,$Temp);  
   
     $Temp = '<a href="'.$hash{'src_'.$ResId}.  
                 '" target="_blank">'.$hash{'title_'.$ResId}.$Dummy.'</a>';  
   
     my $res = &Apache::lonnet::declutter($hash{'src_'.$ResId});  
     my $urlres=$res;  
   
     $ResId=~/(\d+)\.(\d+)/;  
     my $Map = &Apache::lonnet::declutter( $hash{'map_id_'.$1} );  
     $urlres=$Map;  
    
     $res = '<a href="'.$hash{'src_'.$ResId}.'">'.$res.'</a>';  
     #$Map = '<a href="'.$Map.'">'.$res.'</a>';  
   
 #------------------------ Compute the Average of Tries about one problem  =item @FullClasslist The full classlist
     my $Average = ($StdNo) ? $TotalTries/$StdNo : 0;  
   
     $storestats{$ENV{'request.course.id'}.'___'.$urlres.'___timestamp'}=time;         =item @Students The students we are concerned with for this invocation
     $storestats{$ENV{'request.course.id'}.'___'.$urlres.'___stdno'}=$StdNo;  
     $storestats{$ENV{'request.course.id'}.'___'.$urlres.'___avetries'}=$Average;  
      
 #-------------------------------- Compute percentage of Wrong tries  
     my $Wrong = ( $StdNo ) ? 100 * ( $Incorrect / $StdNo ) : 0;  
   
 #-------------------------------- Compute Standard Deviation  
     my $StdDev = 0;   
     if ( $StdNo > 1 ) {  
  for ( my $n = 0; $n < $StdNo; $n++ ) {  
     my $Dif = $StdLst[ $n ]-$Average;  
     $StdDev += $Dif*$Dif;  
  }   
  $StdDev /= ( $StdNo - 1 );  
  $StdDev = sqrt( $StdDev );  
     }  
   
 #-------------------------------- Compute Degree of Difficulty  
     my $DoDiff = 0;  
     if( $TotalTries > 0 ) {  
  $DoDiff = 1 - ( ( $YES + $Override ) / $TotalTries );  
 #    $DoDiff =  ($TotalTries)/($YES + $Override+ 0.1);      
     }  
          
     $storestats{$ENV{'request.course.id'}.'___'.$urlres.'___difficulty'}=$DoDiff;  
   
 #-------------------------------- Compute the Skewness  =item @Sections The sections available in this class
     my $Skewness = 0;  
     my $Sum = 0;   
     if ( $StdNo > 0 && $StdDev > 0 ) {  
  for ( my $n = 0; $n < $StdNo; $n++ ) {  
     my $Dif = $StdLst[ $n ]-$Average;  
     $Skewness += $Dif*$Dif*$Dif;  
  }   
  $Skewness /= $StdNo;  
  $Skewness /= $StdDev*$StdDev*$StdDev;  
     }  
   
 #--------------------- Compute the Discrimination Factors  
     my ($Up1,$Up2)=split(/\:/,$DisUp{$lpr[$i]});  
     my ($Lw1,$Lw2)=split(/\:/,$DisLow{$lpr[$i]});  
     my $Dis1 = $Up1 - $Lw1;  
     my $Dis2 = $Up2 - $Lw2;  
     my $_D1 = sprintf("%.2f", $Dis1);  
     my $_D2 = sprintf("%.2f", $Dis2);  
   
 #-----------------  Some restition in presenting the float numbers  
     my $Avg = sprintf( "%.2f", $Average );  
     my $Wrng = sprintf( "%.1f", $Wrong );  
     my $SD = sprintf( "%.1f", $StdDev );  
     my $DoD = sprintf( "%.2f", $DoDiff );  
     my $Sk = sprintf( "%.1f", $Skewness );  
     my $join = $lpr[$i].'&'.$Temp.'&'.$StdNo.'&'.  
                        $TotalTries.'&'.$MxTries.'&'.$Avg.'&'.  
                        $YES.'&'.$Override.'&'.$Wrng.'&'.$DoD.'&'.  
        $SD.'&'.$Sk.'&'.$_D1.'&'.$_D2.'&'.  
                        $Prob;  
     $CachData{($p_count-1)}=$join;  
   
     $urlres=~/^(\w+)\/(\w+)/;  
     if ($StdNo) {   
  &Apache::lonnet::put('resevaldata',\%storestats,$1,$2);   
     }  
 #-------------------------------- Row of statistical table  
     if ( $DiscFlag == 0 ) {  
  &TableRow($join,$i,($p_count-1));  
     }   
  }  
  &CloseTable();  
     }  
     &Close_PrgWin();  
 }  
   
 sub Cache_Statistics {  =item @Groups The groups available in the class
     my @list = ();  
     my $Useful;  
     my $UnUseful;  
     my %myHeader = reverse( %Header );  
     $Pos = $myHeader{$ENV{'form.sort'}};  
     if ($Pos > 0) {$Pos++;}  
     $p_count = 0;  
     foreach my $key( keys %CachData) {   
  my @Temp=split(/\&/,$CachData{$key});  
  if ( $Pos == 0 ) {  
     ($UnUseful,$Useful)=split(/\>/,$Temp[$Pos]);  
  }  
  else {  
     $Useful = $Temp[$Pos];  
  }     
  $list[$p_count]=$Useful.'@'.$CachData{$key};  
         $p_count++;  
     }  
   
     @list = sort MySort (@list);  
   
     my $nIdx=0;  
   
     if ( $Pos == 0 ) {  
  foreach (sort keys %mapsort) {  
     my ($Hid,$pr)=split(/\:/,$mapsort{$_});  
     &CreateTable(1,$Hid);  
     my @lpr=split(/\&/,$pr);  
     for (my $i=1; $i<=$#lpr; $i++) {  
  my($Pre, $Post) = split(/\@/,$list[$nIdx]);   
  #$r->print('<br>'.$Pre.'---'.$Post);  
  &TableRow($Post,$i,$nIdx);  
  $nIdx++;  
     }  
     &CloseTable();  
  }  
     }  
     else {  
  &CreateTable(0);  
  for ( my $nIdx = 0; $nIdx < $p_count; $nIdx++ ) {  
     my($Pre, $Post) = split(/\@/,$list[$nIdx]);   
     &TableRow($Post,$nIdx,$nIdx);  
  }   
  &CloseTable();  
     }  
 }  
   
 sub TableRow {  =item $curr_student The student currently being examined
     my ($Str,$Idx,$RealIdx)=@_;  
     my($PrOrd,$Temp,$StdNo,$TotalTries,$MxTries,$Avg,$YES,$Override,  
        $Wrng,$DoD,$SD,$Sk,$_D1,$_D2,$Prob)=split(/\&/,$Str);  
     if ($ENV{'form.showcsv'}) {  
         my ($ResId,$Dummy)=split(/\*/,$Prob);  
         my $Ptr =  "\n".'<br>'.  
                "\n".'"'.($RealIdx+1).'",'.  
                "\n".'"'.$hash{'title_'.$ResId}.$Dummy.'",'.  
                "\n".'"'.$hash{'src_'.$ResId}.'",'.  
                "\n".'"'.$StdNo.'",'.  
                "\n".'"'.$TotalTries.'",'.  
                "\n".'"'.$MxTries.'",'.  
                "\n".'"'.$Avg.'",'.  
                "\n".'"'.$YES.'",'.  
                "\n".'"'.$Override.'",'.  
                "\n".'"'.$Wrng.'",'.  
                "\n".'"'.$DoD.'",'.  
                "\n".'"'.$SD.'",'.  
                "\n".'"'.$Sk.'",'.  
                "\n".'"'.$_D1.'",'.  
        "\n".'"'.$_D2.'"';  
         $r->print("\n".$Ptr);  
     }  
     else{  
         my $Ptr =  "\n".'<tr>'.  
                "\n".'<td>'.($RealIdx+1).'</td>'.  
           #     "\n".'<td>'.$PrOrd.$Temp.'</td>'.  
                "\n".'<td>'.$Temp.'</td>'.  
                "\n".'<td bgcolor="#EEFFCC"> '.$StdNo.'</td>'.  
                "\n".'<td bgcolor="#EEFFCC">'.$TotalTries.'</td>'.  
                "\n".'<td bgcolor="#EEFFCC">'.$MxTries.'</td>'.  
                "\n".'<td bgcolor="#DDFFFF">'.$Avg.'</td>'.  
                "\n".'<td bgcolor="#DDFFFF"> '.$YES.'</td>'.  
                "\n".'<td bgcolor="#DDFFFF"> '.$Override.'</td>'.  
                "\n".'<td bgcolor="#FFDDDD"> '.$Wrng.'</td>'.  
                "\n".'<td bgcolor="#FFDDDD">'.$DoD.'</td>'.  
                "\n".'<td bgcolor="#DDFFDD"> '.$SD.'</td>'.  
                "\n".'<td bgcolor="#DDFFDD"> '.$Sk.'</td>'.  
                "\n".'<td bgcolor="#FFDDFF"> '.$_D1.'</td>'.  
        "\n".'<td bgcolor="#FFDDFF"> '.$_D2.'</td>';  
         $r->print("\n".$Ptr.'</tr>' );  
     }  
     $GraphDat{$RealIdx}=$DoD.':'.$Wrng;  
 }  
   
 # ------------------------------------------- Prepare data for Graphical chart  =item $prev_student The student previous in the classlist
   
 sub GetGraphData {  =item $next_student The student next in the classlist
     my $ylab = shift;  
     my $Col;  
     my $data='';  
     my $count = 0;  
     my $Max = 0;  
     my $cid=$ENV{'request.course.id'};  
     my $GraphDB = "/home/httpd/perl/tmp/$ENV{'user.name'}".  
                   "_$ENV{'user.domain'}_$cid\_graph.db";  
     foreach (keys %GraphDat) {delete $GraphDat{$_};}  
     if (-e "$GraphDB") {  
  if (tie(%GraphDat,'GDBM_File',"$GraphDB",&GDBM_READER,0640)) {  
     if ( $ylab eq 'DoDiff Graph' ) {  
  $ylab = 'Degree-of-Difficulty';  
  $Col = 0;  
     }  
     else {  
  $ylab = 'Wrong-Percentage';  
  $Col = 1;  
     }  
     foreach (sort NumericSort keys %GraphDat) {   
  my @Temp=split(/\:/,$GraphDat{$_});  
                 my $inf = $Temp[$Col];   
  if ( $Max < $inf ) {$Max = $inf;}  
  $data .= $inf.',';  
  $count++;  
     }  
     if ( $Max > 1 ) {   
  $Max += (10 - $Max % 10);  
  $Max = int($Max);  
     }  
     else { $Max = 1; }  
             untie(%GraphDat);  
     my $Course = $ENV{'course.'.$cid.'.description'};  
     $Course =~ s/\ /"_"/eg;  
     $GData=$Course.'&'.'Problems'.'&'.$ylab.'&'.$Max.'&'.$count.'&'.$data;  
  }  
  else {  
     $r->print("Unable to tie hash to db file");  
  }  
     }  
 }  
   
   =back
   
 sub initial {  =head1 SUBROUTINES
 # --------------------------------- Initialize the global varaibles  
   undef @students;  
   undef @cols;  
   undef %maps;  
   undef %section;  
   undef %StuBox;  
   undef @list;  
   undef %CachData;  
   undef %GraphDat;  
   undef %DiscFac;  
   undef %OpResp;  
   undef %ConceptData;  
   undef $CurMap;  
   undef $CurSec;  
   undef $CurStu;  
   undef $p_count;  
   undef $Pos;  
   undef $GData;  
   $DiscFlag=0;   
   $P_Order=100000;  
   $HWN=$P_Order;  
 }  
   
   =over
   
 sub ClassList {  =item &clear_classlist_variables()
   
     &GetStatus();  undef the following package variables:
   
     $cid=$ENV{'request.course.id'};  =over 4
     my $chome=$ENV{'course.'.$cid.'.home'};  
     my ($cdom,$cnum)=split(/\_/,$cid);  
 # ----------------------- Get first and last resource, see if there is anything  
     $firstres=$hash{'map_start_/res/'.$ENV{'request.course.uri'}};  
     $lastres=$hash{'map_finish_/res/'.$ENV{'request.course.uri'}};  
     if (($firstres) && ($lastres)) {  
  #my %result = &Apache::lonnet::dump('classlist',$sdom,$sname);  
  my $classlst=&Apache::lonnet::reply('dump:'.$cdom.':'.$cnum.':classlist',$chome);  
  my $StudNo = 0;  
  my $now=time;  
  unless ($classlst=~/^error\:/) {  
     foreach (sort split(/\&/,$classlst)) {  
  my ($name,$value)=split(/\=/,$_);  
  my ($end,$start)=split(/\:/,&Apache::lonnet::unescape($value));  
  $name=&Apache::lonnet::unescape($name);  
  my ($sname,$sdom)=split(/\:/,$name);  
  my $active=1;  
  my $Status=$ENV{'form.status'};  
  $Status = ($Status) ? $Status : 'Active';  
  if ( ( ($end) && $now > $end ) &&   
                      ( ($Status eq 'Active') ) ) { $active=0; }  
  if ( ($Status eq 'Expired') &&   
                      ($end == 0 || $now < $end) ) { $active=0; }  
  if ($active) {  
     my $thisindex=$#students+1;  
     $name=&Apache::lonnet::unescape($name);  
     $students[$thisindex]=$name;  
     my ($sname,$sdom)=split(/\:/,$name);  
     #my %reply=&Apache::lonnet::idrget($sdom,$sname);  
     #my $reply=&Apache::lonnet::reply('get:'.$sdom.':'.$sname.  
     #         ':environment:lastname&generation&firstname&middlename',  
     #         &Apache::lonnet::homeserver($sname,$sdom));  
     my $ssec=&usection($sdom,$sname,$cid,$Status);  
 #    if ($ssec==-1 ) {next;}  
     if ($ssec==-1 || $ssec eq 'adm' ) {next;}  
     $ssec=($ssec) ? $ssec : '(none)';  
     #$ssec=(int($ssec)) ? int($ssec) : $ssec;  
     $section{$ssec}=$ssec;  
     if ($CurSec eq 'All Sections' || $ssec eq $CurSec) {  
  $students[$StudNo]=$name;  
  $StuBox{$sname}=$sdom;  
     }  
     $StudNo++;  
         }  
     }  
  }  
  else {  
     $r->print('<h1>Could not access course data</h1>');  
  }   
         $r->print("Total number of students : ".($#students+1));  
         $r->rflush();  
 # --------------- Find all assessments and put them into some linear-like order  
  &tracetable($firstres,'&'.$lastres.'&');  
 #    my $c=0;  
 #    foreach (sort keys %mapsort) {  
 # $r->print('<br>'.$c.')'.$_.' ... '.$mapsort{$_});  
 # $c++;  
 #    }  
 # my $c=1;  
 # foreach (sort keys %OpResp) {  
 #    $r->print('<br>'.$c.')'.$_.' ... '.$OpResp{$_}.' ... '.$hash{'src_'.$OpResp{$_}});  
 #    $c++;  
 # }  
   
     }  =item * @FullClasslist
   
 # ------------------------------------------------------------- End render page   =item * @Students
     else {  
  $r->print('<h3>Undefined course sequence</h3>');  
     }  
 }  
   
   =item * @Sections
   
 sub Title {  =item * @Groups
     $r->print('<html><head><title>LON-CAPA Statistics</title></head>');  
     $r->print('<body bgcolor="#FFFFFF">'.  
               '<script>window.focus(); window.width=500;window.height=500;</script>'.  
               '<img align=right src=/adm/lonIcons/lonlogos.gif>');  
 # ---------------------------------------------------------------- Course title  
     $r->print('<h1> Course : "'.  
               $ENV{'course.'.$ENV{'request.course.id'}.  
               '.description'}.'"</h1><h2>'.localtime().'</h2>');  
 # ------------------------------- This is going to take a while, produce output  
     $r->rflush();  
 }  
   
 sub CreateForm {  =item * %StudentData
     $r->print("\n".'<form name=stat method=post action="/adm/statistics" >');  
     my $content = $ENV{'form.sort'};  
     if (!($ENV{'form.showcsv'}) && ($content eq '' || $content eq 'Return to Menu')) {  
  my $Ptr = '<h3>';  
  $Ptr .= '<input type=submit name=sort value="Problem Stats"/>';  
  $Ptr .= '<br><br>';  
  $Ptr .= '<input type=submit name=sort value="Problem Analysis"/>';  
  $Ptr .= '<br><br>';  
  $Ptr .= '<input type=submit name=sort value="Student Assessment"/>';  
  $Ptr .= '</h3>';  
  $r->print( $Ptr );  
     }  
     else {  
  if ( $content eq 'Student Assessment' ||   
      $content eq 'Create Student Report' ) {  
     &MapSecOptions();  
     &StudentOptions();  
     &StudentReport($CurStu,$StuBox{"$CurStu"});  
  }  
  elsif ( $content eq 'Problem Analysis' ) {  
     &AnalyzeProblem();  
  }  
  else {  
     &MapSecOptions();  
     &PreStatTable();  
  }  
     }  
 }  
   
   =item * @StudentDataOrder
   
 sub Menu {  =item * @SelectedStudentData
     &initial();  
     #$Apache::lonxml::debug=1;  
     #&Apache::lonhomework::showhash(%ENV);  
     #$Apache::lonxml::debug=0;  
     &Title();  
     &ClassList();  
     my $InpStr = $ENV{'form.sort'};  
     if ($InpStr=~/^Analyze\_/) {  
  &ShowOpGraph($InpStr,$ENV{'form.interval'});  
     }  
     elsif ( $InpStr eq 'DoDiff Graph' || $InpStr eq '%Wrong Graph' ) {        
  &GetGraphData($InpStr);  
     $r->print('<IMG src="/cgi-bin/graph.gif?'.$GData.'" />');  
     }  
     else {  
  &CreateForm();  
  $r->print("\n".'</form>');  
     }  
     $r->print("\n".'</body>'.  
       "\n".'</html>');  
     $r->rflush();  
 }  
   
 sub StudentOptions {  =item * $curr_student
     my $OpSel5='';  
     $CurStu = $ENV{'form.student'};  
     if ( $CurStu eq '' ) {   
         $CurStu = 'All Students';  
         $OpSel5 = 'selected';  
     }  
     my $Ptr ='';  
 # ----------------------------------- Loading the Students Combobox  
     $Ptr .= '<br><b>Select Student</b>'."\n".  
            '<select name="student">'."\n".   
     '<option '.$OpSel5.'>All Students</option>';                               
     foreach my $key ( sort keys %StuBox ) {            
  $Ptr .= '<option';  
  if ($CurStu eq $key) {$Ptr .= ' selected';}       
         $Ptr .= '>'.$key."</option>\n";       
     }  
     $Ptr .= '</select>';  
     $Ptr .= '<br><input type="submit" name="sort" value="Create Student Report" />';  
     $r->print( $Ptr );  
     $r->rflush();  
 }  
   
   =item * $prev_student
   
 sub GetStatus {  =item * $next_student
     $OpSel1='';  
     $OpSel2='';  
     $OpSel3='';  
     $OpSel4='';  
   
     if ( $ENV{'form.order'} eq 'Descending' ) { $OpSel2='selected'; }  
     else { $OpSel1 = 'selected'; }  
   
     my %myHeader = reverse( %Header );  
     $Pos = $myHeader{$ENV{'form.sort'}};  
     if ($Pos == 0) {  
  $OpSel1 = 'selected';  
  $ENV{'form.order'}='Ascendig';  
     }  
   
     $CurMap = $ENV{'form.maps'};  
     if ( $CurMap eq '' ) {   
  $CurMap = 'All Maps';  
  $OpSel3 = 'selected';  
     }  
     $CurSec = $ENV{'form.section'};  
     if ( $CurSec eq '' ) {   
  $CurSec = 'All Sections';  
         $OpSel4 = 'selected';  
     }  
 }  
   
   =back
   
 sub MapSecOptions {  =item &PrepareClasslist()
 # ----------------------------------- Loading the Maps Combobox  
     my $Ptr = '';  
     $Ptr .= '<input type="submit" name="sort" value="Return to Menu" />';  
     $Ptr .= '<br><b> Select &nbsp; Map &nbsp; &nbsp; </b>'."\n".  
            '<select name="maps">'."\n".   
     '<option '.$OpSel3.'>All Maps</option>';                               
     foreach my $key ( sort keys %maps ) {            
  $Ptr .= '<option';  
         if ($CurMap eq $key) {$Ptr .= ' selected';}       
  $Ptr .= '>'.$key."</option>\n";       
     }  
     $Ptr .= '</select>';  
     $Ptr .= '&nbsp;&nbsp;&nbsp;';  
   
 # ----------------------------------- Loading the Sections Combobox  
     $Ptr .= '<br><b>Select Section</b>'."\n".  
            '<select name="section">'."\n".   
     '<option '.$OpSel4.'>All Sections</option>';                               
     foreach my $key ( sort keys %section ) {            
  $Ptr .= '<option';  
         if ($CurSec eq $key) {$Ptr .= ' selected';}       
  $Ptr .= '>'.$key."</option>"."\n";       
     }  
     $Ptr .= '</select>'."\n";  
   
     $r->print( $Ptr );  Build up the classlist information.  The classlist information is kept in
     $r->rflush();  the following package variables:
 }  
   
   =over 4 
   
 # ================================================================ Main Handler  =item * @FullClasslist
   
 sub handler {  =item * @Students
     $r=shift;  
   
     if (&Apache::lonnet::allowed('vgr',$ENV{'request.course.id'})) {  =item * @Sections
 # ------------------------------------------- Set document type for header only  
  if ($r->header_only) {  =item * @Groups 
     if ($ENV{'browser.mathml'}) {  
  $r->content_type('text/xml');  =item * %StudentData
     }   
     else {  =item * @SelectedStudentData
  $r->content_type('text/html');  
     }  =item * $curr_student
     $r->send_http_header;  
     return OK;  =item * $prev_student
  }      
  my $requrl=$r->uri;  =item * $next_student
 # ----------------------------------------------------------------- Tie db file  
   =back
  undef %hash;  
   $curr_student, $prev_student, and $next_student may not be defined, depending
  if ($ENV{'request.course.fn'}) {  upon the calling context.
     my $fn=$ENV{'request.course.fn'};  
     if (-e "$fn.db") {  =item get_selected_sections()
  if (tie(%hash,'GDBM_File',"$fn.db",&GDBM_READER,0640)) {  
 # ------------------------------------------------------------------- Hash tied  Returns an array of the selected sections
     $r->content_type('text/html');  
     $r->send_http_header;  =item get_selected_groups()
     &Menu();                                                                                      
  }  Returns an array of the selected groups
  else {  
     $r->content_type('text/html');  =item &section_and_enrollment_description()
     $r->send_http_header;  
     $r->print('<html><body>Coursemap undefined.</body></html>');  Returns a string describing the currently selected section(s), group(s) and 
  }  access status.  
 # ------------------------------------------------------------------ Untie hash  
  unless (untie(%hash)) {  Inputs: mode = 'plaintext' or 'localized'  (defaults to 'localized')
     &Apache::lonnet::logthis("<font color=blue>WARNING: ".      'plaintext' is used for example in Excel spreadsheets.
                             "Could not untie coursemap $fn (browse).</font>");   Returns: scalar description string.
  }  
   =item section_or_group_text()
 # -------------------------------------------------------------------- All done  
  return OK;  =item get_students()
 # ----------------------------------------------- Errors, hash could no be tied  
     }  Returns a list of the selected students
  }   
  else {  =item &current_student()
     $ENV{'user.error.msg'}="$requrl:bre:0:0:Course not initialized";  
     return HTTP_NOT_ACCEPTABLE;   Returns a pointer to a hash containing data about the currently
  }  selected student.
     }  
     else {  =item &previous_student()
         $ENV{'user.error.msg'}=  
         $r->uri.":vgr:0:0:Cannot view grades for complete course";  Returns a pointer to a hash containing data about the student prior
   in the list of students.  Or something. 
   
   =item &next_student()
   
   Returns a pointer to a hash containing data about the next student
   to be viewed. 
   
   =item &StudentDataSelect($elementname,$status,$numvisible,$selected)
   
   Returns html for a selection box allowing the user to choose one (or more) 
   of the fields of student data available (fullname, username, id, section, etc)
   
   =over 4
   
   =item * $elementname The name of the HTML form element
   
   =item * $status 'multiple' or 'single' selection box
   
   =item * $numvisible The number of options to be visible
   
   =back
   
   =item &get_selected_maps($elementname)
   
   Input: Name of the <select> form element used to specify the maps.
   
   Returns: Array of symbs of selected maps or the description 'all'.
      If form.$elementname does not exist, 'all' is returned.
   
   =item &selected_sequences_with_assessments()
   
   Retrieve the sequences which were selected by the user to show.  
   
   Input: $mode: scalar.  Either 'selected' or 'all'.  If not specified,
       'selected' is used.
   
   Returns: an array containing a navmap object and navmap resources, 
       or an array containing a scalar with an error message.
   
   =item &map_select($elementname,$status,$numvisible,$restriction) 
   
   Returns html for a selection box allowing the user to choose one (or more) 
   of the sequences in the course.  The values of the sequences are the symbs.
   If the top sequence is selected, the value 'top' will result.
   
   =over 4
   
   =item * $elementname The name of the HTML form element
   
   =item * $status 'multiple' or 'single' selection box
   
   =item * $numvisible The number of options to be visible
   
   =back
   
   =item &SectionSelect($elementname,$status,$numvisible) 
   
   Returns html for a selection box allowing the user to choose one (or more) 
   of the sections in the course.  
   
   Uses the package variables @Sections
   
   =over 4
   
   =item * $elementname The name of the HTML form element
   
   =item * $status 'multiple' or 'single' selection box
   
   =item * $numvisible The number of options to be visible
   
   =back
   
   =item &GroupSelect($elementname,$status,$numvisible)
                                                                                       
   Returns html for a selection box allowing the user to choose one (or more)
   of the groups in the course.
                                                                                       
   Uses the package variables @Groups
   
   =over 4
                                                                                       
   =item * $elementname The name of the HTML form element
                                                                                       
   =item * $status 'multiple' or 'single' selection box
                                                                                       
   =item * $numvisible The number of options to be visible
                                                                                       
   =back
   
   =item CreateMainMenu()
   
   =back
   
   =cut
   
         return HTTP_NOT_ACCEPTABLE;   
     }  
 }  
 1;  
 __END__  

Removed from v.1.18  
changed lines
  Added in v.1.148.2.3


FreeBSD-CVSweb <freebsd-cvsweb@FreeBSD.org>