Diff for /loncom/interface/statistics/lonstudentassessment.pm between versions 1.3 and 1.155

version 1.3, 2002/07/26 16:22:09 version 1.155, 2009/05/17 23:13:49
Line 1 Line 1
 # The LearningOnline Network with CAPA  # The LearningOnline Network with CAPA
 # (Publication Handler  
 #  #
 # $Id$  # $Id$
 #  #
 # Copyright Michigan State University Board of Trustees  # Copyright Michigan State University Board of Trustees
 #  #
 # This file is part of the LearningOnline Network with CAPA (LON-CAPA).  # This file is part of the LearningOnline Network with CAPA (LON-CAPA).
 #  
 # LON-CAPA is free software; you can redistribute it and/or modify  # LON-CAPA is free software; you can redistribute it and/or modify
 # it under the terms of the GNU General Public License as published by  # it under the terms of the GNU General Public License as published by
 # the Free Software Foundation; either version 2 of the License, or  # the Free Software Foundation; either version 2 of the License, or
Line 26 Line 24
 # http://www.lon-capa.org/  # http://www.lon-capa.org/
 #  #
 # (Navigate problems for statistical reports  # (Navigate problems for statistical reports
 # YEAR=2001  
 # 5/5,7/9,7/25/1,8/11,9/13,9/26,10/5,10/9,10/22,10/26 Behrouz Minaei  
 # 11/1,11/4,11/16,12/14,12/16,12/18,12/20,12/31 Behrouz Minaei  
 # YEAR=2002  
 # 1/22,2/1,2/6,2/25,3/2,3/6,3/17,3/21,3/22,3/26,4/7,5/6 Behrouz Minaei  
 # 5/12,5/14,5/15,5/19,5/26,7/16  Behrouz Minaei  
 #  #
 ###  #######################################################
   #######################################################
   
   =pod
   
   =head1 NAME
   
   lonstudentassessment
   
   =head1 SYNOPSIS
   
   Presents assessment data about a student or a group of students.
   
   =head1 Subroutines
   
   =over 4 
   
   =cut
   
   #######################################################
   #######################################################
   
 package Apache::lonstudentassessment;   package Apache::lonstudentassessment;
   
 use strict;  use strict;
 use Apache::lonhtmlcommon;  use Apache::lonstatistics();
   use Apache::lonhtmlcommon();
   use Apache::loncommon();
 use Apache::loncoursedata;  use Apache::loncoursedata;
 use GDBM_File;  use Apache::lonnet; # for logging porpoises
   use Apache::lonlocal;
   use Apache::grades();
   use Apache::lonmsgdisplay();
   use Time::HiRes;
   use Spreadsheet::WriteExcel;
   use Spreadsheet::WriteExcel::Utility();
   use lib '/home/httpd/lib/perl/';
   use LONCAPA;
    
   
 sub BuildStudentAssessmentPage {  #######################################################
     my ($cacheDB,$students,$courseID,$formName,$headings,$spacing,  #######################################################
         $studentInformation,$r,$c)=@_;  =pod
   
     my %cache;  
     unless(tie(%cache,'GDBM_File',$cacheDB,&GDBM_READER,0640)) {  
         $r->print('<html><body>Unable to tie database.</body></html>');  
         return;  
     }  
   
     # Remove students who don't have the proper section.  =item Package Variables
     my @sectionsSelected = split(':',$cache{'sectionsSelected'});  
     for(my $studentIndex=((scalar @$students)-1); $studentIndex>=0;  
         $studentIndex--) {  
         my $value = $cache{$students->[$studentIndex].':section'};  
         my $found = 0;  
         foreach (@sectionsSelected) {  
             if($_ eq 'none') {  
                 if($value eq '' || !defined($value) || $value eq ' ') {  
                     $found = 1;  
                     last;  
                 }  
             } else {  
                 if($value eq $_) {  
                     $found = 1;  
                     last;  
                 }  
             }  
         }  
         if($found == 0) {  
             splice(@$students, $studentIndex, 1);  
         }  
     }  
   
     my $selectedName = &FindSelectedStudent(\%cache,   =over 4
                                             $cache{'StudentAssessmentStudent'},  
                                             $students);  
     $r->print(&CreateInterface(\%cache, $selectedName, $students, $formName));  
   
     my $Ptr = '';  =item $Statistics Hash ref to store student data.  Indexed by symb,
     if($selectedName eq 'No Student Selected') {        contains hashes with keys 'score' and 'max'.
  $Ptr .= '<h3><font color=blue>WARNING: ';  
         $Ptr .= 'Please select a student</font></h3>';  
         $r->print($Ptr);  
         return;  
     }  
   
     my ($infoHeadings, $infoKeys, $sequenceHeadings, $sequenceKeys) =   =cut
         &ShouldShowColumns(\%cache, $headings, $studentInformation);  
   
     $r->print(&CreateTableHeadings(\%cache, $spacing, $infoKeys, $infoHeadings,  #######################################################
                                    $sequenceKeys, $sequenceHeadings));  #######################################################
     untie(%cache);  
   
     my $selected=0;  
     $r->print('<pre>'."\n");  
     foreach (@$students) {  
         next if ($_ ne $selectedName &&   
                  $selectedName ne 'All Students');  
         $selected = 1;  
         my $courseData;   
         if(tie(%cache,'GDBM_File',$cacheDB,&GDBM_READER,0640)) {  
             if($cache{$_.':lastDownloadTime'} eq 'Not downloaded') {  
                 untie(%cache);  
                 $courseData =   
                     &Apache::loncoursedata::DownloadCourseInformation($_,   
                                                                     $courseID);  
                 if(tie(%cache,'GDBM_File',$cacheDB,&GDBM_WRCREAT,0640)) {  
                     &Apache::loncoursedata::ProcessStudentData(\%cache,   
                                                              $courseData, $_);  
                     untie(%cache);  
                 } else {  
                     last if($c->aborted());  
                     next;  
                 }  
             } else {  
                 untie(%cache);  
             }  
         } else {  
             last if($c->aborted());  
             next;  
         }  
   
         last if ($c->aborted());  my $Statistics;
   
         if(tie(%cache,'GDBM_File',$cacheDB,&GDBM_READER,0640)) {  #######################################################
             my $displayString = 'DISPLAYDATA'.$spacing;  #######################################################
             $r->print(&Apache::lonhtmlcommon::FormatStudentInformation(  
                                                          \%cache, $_,  
                                                          $infoKeys,  
                                                          $displayString,  
                                                          'preformatted'));  
             $r->print(&StudentReport(\%cache, $_, $spacing, $sequenceKeys));  
             $r->print("\n");  
             untie(%cache);  
         }  
     }  
     $r->print('</pre>'."\n");  
     if($selected == 0) {  
  $Ptr .= '<h3><font color=blue>WARNING: ';  
         $Ptr .= 'Please select a student</font></h3>';  
         $r->print($Ptr);  
     }  
   
     return;  =pod
 }  
   
 #---- Student Assessment Web Page --------------------------------------------  =item $show_links 'yes' or 'no' for linking to student performance data
   
 sub CreateInterface {  =item $output_mode 'html', 'excel', or 'csv' for output mode
     my($cache,$selectedName,$students,$formName)=@_;  
     my $Ptr = '';  
     $Ptr .= &CreateLegend();  
     $Ptr .= '<table><tr><td>'."\n";  
     $Ptr .= '<input type="submit" name="PreviousStudent" ';  
     $Ptr .= 'value="Previous Student" />'."\n";  
     $Ptr .= '&nbsp&nbsp&nbsp'."\n";  
     $Ptr .= &Apache::lonhtmlcommon::StudentOptions($cache, $students,   
                                                    $selectedName,   
                                                    'StudentAssessment',   
                                                    $formName);  
     $Ptr .= "\n".'&nbsp&nbsp&nbsp'."\n";  
     $Ptr .= '<input type="submit" name="NextStudent" ';  
     $Ptr .= 'value="Next Student" />'."\n";  
     $Ptr .= '</td></tr></table>'."\n";  
     $Ptr .= '<table><tr><td align="center"><b>Select Sections</b>';  
     $Ptr .= '</td></tr>'."\n";  
   
     $Ptr .= '<tr><td align="center">'."\n";  
     my @sections = split(':',$cache->{'sectionList'});  
     my @selectedSections = split(':',$cache->{'sectionsSelected'});  
     $Ptr .= &Apache::lonhtmlcommon::MultipleSectionSelect(\@sections,  
                                                           \@selectedSections,  
                                                           'Statistics');  
     $Ptr .= '</td></tr></table>'."\n";  
   
     return $Ptr;  
 }  
   
 sub CreateTableHeadings {  
     my($cache,$spacing,$infoKeys,$infoHeadings,$sequenceKeys,  
        $sequenceHeadings)=@_;  
   
     my $Str = '';  =item $show 'all', 'totals', or 'scores' determines how much data is output
     $Str .= '<table border="0" cellpadding="0" cellspacing="0"><tr>'."\n";  
   
     my $displayString = '<td align="left"><pre><a href="/adm/statistics?';  =item $single_student_mode evaluates to true if we are showing only one
     $displayString .= 'sort=LINKDATA">DISPLAYDATA</a>FORMATTING';  student.
     $displayString .= $spacing.'</pre></td>'."\n";  
     $Str .= &Apache::lonhtmlcommon::CreateHeadings($cache,   
                                                    $infoKeys,  
                                                    $infoHeadings,  
                                                    $displayString,  
                                                    'preformatted');  
   
     $displayString  = '<td align="left"><pre>DISPLAYDATA'.$spacing;  
     $displayString .= '</pre></td>'."\n";  
     $Str .= &Apache::lonhtmlcommon::CreateHeadings($cache,  
                                                    $sequenceKeys,  
                                                    $sequenceHeadings,  
                                                    $displayString,  
                                                    'preformatted');  
   
     $Str .= '<td><pre>Total Solved/Total Problems</pre></td>';  =cut
     $Str .= '</tr></table>'."\n";  
   
     return $Str;  #######################################################
 }  #######################################################
   my $show_links;
   my $output_mode;
   my $chosen_output;
   my $single_student_mode;
   
   #######################################################
   #######################################################
   # End of package variable declarations
   
 =pod  =pod
   
 =item &FormatStudentData()  =back
   
 First, FormatStudentInformation is called and prefixes the course information.  =cut
 This function produces a formatted string of the student's course information.  
 Each column of data represents all the problems for a given sequence.  For  
 valid grade data, a link is created for that problem to a submission record  
 for that problem.  
   
 =over 4  #######################################################
   #######################################################
   
 Input: $name, $studentInformation, $ChartDB  =pod
   
 $name: The name and domain of the current student in name:domain format  =item &BuildStudentAssessmentPage()
   
 $studentInformation: A pointer to an array holding the names used to   Inputs: 
 remove data from the hash.  They represent   
 the name of the data to be removed.  
   
 $ChartDB: The name of the cached data database which will be tied to that   =over 4
 database.  
   
 Output: $Str  =item $r Apache Request
   
 $Str: Formatted string that is an entire row of the chart.  It is a   =item $c Apache Connection 
 concatenation of student information and student course information.  
   
 =back  =back
   
 =cut  =cut
   
 sub StudentReport {  #######################################################
     my ($cache,$name,$spacing,$showSequences)=@_;  #######################################################
     my ($username,$domain)=split(':',$name);  sub BuildStudentAssessmentPage {
       my ($r,$c)=@_;
       #
       undef($Statistics);
       undef($show_links);
       undef($output_mode);
       undef($chosen_output);
       undef($single_student_mode);
       #
       my %Saveable_Parameters = ('Status' => 'scalar',
                                  'chartoutputmode' => 'scalar',
                                  'chartoutputdata' => 'scalar',
                                  'Section' => 'array',
                                  'Groups' => 'array',
                                  'StudentData' => 'array',
                                  'Maps' => 'array');
       &Apache::loncommon::store_course_settings('chart',\%Saveable_Parameters);
       &Apache::loncommon::restore_course_settings('chart',\%Saveable_Parameters);
       #
       &Apache::lonstatistics::PrepareClasslist();
       #
       $single_student_mode = 0;
       $single_student_mode = 1 if ($env{'form.SelectedStudent'});
       &Apache::loncommon::get_unprocessed_cgi($ENV{'QUERY_STRING'},
                                               ['selectstudent']);
       if ($env{'form.selectstudent'}) {
           &Apache::lonstatistics::DisplayClasslist($r);
           return;
       }
       #
       # Print out the HTML headers for the interface
       #    This also parses the output mode selector
       #    This step must *always* be done.
       $r->print(&CreateInterface());
       $r->print('<input type="hidden" name="notfirstrun" value="true" />');
       $r->print('<input type="hidden" name="sort" value="'.
                 $env{'form.sort'}.'" />');
       $r->rflush();
       #
       if (! exists($env{'form.notfirstrun'}) && ! $single_student_mode) {
           return;
       }
       $r->print('<h4>'.
                 &Apache::lonstatistics::section_and_enrollment_description().
                 '</h4>');
       #
       my $initialize     = \&html_initialize;
       my $output_student = \&html_outputstudent;
       my $finish         = \&html_finish;
       #
       if ($output_mode eq 'excel') {
           $initialize     = \&excel_initialize;
           $output_student = \&excel_outputstudent;
           $finish         = \&excel_finish;
       } elsif ($output_mode eq 'csv') {
           $initialize     = \&csv_initialize;
           $output_student = \&csv_outputstudent;
           $finish         = \&csv_finish;
       }
       #
       if($c->aborted()) {  return ; }
       #
       # Determine which students we want to look at
       my @Students;
       if ($single_student_mode) {
           @Students = (&Apache::lonstatistics::current_student());
           $r->print(&next_and_previous_buttons());
           $r->rflush();
       } else {
           @Students = @Apache::lonstatistics::Students;
       }
       #
       # Perform generic initialization tasks
       #       Since we use lonnet::EXT to retrieve problem weights,
       #       to ensure current data we must clear the caches out.
       #       This makes sure that parameter changes at the student level
       #       are immediately reflected in the chart.
       &Apache::lonnet::clear_EXT_cache_status();
       #
       # Clean out loncoursedata's package data, just to be safe.
       &Apache::loncoursedata::clear_internal_caches();
       #
       # Call the initialize routine selected above
       $initialize->($r);
       foreach my $student (@Students) {
           if($c->aborted()) { 
               $finish->($r);
               return ; 
           }
           # Call the output_student routine selected above
           $output_student->($r,$student);
       }
       # Call the "finish" routine selected above
       $finish->($r);
       #
       return;
   }
   
   #######################################################
   #######################################################
   sub next_and_previous_buttons {
     my $Str = '';      my $Str = '';
     if($cache->{$name.':error'} =~ /course/) {      $Str .= '<input type="hidden" name="SelectedStudent" value="'.
         $Str .= '<b><font color="blue">No course data for student </font>';          $env{'form.SelectedStudent'}.'" />';
         $Str .= '<font color="red">'.$username.'.</font></b><br>';      #
         return $Str;      # Build the previous student link
     }      my $previous = &Apache::lonstatistics::previous_student();
       my $previousbutton = '';
     my $Version;      if (defined($previous)) {
     my $problemsCorrect = 0;          my $sname = $previous->{'username'}.':'.$previous->{'domain'};
     my $totalProblems   = 0;          $previousbutton .= '<input type="button" value="'.
     my $problemsSolved  = 0;              &mt('Previous Student ([_1])',
     my $numberOfParts   = 0;              $previous->{'username'}.':'.$previous->{'domain'}).
 #    foreach my $sequence (split(':', $cache->{'orderedSequences'})) {              '" onclick="document.Statistics.SelectedStudent.value='.
     foreach my $sequence (@$showSequences) {              "'".$sname."'".';'.
         my $characterCount=0;              'document.Statistics.submit();" />';
         foreach my $problemID (split(':', $cache->{$sequence.':problems'})) {      } else {
             my $problem = $cache->{$problemID.':problem'};          $previousbutton .= '<input type="button" value="'.
             my $LatestVersion = $cache->{$name.':version:'.$problem};              &mt('Previous Student').'" disabled="disabled" />';
       }
             # Output dashes for all the parts of this problem if there      #
             # is no version information about the current problem.      # Build the next student link
             if(!$LatestVersion) {      my $next = &Apache::lonstatistics::next_student();
                 foreach my $part (split(/\:/,$cache->{$sequence.':'.      my $nextbutton = '';
                                                       $problemID.      if (defined($next)) {
                                                       ':parts'})) {          my $sname = $next->{'username'}.':'.$next->{'domain'};
                     $Str .= ' ';          $nextbutton .= '<input type="button" value="'.
                     $totalProblems++;              &mt('Next Student ([_1])',
                     $characterCount++;              $next->{'username'}.':'.$next->{'domain'}).
                 }              '" onclick="document.Statistics.SelectedStudent.value='.
                 next;              "'".$sname."'".';'.
             }              'document.Statistics.submit();" />';
       } else {
           $nextbutton .= '<input type="button" value="'.
               &mt('Next Student').'" disabled="disabled" />';
       }
       #
       # Build the 'all students' button
       my $all = '';
       $all .= '<input type="button" value="'.&mt('All Students').'" '.
               '" onclick="document.Statistics.SelectedStudent.value='.
               "''".';'.'document.Statistics.submit();" />';
       $Str .= $previousbutton.('&nbsp;'x5).$all.('&nbsp;'x5).$nextbutton;
       return $Str;
   }
   
             my %partData=undef;  #######################################################
             # Initialize part data, display skips correctly  #######################################################
             # Skip refers to when a student made no submissions on that  
             # part/problem.  sub get_student_fields_to_show {
             foreach my $part (split(/\:/,$cache->{$sequence.':'.      my @to_show = @Apache::lonstatistics::SelectedStudentData;
                                                   $problemID.      foreach (@to_show) {
                                                   ':parts'})) {          if ($_ eq 'all') {
                 $partData{$part.':tries'}=0;              @to_show = @Apache::lonstatistics::StudentDataOrder;
                 $partData{$part.':code'}=' ';              last;
             }          }
       }
             # Looping through all the versions of each part, starting with the      return @to_show;
             # oldest version.  Basically, it gets the most recent   }
             # set of grade data for each part.  
     for(my $Version=1; $Version<=$LatestVersion; $Version++) {  
                 foreach my $part (split(/\:/,$cache->{$sequence.':'.  
                                                       $problemID.  
                                                       ':parts'})) {  
   
                     if(!defined($cache->{$name.":$Version:$problem".  
                                                ":resource.$part.solved"})) {  
                         # No grade for this submission, so skip  
                         next;  
                     }  
   
                     my $tries=0;  #######################################################
                     my $code=' ';  #######################################################
   
                     $tries = $cache->{$name.':'.$Version.':'.$problem.  =pod
                                       ':resource.'.$part.'.tries'};  
                     $partData{$part.':tries'}=($tries) ? $tries : 0;  
   
                     my $val = $cache->{$name.':'.$Version.':'.$problem.  
                                        ':resource.'.$part.'.solved'};  
                     if    ($val eq 'correct_by_student')   {$code = '*';}   
                     elsif ($val eq 'correct_by_override')  {$code = '+';}  
                     elsif ($val eq 'incorrect_attempted')  {$code = '.';}   
                     elsif ($val eq 'incorrect_by_override'){$code = '-';}  
                     elsif ($val eq 'excused')              {$code = 'x';}  
                     elsif ($val eq 'ungraded_attempted')   {$code = '#';}  
                     else                                   {$code = ' ';}  
                     $partData{$part.':code'}=$code;  
                 }  
             }  
   
             # All grades (except for versionless parts) are displayed as links  =item &CreateInterface()
             # to their submission record.  Loop through all the parts for the  
             # current problem in the correct order and prepare the output links  
             $Str .= '<a href="/adm/grades?symb=';  
             $Str .= &Apache::lonnet::escape($problem);  
             $Str .= '&student='.$username.'&domain='.$domain;  
             $Str .= '&command=submission">';   
             foreach(split(/\:/,$cache->{$sequence.':'.$problemID.  
                                         ':parts'})) {  
                 if($partData{$_.':code'} eq '*') {  
                     $problemsCorrect++;  
                     if (($partData{$_.':tries'}<10) &&  
                         ($partData{$_.':tries'} ne '')) {  
                         $partData{$_.':code'}=$partData{$_.':tries'};  
                     }  
                 } elsif($partData{$_.':code'} eq '+') {  
                     $problemsCorrect++;  
                 }  
   
                 $Str .= $partData{$_.':code'};  Called by &BuildStudentAssessmentPage to create the top part of the
                 $characterCount++;  page which displays the chart.
   
                 if($partData{$_.':code'} ne 'x') {  Inputs: None
                     $totalProblems++;  
                 }  Returns:  A string containing the HTML for the headers and top table for 
             }  the chart page.
             $Str.='</a>';  
         }  
   
         # Output the number of correct answers for the current sequence.  =cut
         # This part takes up 6 character slots, but is formated right   
         # justified.  
         my $spacesNeeded=$cache->{$sequence.':columnWidth'}-$characterCount;  
         $spacesNeeded -= 3;  
         $Str .= (' 'x$spacesNeeded);  
   
  my $outputProblemsCorrect = sprintf( "%3d", $problemsCorrect );  
  $Str .= '<font color="#007700">'.$outputProblemsCorrect.'</font>';  
  $problemsSolved += $problemsCorrect;  
  $problemsCorrect=0;  
   
         $Str .= $spacing;  
     }  
   
     # Output the total correct problems over the total number of problems.  
     # I don't like this type of formatting, but it is a solution.  Need  
     # a way to dynamically determine the space requirements.  
     my $outputProblemsSolved = sprintf( "%4d", $problemsSolved );  
     my $outputTotalProblems  = sprintf( "%4d", $totalProblems );  
     $Str .= '<font color="#000088">'.$outputProblemsSolved.  
     ' / '.$outputTotalProblems.'</font>';  
   
   #######################################################
   #######################################################
   sub CreateInterface {
       my $Str = '';
       $Str .= &Apache::lonhtmlcommon::breadcrumbs('Chart','Chart_Description:Chart_Sections:Chart_Student_Data:Chart_Enrollment_Status:Chart_Sequences:Chart_Output_Formats:Chart_Output_Data');
   #    $Str .= &CreateLegend();
       $Str .= '<table cellspacing="5">'."\n";
       $Str .= '<tr>';
       $Str .= '<td align="center"><b>'.&mt('Sections').'</b>'.
    &Apache::loncommon::help_open_topic("Chart_Sections").
    '</td>';
       $Str .= '<td align="center"><b>'.&mt('Groups').'</b>'.
    '</td>';
       $Str .= '<td align="center"><b>'.&mt('Student Data</b>').
    &Apache::loncommon::help_open_topic("Chart_Student_Data").
    '</td>';
       $Str .= '<td align="center"><b>'.&mt('Access Status').'</b>'.
    &Apache::loncommon::help_open_topic("Chart_Enrollment_Status").
    '</td>';
       $Str .= '<td align="center"><b>'.&mt('Sequences and Folders').'</b>'.
    &Apache::loncommon::help_open_topic("Chart_Sequences").
    '</td>';
       $Str .= '<td align="center"><b>'.&mt('Output Format').'</b>'.
           &Apache::loncommon::help_open_topic("Chart_Output_Formats").
           '</td>';
       $Str .= '<td align="center"><b>'.&mt('Output Data').'</b>'.
           &Apache::loncommon::help_open_topic("Chart_Output_Data").
           '</td>';
       $Str .= '</tr>'."\n";
       #
       $Str .= '<tr><td align="center">'."\n";
       $Str .= &Apache::lonstatistics::SectionSelect('Section','multiple',5);
       $Str .= '</td><td align="center">';
       $Str .= &Apache::lonstatistics::GroupSelect('Group','multiple',5);
       $Str .= '</td><td align="center">';
       $Str .= &Apache::lonstatistics::StudentDataSelect('StudentData','multiple',
                                                         5,undef);
       $Str .= '</td><td>'."\n";
       $Str .= &Apache::lonhtmlcommon::StatusOptions(undef,undef,5);
       $Str .= '</td><td>'."\n";
       $Str .= &Apache::lonstatistics::map_select('Maps','multiple,all',5);
       $Str .= '</td><td>'."\n";
       $Str .= &CreateAndParseOutputSelector();
       $Str .= '</td><td>'."\n";
       $Str .= &CreateAndParseOutputDataSelector();
       $Str .= '</td></tr>'."\n";
       $Str .= '</table>'."\n";
       $Str .= '<input type="submit" name="Generate Chart" value="'.
           &mt('Generate Chart').'" />';
       $Str .= '&nbsp;'x5;
       $Str .= '<input type="submit" name="selectstudent" value="'.
           &mt('Select One Student').'" />';
       $Str .= '&nbsp;'x5;
       $Str .= '<input type="submit" name="ClearCache" value="'.
           &mt('Clear Caches').'" />';
       $Str .= '<p>';
       $Str .= 
           &mt('Status [_1]',
               '<input type="text" name="stats_status" size="60" value="" readonly="readonly" />');
       $Str .= '</p>';
     return $Str;      return $Str;
 }  }
   
 =pod  #######################################################
   #######################################################
   
 =item &CreateLegend()  =pod
   
 This function returns a formatted string containing the legend for the  =item &CreateAndParseOutputSelector()
 chart.  The legend describes the symbols used to represent grades for  
 problems.  
   
 =cut  =cut
   
 sub CreateLegend {  #######################################################
     my $Str = "<p><pre>".  #######################################################
               "1..9: correct by student in 1..9 tries\n".  my @OutputOptions = 
               "   *: correct by student in more than 9 tries\n".      ({ name  => 'HTML, with links',
       "   +: correct by override\n".         value => 'html, with links',
               "   -: incorrect by override\n".         description => 'Output HTML with each symbol linked to the problem '.
       "   .: incorrect attempted\n".     'which generated it.',
       "   #: ungraded attempted\n".         mode => 'html',
               "    : not attempted\n".         show_links => 'yes',
       "   x: excused".         },
               "</pre><p>";        { name  => 'HTML, with all links',
          value => 'html, with all links',
          description => 'Output HTML with each symbol linked to the problem '.
      'which generated it.  '.
              'This includes links for unattempted problems.',
          mode => 'html',
          show_links => 'all',
          },
        { name  => 'HTML, without links',
          value => 'html, without links',
          description => 'Output HTML.  By not including links, the size of the'.
      ' web page is greatly reduced.  If your browser crashes on the '.
      'full display, try this.',
          mode => 'html',
          show_links => 'no',
              },
        { name  => 'Excel',
          value => 'excel',
          description => 'Output an Excel file (compatable with Excel 95).',
          mode => 'excel',
          show_links => 'no',
      },
        { name  => 'CSV',
          value => 'csv',
          description => 'Output a comma separated values file suitable for '.
              'import into a spreadsheet program.  Using this method as opposed '.
              'to Excel output allows you to organize your data before importing'.
              ' it into a spreadsheet program.',
          mode => 'csv',
          show_links => 'no',
              },
        );
   
   sub OutputDescriptions {
       my $Str = '';
       $Str .= "<h2>Output Formats</h2>\n";
       $Str .= "<dl>\n";
       foreach my $outputmode (@OutputOptions) {
    $Str .="    <dt>".$outputmode->{'name'}."</dt>\n";
    $Str .="        <dd>".$outputmode->{'description'}."</dd>\n";
       }
       $Str .= "</dl>\n";
     return $Str;      return $Str;
 }  }
   
 =pod  sub CreateAndParseOutputSelector {
       my $Str = '';
       my $elementname = 'chartoutputmode';
       &Apache::loncommon::get_unprocessed_cgi($ENV{'QUERY_STRING'},
                                               [$elementname]);
       #
       # Format for output options is 'mode, restrictions';
       my $selected = (&Apache::loncommon::get_env_multiple('form.'.$elementname))[0];
       $selected = 'html, without links' if (!$selected);
   
       #
       # Set package variables describing output mode
       $show_links  = 'no';
       $output_mode = 'html';
       foreach my $option (@OutputOptions) {
           next if ($option->{'value'} ne $selected);
           $output_mode = $option->{'mode'};
           $show_links  = $option->{'show_links'};
       }
   
 =item &CreateColumnSelectionBox()      #
       # Build the form element
       $Str = qq/<select size="5" name="$elementname">/;
       foreach my $option (@OutputOptions) {
           $Str .= "\n".'    <option value="'.$option->{'value'}.'"';
           $Str .= " selected " if ($option->{'value'} eq $selected);
           $Str .= ">".&mt($option->{'name'})."<\/option>";
       }
       $Str .= "\n</select>";
       return $Str;
   }
   
 If there are columns not being displayed then this selection box is created  ##
 with a list of those columns.  When selections are made and the page   ## Data selector stuff
 refreshed, the columns will be removed from this box and the column is  ##
 put back in the chart.  If there is no columns to select, no row is added  my @OutputDataOptions =
 to the interface table.      (
        { name  => 'Scores Summary',
          base  => 'scores',
          value => 'sum and total',
          scores => 1,
          tries  => 0,
          every_problem => 0,
          sequence_sum => 1,
          sequence_max => 1,
          grand_total => 1,
          grand_maximum => 1,
          summary_table => 1,
          maximum_row => 1,
          ignore_weight => 0,
          shortdesc => 'Total Score and Maximum Possible for each '.
              'Sequence or Folder',
          longdesc => 'The score of each student as well as the '.
              ' maximum possible on each Sequence or Folder.',
          },
        { name  => 'Scores Per Problem',
          base  => 'scores',
          value => 'scores',
          scores => 1,
          tries  => 0,
          correct => 0,
          every_problem => 1,
          sequence_sum => 1,
          sequence_max => 1,
          grand_total => 1,
          grand_maximum => 1,
          summary_table => 1,
          maximum_row => 1,
          ignore_weight => 0,
          shortdesc => 'Score on each Problem Part',
          longdesc =>'The students score on each problem part, computed as'.
              'the part weight * part awarded',
          },
        { name  =>'Tries',
          base  =>'tries',
          value => 'tries',
          scores => 0,
          tries  => 1,
          correct => 0,
          every_problem => 1,
          sequence_sum => 0,
          sequence_max => 0,
          grand_total => 0,
          grand_maximum => 0,
          summary_table => 0,
          maximum_row => 0,
          ignore_weight => 0,
          shortdesc => 'Number of Tries before success on each Problem Part',
          longdesc =>'The number of tries before success on each problem part.',
          non_html_notes => 'negative values indicate an incorrect problem',
          },
        { name  =>'Parts Correct',
          base  =>'tries',
          value => 'parts correct total',
          scores => 0,
          tries  => 0,
          correct => 1,
          every_problem => 1,
          sequence_sum => 1,
          sequence_max => 1,
          grand_total => 1,
          grand_maximum => 1,
          summary_table => 1,
          maximum_row => 0,
          ignore_weight => 1,
          shortdesc => 'Number of Problem Parts completed successfully.',
          longdesc => 'The Number of Problem Parts completed successfully and '.
              'the maximum possible for each student',
          },
        );
   
 =over 4  sub HTMLifyOutputDataDescriptions {
 Input: $CacheData, $headings      my $Str = '';
       $Str .= "<h2>Output Data</h2>\n";
       $Str .= "<dl>\n";
       foreach my $option (@OutputDataOptions) {
           $Str .= '    <dt>'.$option->{'name'}.'</dt>';
           $Str .= '<dd>'.$option->{'longdesc'}.'</dd>'."\n";
       }
       $Str .= "</dl>\n";
       return $Str;
   }
   
   sub CreateAndParseOutputDataSelector {
       my $Str = '';
       my $elementname = 'chartoutputdata';
       #
       my $selected = (&Apache::loncommon::get_env_multiple('form.'.$elementname))[0];
       $selected = 'scores' if (!$selected);
   
       #
       $chosen_output = $OutputDataOptions[0];
       foreach my $option (@OutputDataOptions) {
           if ($option->{'value'} eq $selected) {
               $chosen_output = $option;
           }
       }
       #
       # Build the form element
       $Str = qq/<select size="5" name="$elementname">/;
       foreach my $option (@OutputDataOptions) {
           $Str .= "\n".'    <option value="'.$option->{'value'}.'"';
           $Str .= " selected " if ($option->{'value'} eq $chosen_output->{'value'});
           $Str .= ">".&mt($option->{'name'})."<\/option>";
       }
       $Str .= "\n</select>";
       return $Str;
   
 $CacheData: A pointer to a hash tied to the cached data  }
   
 $headings:  An array of the names of the columns for the student information.    #######################################################
 They are used for displaying which columns are missing.  #######################################################
   sub count_parts {
       my ($navmap,$sequence) = @_;
       my @resources = &get_resources($navmap,$sequence);
       my $count = 0;
       foreach my $res (@resources) {
           $count += scalar(@{$res->parts});
       }
       return $count;
   }
   
 Output: $notThere  sub get_resources {
       my ($navmap,$sequence) = @_;
       my @resources = $navmap->retrieveResources($sequence,
                                                  sub { shift->is_problem(); },
                                                  0,0,0);
       return @resources;
   }
   
 $notThere: The string contains one row of a table.  The first column has the   #######################################################
 name of the selection box.  The second contains the selection box   #######################################################
 which has a size of four.  
   
 =back  =pod
   
   =head2 HTML output routines
   
   =item &html_initialize($r)
   
   Create labels for the columns of student data to show.
   
   =item &html_outputstudent($r,$student)
   
   Return a line of the chart for a student.
   
   =item &html_finish($r)
   
 =cut  =cut
   
 sub CreateColumnSelectionBox {  #######################################################
     my ($CacheData,$headings)=@_;  #######################################################
   {
       my $padding;
       my $count;
   
       my $nodata_count; # The number of students for which there is no data
       my %prog_state;   # progress state used by loncommon PrgWin routines
       my $total_sum_width;
   
       my %width; # Holds sequence width information
       my @sequences;
       my $navmap; # Have to keep this around since weakref is a bit zealous
   
   sub html_cleanup {
       undef(%prog_state);
       undef(%width);
       #
       undef($navmap);
       undef(@sequences);
   }
   
   sub html_initialize {
       my ($r) = @_;
       #
       $padding = ' 'x3;
       $count = 0;
       $nodata_count = 0;
       &html_cleanup();
       ($navmap,@sequences) = 
           &Apache::lonstatistics::selected_sequences_with_assessments();
       if (! ref($navmap)) {
           # Unable to get data, so bail out
           $r->print("<h3>".
                     &mt('Unable to retrieve course information.').
                     '</h3>');
       }
   
     my $missing=0;      # If we're showing links, show a checkbox to open in new
     my $notThere='<tr><td align="right"><b>Select column to view:</b>';      # windows.
     my $name;      if ($show_links ne 'no') {
     $notThere .= '<td align="left">';          my $labeltext = &mt('Show links in new window:');
     $notThere .= '<select name="ChartReselect" size="4" multiple="true">'."\n";          $r->print(<<NEW_WINDOW_CHECKBOX);
   <script type="text/javascript">new_window = true;</script>
   <p><label>$labeltext 
   <input type="checkbox" checked="checked" onclick="new_window=this.checked" />
   </label></p>
   NEW_WINDOW_CHECKBOX
       }
   
     for(my $index=0; $index<(scalar @$headings); $index++) {      #
         if(&ShouldShowColumn($CacheData, 'ChartHeading'.$index)) {      $r->print("<h3>".$env{'course.'.$env{'request.course.id'}.'.description'}.
             next;                "&nbsp;&nbsp;".localtime(time)."</h3>");
       #
       if ($chosen_output->{'base'} !~ /^final table/) {
           $r->print("<h3>".&mt($chosen_output->{'shortdesc'})."</h3>");        
       }
       my $Str = "<pre>\n";
       # First, the @StudentData fields need to be listed
       my @to_show = &get_student_fields_to_show();
       foreach my $field (@to_show) {
           my $title=$Apache::lonstatistics::StudentData{$field}->{'title'};
           my $base =$Apache::lonstatistics::StudentData{$field}->{'base_width'};
           my $width=$Apache::lonstatistics::StudentData{$field}->{'width'};
           $Str .= $title.' 'x($width-$base).$padding;
       }
       #
       # Compute the column widths and output the sequence titles
       my $total_count;
       #
       # Compute sequence widths
       my $starttime = Time::HiRes::time;
       foreach my $seq (@sequences) {
           my $symb = $seq->symb;
           my $title = $seq->compTitle;
           $width{$symb}->{'width_sum'} = 0;
           # Compute width of sum
           if ($chosen_output->{'sequence_sum'}) {
               if ($chosen_output->{'every_problem'}) {
                   # Use 1 digit for a space
                   $width{$symb}->{'width_sum'} += 1;            
               }
       $total_count += &count_parts($navmap,$seq);
               # Use 6 digits for the sum
               $width{$symb}->{'width_sum'} += 6;
           }
           # Compute width of maximum
           if ($chosen_output->{'sequence_max'}) {
               if ($width{$symb}->{'width_sum'}>0) {
                   # One digit for the '/'
                   $width{$symb}->{'width_sum'} +=1;
               }
               # Use 6 digits for the total
               $width{$symb}->{'width_sum'}+=6;
           }
    #
           if ($chosen_output->{'every_problem'}) {
               # one problem per digit
               $width{$symb}->{'width_parts'}= &count_parts($navmap,$seq);
               $width{$symb}->{'width_problem'} += $width{$symb}->{'width_parts'};
           } else {
               $width{$symb}->{'width_problem'} = 0;
           }
           $width{$symb}->{'width_total'} = $width{$symb}->{'width_problem'} + 
                                        $width{$symb}->{'width_sum'};
           if ($width{$symb}->{'width_total'} < length(&HTML::Entities::decode($title))) {
               $width{$symb}->{'width_total'} = length(&HTML::Entities::decode($title));
         }          }
         $name = $headings->[$index];          #
         $notThere .= '<option value="ChartHeading'.$index.'">';          # Output the sequence titles
         $notThere .= $name.'</option>'."\n";          $Str .= $title.(' 'x($width{$symb}->{'width_total'}-
         $missing++;                              length($title)
                               )).$padding;
     }      }
       $total_sum_width = length($total_count)+1;
       $Str .= "    total</pre>\n";
       $Str .= "<pre>";
       $r->print($Str);
       $r->rflush();
   
       $r->print(<<JS);
   <script type="text/javascript">
   // get the left offset of a given widget as an absolute position
   function getLeftOffset (element) {
       return collect(element, "offsetLeft");
   }
   
   // get the top offset of a given widget as an absolute position
   function getTopOffset (element) {
       return collect(element, "offsetTop");
   }
   
   function collect(element, att) {
       var val = 0;
       while(element) {
           val += element[att];
           element = element.offsetParent;
       }
       return val;
   }
   
     foreach my $sequence (split(/\:/,$CacheData->{'orderedSequences'})) {  var currentDiv;
         if(&ShouldShowColumn($CacheData, 'ChartSequence'.$sequence)) {  var currentElement;
             next;  function popup_score(element, score) {
       popdown_score();
       var left = getLeftOffset(element);
       var top = getTopOffset(element);
       var div = document.createElement("div");
       div.className = "LC_chrt_popup";
       div.appendChild(document.createTextNode(score));
       div.style.position = "absolute";
       div.style.top = (top - 25) + "px";
       div.style.left = (left - 10) + "px";
       currentDiv = div;
       document.body.insertBefore(div, document.body.childNodes[0]);
       element.className = "LC_chrt_popup_up";
       currentElement = element;
   }
   
   function popdown_score() {
       if (currentDiv) {
           document.body.removeChild(currentDiv);
       }
       if (currentElement) {
           currentElement.className = 'LC_chrt_popup_exists';
       }
       currentDiv = undefined;
   }
   </script>
   JS
   
       #
       # Let the user know what we are doing
       my $studentcount = scalar(@Apache::lonstatistics::Students); 
       if ($env{'form.SelectedStudent'}) {
           $studentcount = '1';
       }
       #
       # Initialize progress window
       %prog_state=&Apache::lonhtmlcommon::Create_PrgWin
           ($r,'HTML Chart Status',
            'HTML Chart Progress', $studentcount,
            'inline',undef,'Statistics','stats_status');
       #
       &Apache::lonhtmlcommon::Update_PrgWin($r,\%prog_state,
                                             'Processing first student');
       return;
   }
   
   sub html_outputstudent {
       my ($r,$student) = @_;
       my $Str = '';
       return if (! defined($navmap));
       #
       if($count++ % 5 == 0 && $count > 0) {
           $r->print("</pre><pre>");
       }
       # First, the @StudentData fields need to be listed
       my @to_show = &get_student_fields_to_show();
       foreach my $field (@to_show) {
           my $title=$student->{$field};
           # Deal with 'comments' - how I love special cases
           if ($field eq 'comments') {
               $title = '<a href="/adm/'.$student->{'domain'}.'/'.$student->{'username'}.'/'.'aboutme#coursecomment">'.&mt('Comments').'</a>';
         }          }
         $name = $CacheData->{$sequence.':title'};          my $base = length($title);
         $notThere .= '<option value="ChartSequence'.$sequence.'">';          my $width=$Apache::lonstatistics::StudentData{$field}->{'width'};
         $notThere .= $name.'</option>'."\n";          $Str .= $title.' 'x($width-$base).$padding;
         $missing++;  
     }      }
       # Get ALL the students data
       my %StudentsData;
       my @tmp = &Apache::loncoursedata::get_current_state
           ($student->{'username'},$student->{'domain'},undef,
            $env{'request.course.id'});
       if ((scalar @tmp > 0) && ($tmp[0] !~ /^error:(.*)/)) {
           %StudentsData = @tmp;
       } else {
    my $error = $1;
    if (scalar(@tmp) < 1) {
       $Str .= '<span class="LC_warning">'
                      .&mt('No Course Data')
                      .'</span>'."\n";
    } else {
               $Str .= '<span class="LC_error">'
                      .&mt('Error getting student data ([_1])',$error)
                      .'</span>'."\n";
    }
           $nodata_count++;
           $r->print($Str);
           $r->rflush();
           return;
       }
       #
       # By sequence build up the data
       my $studentstats;
       my $PerformanceStr = '';
       foreach my $seq (@sequences) {
           my $symb = $seq->symb;
           my ($performance,$performance_length,$score,$seq_max,$rawdata);
           if ($chosen_output->{'tries'}) {
               ($performance,$performance_length,$score,$seq_max,$rawdata) =
                   &student_tries_on_sequence($student,\%StudentsData,
                                              $navmap,$seq,$show_links);
           } else {
               ($performance,$performance_length,$score,$seq_max,$rawdata) =
                   &student_performance_on_sequence($student,\%StudentsData,
                                                    $navmap,$seq,$show_links,
                                                    $chosen_output->{ignore_weight});
           }
           my $ratio='';
           if ($chosen_output->{'every_problem'} && 
               $chosen_output->{'sequence_sum'}) {
               $ratio .= ' ';
           }
           if ($chosen_output->{'sequence_sum'} && $score ne ' ') {
               my $score .= sprintf("%3.2f",$score);
               $ratio .= (' 'x(6-length($score))).$score;
           } elsif($chosen_output->{'sequence_sum'}) {
               $ratio .= ' 'x6;
           }
           if ($chosen_output->{'sequence_max'}) {
               if ($chosen_output->{'sequence_sum'}) {
                   $ratio .= '/';
               }
               my $sequence_total=sprintf("%3.2f",$seq_max);
               $ratio .= $sequence_total.(' 'x(6-length($sequence_total)));
           }
           #
           if (! $chosen_output->{'every_problem'}) {
               $performance = '';
       $performance_length=0;
           }
           $performance .= ' 'x($width{$symb}->{'width_total'} -
                                $performance_length -
                                $width{$symb}->{'width_sum'}).
               $ratio;
           #
           $Str .= $performance.$padding;
           #
           $studentstats->{$symb}->{'score'}= $score;
           $studentstats->{$symb}->{'max'}  = $seq_max;
       }
       #
       # Total it up and store the statistics info.
       my ($score,$max);
       while (my ($symb,$seq_stats) = each (%{$studentstats})) {
           $Statistics->{$symb}->{'score'} += $seq_stats->{'score'};
           if ($Statistics->{$symb}->{'max'} < $seq_stats->{'max'}) {
               $Statistics->{$symb}->{'max'} = $seq_stats->{'max'};
           }
           if ($seq_stats->{'score'} ne ' ') {
               $score += $seq_stats->{'score'};
               $Statistics->{$symb}->{'num_students'}++;
           }
           $max   += $seq_stats->{'max'};
       }
       if (! defined($score)) {
           $score = ' ' x $total_sum_width;
       } else {
           $score = sprintf("%.2f",$score);
           $score = (' 'x(6-length($score))).$score;
       }
       $Str .= ' '.' 'x($total_sum_width-length($score)).$score.' / '.$max;
       $Str .= " \n";
       #
       $r->print($Str);
       #
       $r->rflush();
       &Apache::lonhtmlcommon::Increment_PrgWin($r,\%prog_state,'last student');
       return;
   }    
   
   sub html_finish {
       my ($r) = @_;
       return if (! defined($navmap));
       #
       # Check for suppressed output and close the progress window if so
       $r->print("</pre>\n"); 
       if ($chosen_output->{'summary_table'}) {
           if ($single_student_mode) {
               $r->print(&SingleStudentTotal());
           } else {
               $r->print(&StudentAverageTotal());
           }
       }
       $r->rflush();
       &Apache::lonhtmlcommon::Close_PrgWin($r,\%prog_state);
       &html_cleanup();
       return;
   }
   
     if($missing) {  sub StudentAverageTotal {
         $notThere .= '</select>';      my $Str = '<h3>'.&mt('Summary Tables').'</h3>'.$/;
       $Str .= &Apache::loncommon::start_data_table();
       $Str .= &Apache::loncommon::start_data_table_header_row().
           '<th>'.&mt('Title').'</th>'.
           '<th>'.&mt('Average').'</th>'.
           '<th>'.&mt('Maximum').'</th>'.
           &Apache::loncommon::end_data_table_header_row().$/;
       foreach my $seq (@sequences) {
           my $symb = $seq->symb;
           my $ave;
           my $num_students = $Statistics->{$symb}->{'num_students'};
           if ($num_students > 0) {
               $ave = int(100*
                          ($Statistics->{$symb}->{'score'}/$num_students)
                          )/100;
           } else {
               $ave = 0;
           }
           my $max = $Statistics->{$symb}->{'max'};
           $ave = sprintf("%.2f",$ave);
           $Str .= &Apache::loncommon::start_data_table_row().
               '<td>'.$seq->compTitle.'</td>'.
               '<td align="right">'.$ave.'&nbsp;</td>'.
               '<td align="right">'.$max.'&nbsp;'.'</td>'.
               &Apache::loncommon::end_data_table_row()."\n";
       }
       $Str .= &Apache::loncommon::end_data_table()."\n";
       return $Str;
   }
   
   sub SingleStudentTotal {
       return if (! defined($navmap));
       my $student = &Apache::lonstatistics::current_student();
       my $Str = '<h3>'.&mt('Summary table for [_1] ([_2]@[_3])',
                            $student->{'fullname'},
                            $student->{'username'},$student->{'domain'}).'</h3>';
       $Str .= $/;
       $Str .= &Apache::loncommon::start_data_table()."\n";
       $Str .= 
           &Apache::loncommon::start_data_table_header_row().
           '<th>'.&mt('Sequence or Folder').'</th>';
       if ($chosen_output->{'base'} eq 'tries') {
           $Str .= '<th>'.&mt('Parts Correct').'</th>';
     } else {      } else {
         $notThere='<tr><td>';          $Str .= '<th>'.&mt('Score').'</th>';
       }
       $Str .= '<th>'.&mt('Maximum').'</th>'.
               &Apache::loncommon::end_data_table_header_row()."\n";
       my $total = 0;
       my $total_max = 0;
       foreach my $seq (@sequences) {
           my $value = $Statistics->{$seq->symb}->{'score'};
           my $max = $Statistics->{$seq->symb}->{'max'};
           $Str .= &Apache::loncommon::start_data_table_row().
               '<td>'.&HTML::Entities::encode($seq->compTitle).'</td>'.
               '<td align="right">'.$value.'</td>'.
               '<td align="right">'.$max.'</td>'.
               &Apache::loncommon::end_data_table_row()."\n";
           $total += $value;
           $total_max +=$max;
     }      }
       $Str .= &Apache::loncommon::start_data_table_row().
           '<td><b>'.&mt('Total').'</b></td>'.
           '<td align="right">'.$total.'</td>'.
           '<td align="right">'.$total_max.'</td>'.
           &Apache::loncommon::end_data_table_row()."\n";
       $Str .= &Apache::loncommon::end_data_table()."\n";
       return $Str;
   }
   
     return $notThere.'</td></tr>';  
 }  }
   
   #######################################################
   #######################################################
   
 =pod  =pod
   
 =item &CreateColumnSelectors()  =head2 EXCEL subroutines
   
 This function generates the checkboxes above the column headings.  The   =item &excel_initialize($r)
 column will be removed if the checkbox is unchecked.  
   
 =over 4  =item &excel_outputstudent($r,$student)
   
   =item &excel_finish($r)
   
 Input: $CacheData, $headings  =cut
   
 $CacheData: A pointer to a hash tied to the cached data  #######################################################
   #######################################################
   {
   
   my $excel_sheet;
   my $excel_workbook;
   my $format;
   
   my $filename;
   my $rows_output;
   my $cols_output;
   
   my %prog_state; # progress window state
   my $request_aborted;
   
   my $total_formula;
   my $maximum_formula;
   my %formula_data;
   
   my $navmap;
   my @sequences;
   
   sub excel_cleanup {
       #
       undef ($excel_sheet);
       undef ($excel_workbook);
       undef ($filename);
       undef ($rows_output);
       undef ($cols_output);
       undef (%prog_state);
       undef ($request_aborted);
       undef ($total_formula);
       undef ($maximum_formula);
       #
       undef(%formula_data);
       #
       undef($navmap);
       undef(@sequences);
   }
   
 $headings:  An array of the names of the columns for the student   sub excel_initialize {
 information.  They are used to know what are the student information columns      my ($r) = @_;
   
 Output: $present      &excel_cleanup();
       ($navmap,@sequences) = 
           &Apache::lonstatistics::selected_sequences_with_assessments();
       if (! ref($navmap)) {
           # Unable to get data, so bail out
           $r->print("<h3>".
                     &mt('Unable to retrieve course information.').
                     '</h3>');
       }
       #
       my $total_columns = scalar(&get_student_fields_to_show());
       my $num_students = scalar(@Apache::lonstatistics::Students);
       #
       foreach my $seq (@sequences) {
           if ($chosen_output->{'every_problem'}) {
               $total_columns+=&count_parts($navmap,$seq);
           }
           # Add 2 because we need a 'sequence_sum' and 'total' column for each
           $total_columns += 2;
       }
       my $too_many_cols_error_message = 
           '<h2>'.&mt('Unable to Complete Request').'</h2>'.$/.
           '<p>'.&mt('LON-CAPA is unable to produce your Excel spreadsheet because your selections will result in more than 255 columns.  Excel allows only 255 columns in a spreadsheet.').'</p>'.$/.
           '<p>'.&mt('You may consider reducing the number of <b>Sequences or Folders</b> you have selected.').'</p>'.$/.
           '<p>'.&mt('LON-CAPA can produce <b>CSV</b> files of this data or Excel files of the <b>Scores Summary</b> data.').'</p>'.$/;
       if ($chosen_output->{'base'} eq 'tries' && $total_columns > 255) {
           $r->print($too_many_cols_error_message);
           $request_aborted = 1;
       }
       if ($chosen_output->{'base'} eq 'scores' && $total_columns > 255) {
           $r->print($too_many_cols_error_message);
           $request_aborted = 1;
       }
       return if ($request_aborted);
       #
       #
       $excel_workbook = undef;
       $excel_sheet = undef;
       #
       $rows_output = 0;
       $cols_output = 0;
       #
       # Determine rows 
       my $header_row = $rows_output++;
       my $description_row = $rows_output++;
       my $notes_row = $rows_output++;
       $rows_output++;        # blank row
       my $summary_header_row;
       if ($chosen_output->{'summary_table'}) {
           $summary_header_row = $rows_output++;
           $rows_output+= scalar(@sequences);
           $rows_output++;
       }
       my $sequence_name_row = $rows_output++;
       my $resource_name_row = $rows_output++;
       my $maximum_data_row = $rows_output++;
       if (! $chosen_output->{'maximum_row'}) {
           $rows_output--;
       }
       my $first_data_row = $rows_output++;
       #
       # Create sheet
       ($excel_workbook,$filename,$format)=
           &Apache::loncommon::create_workbook($r);
       return if (! defined($excel_workbook));
       #
       # Add a worksheet
       my $sheetname = $env{'course.'.$env{'request.course.id'}.'.description'};
       $sheetname = &Apache::loncommon::clean_excel_name($sheetname);
       $excel_sheet = $excel_workbook->addworksheet($sheetname);
       #
       # Put the course description in the header
       $excel_sheet->write($header_row,$cols_output++,
                      $env{'course.'.$env{'request.course.id'}.'.description'},
                           $format->{'h1'});
       $cols_output += 3;
       #
       # Put a description of the sections listed
       my $sectionstring = '';
       my @Sections = &Apache::lonstatistics::get_selected_sections();
       $excel_sheet->write($header_row,$cols_output++,
                           &Apache::lonstatistics::section_and_enrollment_description('plaintext'),
                           $format->{'h3'});
       #
       # Put the date in there too
       $excel_sheet->write($header_row,$cols_output++,
                           'Compiled on '.localtime(time),$format->{'h3'});
       #
       $cols_output = 0;
       $excel_sheet->write($description_row,$cols_output++,
                           $chosen_output->{'shortdesc'},
                           $format->{'b'});
       #
       $cols_output = 0;
       $excel_sheet->write($notes_row,$cols_output++,
                           $chosen_output->{'non_html_notes'},
                           $format->{'i'});
       
       ##############################################
       # Output headings for the raw data
       ##############################################
       #
       # Add the student headers
       $cols_output = 0;
       foreach my $field (&get_student_fields_to_show()) {
           $excel_sheet->write($resource_name_row,$cols_output++,$field,
                               $format->{'bold'});
       }
       #
       # Add the remaining column headers
       my $total_formula_string = '=0';
       my $maximum_formula_string = '=0';
       foreach my $seq (@sequences) {
           my $symb = $seq->symb;
           $excel_sheet->write($sequence_name_row,,
                               $cols_output,$seq->compTitle,$format->{'bold'});
           # Determine starting cell
           $formula_data{$symb}->{'Excel:startcell'}=
               &Spreadsheet::WriteExcel::Utility::xl_rowcol_to_cell
               ($first_data_row,$cols_output);
           $formula_data{$symb}->{'Excel:startcol'}=$cols_output;
           my $count = 0;
           if ($chosen_output->{'every_problem'}) {
               # Put the names of the problems and parts into the sheet
               foreach my $res (&get_resources($navmap,$seq)) {
                   if (scalar(@{$res->parts}) > 1) {
                       foreach my $part (@{$res->parts}) {
                           $excel_sheet->write($resource_name_row,
                                               $cols_output++,
                                               $res->compTitle.' part '.$res->part_display($part),
                                               $format->{'bold'});
                           $count++;
                       }
                   } else {
                       $excel_sheet->write($resource_name_row,
                                           $cols_output++,
                                           $res->compTitle,$format->{'bold'});
                       $count++;
                   }
               }
           }
           # Determine ending cell
           if ($count <= 1) {
               $formula_data{$symb}->{'Excel:endcell'} = $formula_data{$symb}->{'Excel:startcell'};
               $formula_data{$symb}->{'Excel:endcol'}  = $formula_data{$symb}->{'Excel:startcol'};
           } else {
               $formula_data{$symb}->{'Excel:endcell'} = 
                   &Spreadsheet::WriteExcel::Utility::xl_rowcol_to_cell
                   ($first_data_row,$cols_output-1);
               $formula_data{$symb}->{'Excel:endcol'} = $cols_output-1;
           }
           # Create the formula for summing up this sequence
           if (! exists($formula_data{$symb}->{'Excel:endcell'}) ||
               ! defined($formula_data{$symb}->{'Excel:endcell'})) {
               $formula_data{$symb}->{'Excel:endcell'} = $formula_data{$symb}->{'Excel:startcell'};
           }
   
 $present: The string contains the first row of a table.  Each column contains          my $start = $formula_data{$symb}->{'Excel:startcell'};
 a checkbox which is left justified.  Currently left justification is used          my $end = $formula_data{$symb}->{'Excel:endcell'};
 for consistency of location over the column in which it presides.          $formula_data{$symb}->{'Excel:sum'}= $excel_sheet->store_formula
               ("=IF(COUNT($start\:$end),SUM($start\:$end),\"\")");
           # Determine cell the score is held in
           $formula_data{$symb}->{'Excel:scorecell'} = 
               &Spreadsheet::WriteExcel::Utility::xl_rowcol_to_cell
               ($first_data_row,$cols_output);
           $formula_data{$symb}->{'Excel:scorecol'}=$cols_output;
           if ($chosen_output->{'base'} eq 'parts correct total') {
               $excel_sheet->write($resource_name_row,$cols_output++,
                                   'parts correct',
                                   $format->{'bold'});
           } elsif ($chosen_output->{'sequence_sum'}) {
               if ($chosen_output->{'correct'}) {
                   # Only reporting the number correct, so do not call it score
                   $excel_sheet->write($resource_name_row,$cols_output++,
                                       'sum',
                                       $format->{'bold'});
               } else {
                   $excel_sheet->write($resource_name_row,$cols_output++,
                                       'score',
                                       $format->{'bold'});
               }
           }
           #
           $total_formula_string.='+'.
               &Spreadsheet::WriteExcel::Utility::xl_rowcol_to_cell
               ($first_data_row,$cols_output-1);
           if ($chosen_output->{'sequence_max'}) {
               $excel_sheet->write($resource_name_row,$cols_output,
                                   'maximum',
                                   $format->{'bold'});
               $formula_data{$symb}->{'Excel:maxcell'} = 
                   &Spreadsheet::WriteExcel::Utility::xl_rowcol_to_cell
                   ($first_data_row,$cols_output);
               $formula_data{$symb}->{'Excel:maxcol'}=$cols_output;
               $maximum_formula_string.='+'.
                   &Spreadsheet::WriteExcel::Utility::xl_rowcol_to_cell
                   ($first_data_row,$cols_output);
               $cols_output++;
   
 =back          }
       }
       if ($chosen_output->{'grand_total'}) {
           $excel_sheet->write($resource_name_row,$cols_output++,'Total',
                               $format->{'bold'});
       }
       if ($chosen_output->{'grand_maximum'}) {
           $excel_sheet->write($resource_name_row,$cols_output++,'Max. Total',
                               $format->{'bold'});
       }
       $total_formula = $excel_sheet->store_formula($total_formula_string);
       $maximum_formula = $excel_sheet->store_formula($maximum_formula_string);
       ##############################################
       # Output a row for MAX, if appropriate
       ##############################################
       if ($chosen_output->{'maximum_row'}) {
           $cols_output = 0;
           foreach my $field (&get_student_fields_to_show()) {
               if ($field eq 'username' || $field eq 'fullname' || 
                   $field eq 'id') {
                   $excel_sheet->write($maximum_data_row,$cols_output++,'Maximum',
                                       $format->{'bold'});
               } else {
                   $excel_sheet->write($maximum_data_row,$cols_output++,'');
               }
           }
           #
           # Add the maximums for each sequence or assessment
           my %total_cell_translation;
           my %maximum_cell_translation;
           foreach my $seq (@sequences) {
               my $symb = $seq->symb;
               $cols_output=$formula_data{$symb}->{'Excel:startcol'};
               $total_cell_translation{$formula_data{$symb}->{'Excel:scorecell'}}=
                   &Spreadsheet::WriteExcel::Utility::xl_rowcol_to_cell
                   ($maximum_data_row,$formula_data{$symb}->{'Excel:scorecol'});
               $maximum_cell_translation{$formula_data{$symb}->{'Excel:maxcell'}}=
                   &Spreadsheet::WriteExcel::Utility::xl_rowcol_to_cell
                   ($maximum_data_row,$formula_data{$symb}->{'Excel:maxcol'});
               my $weight;
               my $max = 0;
               foreach my $resource (&get_resources($navmap,$seq)) {
                   foreach my $part (@{$resource->parts}){
                       $weight = 1;
                       if ($chosen_output->{'scores'}) {
                           $weight = &Apache::lonnet::EXT
                               ('resource.'.$part.'.weight',$resource->symb,
                                undef,undef,undef);
                           if (!defined($weight) || ($weight eq '')) { 
                               $weight=1;
                           }
                       }
                       if ($chosen_output->{'scores'} &&
                           $chosen_output->{'every_problem'}) {
                           $excel_sheet->write($maximum_data_row,$cols_output++,
                                               $weight);
                       }
                       $max += $weight;
                   }
               } 
               #
               if ($chosen_output->{'sequence_sum'} && 
                   $chosen_output->{'every_problem'}) {
    my %replaceCells=
       ('^'.$formula_data{$symb}->{'Excel:startcell'}.':'.
            $formula_data{$symb}->{'Excel:endcell'}.'$' =>
        &Spreadsheet::WriteExcel::Utility::xl_rowcol_to_cell($maximum_data_row,$formula_data{$symb}->{'Excel:startcol'}).':'.
        &Spreadsheet::WriteExcel::Utility::xl_rowcol_to_cell($maximum_data_row,$formula_data{$symb}->{'Excel:endcol'}));
                   $excel_sheet->repeat_formula($maximum_data_row,$cols_output++,
                                                $formula_data{$symb}->{'Excel:sum'},undef,
        %replaceCells, %replaceCells);
   
               } elsif ($chosen_output->{'sequence_sum'}) {
                   $excel_sheet->write($maximum_data_row,$cols_output++,$max);
               }
               if ($chosen_output->{'sequence_max'}) {
                   $excel_sheet->write($maximum_data_row,$cols_output++,$max);
               }
               #
           }
           if ($chosen_output->{'grand_total'}) {
               $excel_sheet->repeat_formula($maximum_data_row,$cols_output++,
                                            $total_formula,undef,
                                            %total_cell_translation);
           }
           if ($chosen_output->{'grand_maximum'}) {
               $excel_sheet->repeat_formula($maximum_data_row,$cols_output++,
                                            $maximum_formula,undef,
                                            %maximum_cell_translation);
           }
       } # End of MAXIMUM row output  if ($chosen_output->{'maximum_row'}) {
       $rows_output = $first_data_row;
       ##############################################
       # Output summary table, which actually is above the sequence name row.
       ##############################################
       if ($chosen_output->{'summary_table'}) {
           $cols_output = 0;
           $excel_sheet->write($summary_header_row,$cols_output++,
                               'Summary Table',$format->{'bold'});
           if ($chosen_output->{'maximum_row'}) {
               $excel_sheet->write($summary_header_row,$cols_output++,
                                   'Maximum',$format->{'bold'});
           }
           $excel_sheet->write($summary_header_row,$cols_output++,
                               'Average',$format->{'bold'});
           $excel_sheet->write($summary_header_row,$cols_output++,
                               'Median',$format->{'bold'});
           $excel_sheet->write($summary_header_row,$cols_output++,
                               'Std Dev',$format->{'bold'});
           my $row = $summary_header_row+1;
           foreach my $seq (@sequences) {
               my $symb = $seq->symb;
               $cols_output = 0;
               $excel_sheet->write($row,$cols_output++,
                                   $seq->compTitle,
                                   $format->{'bold'});
               if ($chosen_output->{'maximum_row'}) {
                   $excel_sheet->write
                       ($row,$cols_output++,
                        '='.
                        &Spreadsheet::WriteExcel::Utility::xl_rowcol_to_cell
                        ($maximum_data_row,$formula_data{$symb}->{'Excel:scorecol'})
                        );
               }
               my $range = 
                   &Spreadsheet::WriteExcel::Utility::xl_rowcol_to_cell
                   ($first_data_row,$formula_data{$symb}->{'Excel:scorecol'}).
                   ':'.
                   &Spreadsheet::WriteExcel::Utility::xl_rowcol_to_cell
                   ($first_data_row+$num_students-1,$formula_data{$symb}->{'Excel:scorecol'});
               $excel_sheet->write($row,$cols_output++,
                                   '=AVERAGE('.$range.')');
               $excel_sheet->write($row,$cols_output++,
                                   '=MEDIAN('.$range.')');
               $excel_sheet->write($row,$cols_output++,
                                   '=STDEV('.$range.')');
               $row++;
           }
       }
       ##############################################
       #   Take care of non-excel initialization
       ##############################################
       #
       # Let the user know what we are doing
       my $studentcount = scalar(@Apache::lonstatistics::Students); 
       if ($env{'form.SelectedStudent'}) {
           $studentcount = '1';
       }
       $r->print('<p>'
                .&mt('Compiling Excel spreadsheet for [quant,_1,student]...',$studentcount)
               ."</p>\n"
       );
       $r->rflush();
       #
       # Initialize progress window
       %prog_state=&Apache::lonhtmlcommon::Create_PrgWin
           ($r,'Excel File Compilation Status',
            'Excel File Compilation Progress', $studentcount,
            'inline',undef,'Statistics','stats_status');
       #
       &Apache::lonhtmlcommon::Update_PrgWin($r,\%prog_state,
                                             'Processing first student');
       return;
   }
   
 =cut  sub excel_outputstudent {
       my ($r,$student) = @_;
       if ($request_aborted || ! defined($navmap) || ! defined($excel_sheet)) {
           return;
       }
       $cols_output=0;
       #
       # Write out student data
       my @to_show = &get_student_fields_to_show();
       foreach my $field (@to_show) {
           my $value = $student->{$field};
           if ($field eq 'comments') {
               $value = &Apache::lonmsgdisplay::retrieve_instructor_comments
                   ($student->{'username'},$student->{'domain'});
           }
           $excel_sheet->write($rows_output,$cols_output++,$value);
       }
       #
       # Get student assessment data
       my %StudentsData;
       my @tmp = &Apache::loncoursedata::get_current_state($student->{'username'},
                                                           $student->{'domain'},
                                                           undef,
                                                      $env{'request.course.id'});
       if ((scalar @tmp > 0) && ($tmp[0] !~ /^error:/)) {
           %StudentsData = @tmp;
       }
       #
       # Write out sequence scores and totals data
       my %total_cell_translation;
       my %maximum_cell_translation;
       foreach my $seq (@sequences) {
           my $symb = $seq->symb;
           $cols_output = $formula_data{$symb}->{'Excel:startcol'};
           # Keep track of cells to translate in total cell
           $total_cell_translation{$formula_data{$symb}->{'Excel:scorecell'}} = 
               &Spreadsheet::WriteExcel::Utility::xl_rowcol_to_cell
                           ($rows_output,$formula_data{$symb}->{'Excel:scorecol'});
           # and maximum cell
           $maximum_cell_translation{$formula_data{$symb}->{'Excel:maxcell'}} = 
               &Spreadsheet::WriteExcel::Utility::xl_rowcol_to_cell
               ($rows_output,$formula_data{$symb}->{'Excel:maxcol'});
           #
           my ($performance,$performance_length,$score,$seq_max,$rawdata);
           if ($chosen_output->{'tries'} || $chosen_output->{'correct'}){
               ($performance,$performance_length,$score,$seq_max,$rawdata) =
                   &student_tries_on_sequence($student,\%StudentsData,
                                              $navmap,$seq,'no');
           } else {
               ($performance,$performance_length,$score,$seq_max,$rawdata) =
                   &student_performance_on_sequence($student,\%StudentsData,
                                                    $navmap,$seq,'no',
                                                    $chosen_output->{ignore_weight});
           } 
           if ($chosen_output->{'every_problem'}) {
               if ($chosen_output->{'correct'}) {
                   # only indiciate if each item is correct or not
                   foreach my $value (@$rawdata) {
                       # positive means correct, 0 or negative means
                       # incorrect
                       $value = $value > 0 ? 1 : 0;
                       $excel_sheet->write($rows_output,$cols_output++,$value);
                   }
               } else {
                   foreach my $value (@$rawdata) {
                       if ($score eq ' ' || !defined($value)) {
                           $cols_output++;
                       } else {                        
                           $excel_sheet->write($rows_output,$cols_output++,
                                               $value);
                       }
                   }
               }
           }
           if ($chosen_output->{'sequence_sum'} && 
               $chosen_output->{'every_problem'}) {
               # Write a formula for the sum of this sequence
               my %replaceCells=
    ('^'.$formula_data{$symb}->{'Excel:startcell'}.':'.$formula_data{$symb}->{'Excel:endcell'}.'$'
    => 
    &Spreadsheet::WriteExcel::Utility::xl_rowcol_to_cell($rows_output,$formula_data{$symb}->{'Excel:startcol'}).':'.
    &Spreadsheet::WriteExcel::Utility::xl_rowcol_to_cell($rows_output,$formula_data{$symb}->{'Excel:endcol'})
    );
               # The undef is for the format    
       $excel_sheet->repeat_formula($rows_output,$cols_output++,
    $formula_data{$symb}->{'Excel:sum'},undef,
    %replaceCells, %replaceCells);
           } elsif ($chosen_output->{'sequence_sum'}) {
               if ($score eq ' ') {
                   $cols_output++;
               } else {
                   $excel_sheet->write($rows_output,$cols_output++,$score);
               }
           }
           if ($chosen_output->{'sequence_max'}) {
               $excel_sheet->write($rows_output,$cols_output++,$seq_max);
           }
       }
       #
       if ($chosen_output->{'grand_total'}) {
           $excel_sheet->repeat_formula($rows_output,$cols_output++,
                                        $total_formula,undef,
                                        %total_cell_translation);
       }
       if ($chosen_output->{'grand_maximum'}) {
           $excel_sheet->repeat_formula($rows_output,$cols_output++,
                                        $maximum_formula,undef,
                                        %maximum_cell_translation);
       }
       #
       # Bookkeeping
       $rows_output++; 
       $cols_output=0;
       #
       # Update the progress window
       &Apache::lonhtmlcommon::Increment_PrgWin($r,\%prog_state,'last student');
       return;
   }
   
   sub excel_finish {
       my ($r) = @_;
       if ($request_aborted || ! defined($navmap) || ! defined($excel_sheet)) {
    &excel_cleanup();
           return;
       }
       #
       # Write the excel file
       $excel_workbook->close();
       #
       # Close the progress window
       &Apache::lonhtmlcommon::Close_PrgWin($r,\%prog_state);
       #
       # Tell the user where to get their excel file
       $r->print('<br />'.
                 '<a href="'.$filename.'">'.&mt('Your Excel spreadsheet').'</a>'."\n");
       $r->rflush();
       &excel_cleanup();
       return;
   }
   
   }
   #######################################################
   #######################################################
   
 sub CreateColumnSelectors {  
     my ($headings)=@_;  
 =pod  =pod
     my $found=0;  
     my ($name, $length, $position);  
   
     my $present = '<tr>';  =head2 CSV output routines
     for(my $index=0; $index<(scalar @$headings); $index++) {  
         $present .= '<td align="left">';  =item &csv_initialize($r)
         $present .= '<input type="checkbox" checked="on" ';  
         $present .= 'name="ChartHeading'.$index.'" />';  =item &csv_outputstudent($r,$student)
         $present .= '</td>';  
         $found++;  =item &csv_finish($r)
   
   =cut
   
   #######################################################
   #######################################################
   {
   
   my $outputfile;
   my $filename;
   my $request_aborted;
   my %prog_state; # progress window state
   my $navmap;
   my @sequences;
   
   sub csv_cleanup {
       undef($outputfile);
       undef($filename);
       undef($request_aborted);
       undef(%prog_state);
       #
       undef($navmap);
       undef(@sequences);
   }
   
   sub csv_initialize{
       my ($r) = @_;
   
       &csv_cleanup();
       ($navmap,@sequences) = 
           &Apache::lonstatistics::selected_sequences_with_assessments();
       if (! ref($navmap)) {
           # Unable to get data, so bail out
           $r->print("<h3>".
                     &mt('Unable to retrieve course information.').
                     '</h3>');
       }
       #
       # Deal with unimplemented requests
       $request_aborted = undef;
       if ($chosen_output->{'base'} =~ /final table/) {
           $r->print(<<END);
   <h2>Unable to Complete Request</h2>
   <p>
   The <b>Summary Table (Scores)</b> option is not available for non-HTML output.
   </p>
   END
          $request_aborted = 1;
       }
       return if ($request_aborted);
       #
       # Initialize progress window
       my $studentcount = scalar(@Apache::lonstatistics::Students);
       %prog_state=&Apache::lonhtmlcommon::Create_PrgWin
           ($r,'CSV File Compilation Status',
            'CSV File Compilation Progress', $studentcount,
            'inline',undef,'Statistics','stats_status');
       #
       # Open a file
       ($outputfile,$filename) = &Apache::loncommon::create_text_file($r,'csv');
       if (! defined($outputfile)) { return ''; }
       #
       # Datestamp
       my $description = $env{'course.'.$env{'request.course.id'}.'.description'};
       print $outputfile '"'.&Apache::loncommon::csv_translate($description).'",'.
           '"'.&Apache::loncommon::csv_translate(scalar(localtime(time))).'"'.
               "\n";
       print $outputfile '"'.
           &Apache::loncommon::csv_translate
           (&Apache::lonstatistics::section_and_enrollment_description()).
           '"'."\n";
       foreach my $item ('shortdesc','non_html_notes') {
           next if (! exists($chosen_output->{$item}));
           print $outputfile 
               '"'.&Apache::loncommon::csv_translate($chosen_output->{$item}).'"'.
               "\n";
     }      }
       #
       # Print out the headings
       my $sequence_row = '';
       my $resource_row = undef;
       foreach my $field (&get_student_fields_to_show()) {
           $sequence_row .='"",';
           $resource_row .= '"'.&Apache::loncommon::csv_translate($field).'",';
       }
       foreach my $seq (@sequences) {
           $sequence_row .= '"'.
               &Apache::loncommon::csv_translate($seq->compTitle).'",';
           my $count = 0;
           if ($chosen_output->{'every_problem'}) {
               foreach my $res (&get_resources($navmap,$seq)) {
                   if (scalar(@{$res->parts}) < 1) {
                       next;
                   }
                   foreach my $part (@{$res->parts}) {
                       $resource_row .= '"'.
                           &Apache::loncommon::csv_translate
                           ($res->compTitle.', Part '.$res->part_display($part)).'",';
                       $count++;
                   }
               }
           }
           $sequence_row.='"",'x$count;
           if ($chosen_output->{'sequence_sum'}) {
               if($chosen_output->{'correct'}) {
                   $resource_row .= '"sum",';
               } else {
                   $resource_row .= '"score",';
               }
           }
           if ($chosen_output->{'sequence_max'}) {
               $sequence_row.= '"",';
               $resource_row .= '"maximum possible",';
           }
       }
       if ($chosen_output->{'grand_total'}) {
           $sequence_row.= '"",';
           $resource_row.= '"Total",';
       } 
       if ($chosen_output->{'grand_maximum'}) {
           $sequence_row.= '"",';
           $resource_row.= '"Maximum",';
       } 
       chomp($sequence_row);
       chomp($resource_row);
       print $outputfile $sequence_row."\n";
       print $outputfile $resource_row."\n";
       return;
   }
   
     foreach my $sequence (split(/\:/,$CacheData->{'orderedSequences'})) {  sub csv_outputstudent {
         if(!&ShouldShowColumn($CacheData, 'ChartSequence'.$sequence)) {      my ($r,$student) = @_;
             next;      if ($request_aborted || ! defined($navmap) || ! defined($outputfile)) {
           return;
       }
       my $Str = '';
       #
       # Output student fields
       my @to_show = &get_student_fields_to_show();
       foreach my $field (@to_show) {
           my $value = $student->{$field};
           if ($field eq 'comments') {
               $value = &Apache::lonmsgdisplay::retrieve_instructor_comments
                   ($student->{'username'},$student->{'domain'});
           }        
           $Str .= '"'.&Apache::loncommon::csv_translate($value).'",';
       }
       #
       # Get student assessment data
       my %StudentsData;
       my @tmp = &Apache::loncoursedata::get_current_state($student->{'username'},
                                                           $student->{'domain'},
                                                           undef,
                                                      $env{'request.course.id'});
       if ((scalar @tmp > 0) && ($tmp[0] !~ /^error:/)) {
           %StudentsData = @tmp;
       }
       #
       # Output performance data
       my $total = 0;
       my $maximum = 0;
       foreach my $seq (@sequences) {
           my ($performance,$performance_length,$score,$seq_max,$rawdata);
           if ($chosen_output->{'tries'}){
               ($performance,$performance_length,$score,$seq_max,$rawdata) =
                   &student_tries_on_sequence($student,\%StudentsData,
                                              $navmap,$seq,'no');
           } else {
               ($performance,$performance_length,$score,$seq_max,$rawdata) =
                   &student_performance_on_sequence($student,\%StudentsData,
                                                    $navmap,$seq,'no',
                                                    $chosen_output->{ignore_weight});
           }
           if ($chosen_output->{'every_problem'}) {
               if ($chosen_output->{'correct'}) {
                   $score = 0;
                   # Deal with number of parts correct data
                   $Str .= '"'.join('","',( map { if ($_>0) { 
                                                      $score += 1;
                                                      1; 
                                                  } else { 
                                                      0; 
                                                  }
                                                } @$rawdata)).'",';
               } else {
                   $Str .= '"'.join('","',(@$rawdata)).'",';
               }
           }
           if ($chosen_output->{'sequence_sum'}) {
               $Str .= '"'.$score.'",';
           } 
           if ($chosen_output->{'sequence_max'}) {
               $Str .= '"'.$seq_max.'",';
         }          }
         $present .= '<td align="left">';          $total+=$score;
         $present .= '<input type="checkbox" checked="on" ';          $maximum += $seq_max;
         $present .= 'name="ChartSequence'.$sequence.'" />';      }
         $present .= '</td>';      if ($chosen_output->{'grand_total'}) {
         $found++;          $Str .= '"'.$total.'",';
     }      }
       if ($chosen_output->{'grand_maximum'}) {
           $Str .= '"'.$maximum.'",';
       }
       chop($Str);
       $Str .= "\n";
       print $outputfile $Str;
       #
       # Update the progress window
       &Apache::lonhtmlcommon::Increment_PrgWin($r,\%prog_state,'last student');
       return;
   }
   
     if(!$found) {  sub csv_finish {
         $present = '';      my ($r) = @_;
       if ($request_aborted || ! defined($navmap) || ! defined($outputfile)) {
    &csv_cleanup();
           return;
     }      }
       close($outputfile);
       #
       # Close the progress window
       &Apache::lonhtmlcommon::Close_PrgWin($r,\%prog_state);
       #
       # Tell the user where to get their csv file
       $r->print('<br />'.
                 '<a href="'.$filename.'">'.&mt('Your CSV file.').'</a>'."\n");
       $r->rflush();
       &csv_cleanup();
       return;
       
   }
   
     return $present.'<td></td></tr></form>'."\n";;  
 =cut  
 }  }
   
 #---- END Student Assessment Web Page ----------------------------------------  # This function will return an HTML string including a star, with
   # a mouseover popup showing the "real" value. An optional second
   # argument lets you show something other than a star.
   sub show_star {
       my $popup = shift;
       my $symbol = shift || '*';
       # Escape the popup for JS.
       $popup =~ s/([^-a-zA-Z0-9:;,._ ()|!\/?=&*])/'\\' . sprintf("%lo", ord($1))/ge;
       
       return "<span class=\"LC_chrt_popup_exists\" onmouseover='popup_score(this, \"$popup\");return false;' onmouseout='popdown_score();return false;'>$symbol</span>";
   }
   
   #######################################################
   #######################################################
   
 #---- Student Assessment Worker Functions ------------------------------------  =pod
   
 sub FindSelectedStudent {  =item &StudentTriesOnSequence()
     my($cache, $selectedName, $students)=@_;  
   
     if($selectedName eq 'All Students' ||   Inputs:
        $selectedName eq 'No Student Selected') {  
         return $selectedName;  =over 4
     }  
   =item $student
   
   =item $studentdata Hash ref to all student data
   
   =item $seq Hash ref, the sequence we are working on
   
   =item $links if defined we will output links to each resource.
   
   =back
   
   =cut
   
     for(my $index=0; $index<(scalar @$students); $index++) {  #######################################################
         my $fullname = $cache->{$students->[$index].':fullname'};  #######################################################
         if($fullname eq $selectedName) {  sub student_tries_on_sequence {
             if($cache->{'StudentAssessmentMove'} eq 'next') {      my ($student,$studentdata,$navmap,$seq,$links) = @_;
                 if($index == ((scalar @$students) - 1)) {      $links = 'no' if (! defined($links));
                     $selectedName = $students->[0];      my $Str = '';
                     return $selectedName;      my ($sum,$max) = (0,0);
       my $performance_length = 0;
       my @TriesData = ();
       my $tries;
       my $hasdata = 0; # flag - true if the student has any data on the sequence
       foreach my $resource (&get_resources($navmap,$seq)) {
           my $resource_data = $studentdata->{$resource->symb};
           my $value = '';
           foreach my $partnum (@{$resource->parts()}) {
               $tries = undef;
               $max++;
               $performance_length++;
               my $symbol = ' '; # default to space
               #
               my $awarded = 0;
               if (exists($resource_data->{'resource.'.$partnum.'.awarded'})) {
                   $awarded = $resource_data->{'resource.'.$partnum.'.awarded'};
                   $awarded = 0 if (! $awarded);
               }
               #
               my $status = '';
               if (exists($resource_data->{'resource.'.$partnum.'.solved'})) {
                   $status = $resource_data->{'resource.'.$partnum.'.solved'};
               }
               #
               my $tries = 0;
               if(exists($resource_data->{'resource.'.$partnum.'.tries'})) {
                   $tries = $resource_data->{'resource.'.$partnum.'.tries'};
                   $hasdata =1;
               }
               #
               if ($awarded > 0) {
                   # The student has gotten the problem correct to some degree
                   if ($status eq 'excused') {
                       $symbol = 'x';
                       $max--;
                   } elsif ($status eq 'correct_by_override' && !$resource->is_task()) {
                       $symbol = '+';
                       $sum++;
                   } elsif ($tries > 0) {
                       if ($tries > 9) {
                           $symbol = show_star($tries);
                       } else {
                           $symbol = $tries;
                       }
                       $sum++;
                 } else {                  } else {
                     $selectedName = $students->[$index+1];                      $symbol = '+';
                     return $selectedName;                      $sum++;
                 }                  }
             } elsif($cache->{'StudentAssessmentMove'} eq 'previous') {              } else {
                 if($index == 0) {                  # The student has the problem incorrect or it is ungraded
                     $selectedName = $students->[-1];                  if ($status eq 'excused') {
                     return $selectedName;                      $symbol = 'x';
                       $max--;
                   } elsif ($status eq 'incorrect_by_override') {
                       $symbol = '-';
                   } elsif ($status eq 'ungraded_attempted') {
                       $symbol = 'u';
                   } elsif ($status eq 'incorrect_attempted' ||
                            $tries > 0)  {
                       $symbol = '.';
                 } else {                  } else {
                     $selectedName = $students->[$index-1];                      # Problem is wrong and has not been attempted.
                     return $selectedName;                      $symbol=' ';
                 }                  }
               }
               #
               if (! defined($tries)) {
                   $tries = 0;
               }
               if ($status =~ /^(incorrect|ungraded)/) {
                   # Bug 3390: show '-' for tries on incorrect problems 
                   # (csv & excel only)
                   push(@TriesData,-$tries);
             } else {              } else {
                 $selectedName = $students->[$index];                  push (@TriesData,$tries);
                 return $selectedName;  
             }              }
             last;              #
               if ( ($links eq 'yes' && $symbol ne ' ') ||
                    ($links eq 'all')) {
                   my $link = '/adm/grades'.
                       '?symb='.&escape($resource->shown_symb).
                           '&student='.$student->{'username'}.
                               '&userdom='.$student->{'domain'}.
                                   '&command=submission';
                   $symbol = &link($symbol, $link);
               }
               $value .= $symbol;
         }          }
           $Str .= $value;
       }
       if ($seq->randompick()) {
           $max = $seq->randompick();
       }
       if (! $hasdata && $sum == 0) {
           $sum = ' ';
     }      }
       return ($Str,$performance_length,$sum,$max,\@TriesData);
   }
   
   =pod
   
     return 'No Student Selected';  =item &link
   
   Inputs:
   
   =over 4
   
   =item $text
   
   =item $target
   
   =back
   
   Takes the text and creates a link to the $text that honors
   the value of 'new window' if clicked on, but uses a real 
   'href' so middle and right clicks still work.
   
   $target and $text are assumed to be already correctly escaped; i.e., it
   can be dumped out directly into the output stream as-is.
   
   =cut
   
   sub link {
       my ($text,$target) = @_;
       return 
           "<a href='$target' onclick=\"t=this.href;if(new_window)"
           ."{window.open(t)}else{return void(window."
           ."location=t)};return false;\">$text</a>";
 }  }
   
   #######################################################
   #######################################################
   
 =pod  =pod
   
 =item &ShouldShowColumn()  =item &student_performance_on_sequence
   
 Determine if a specified column should be shown on the chart.  Inputs:
   
 =over 4  =over 4
   
 Input: $cache, $test  =item $student
   
 $cache: A pointer to the hash tied to the cached data  =item $studentdata Hash ref to all student data
   
 $test: The form name of the column (heading.$headingIndex) or   =item $seq Hash ref, the sequence we are working on
 (sequence.$sequenceIndex)  
   
 Output: 0 (false), 1 (true)  =item $links if defined we will output links to each resource.
   
 =back  =back
   
 =cut  =cut
   
 sub ShouldShowColumns {  #######################################################
     my ($cache,$headings,$cacheKey)=@_;  #######################################################
   sub student_performance_on_sequence {
       my ($student,$studentdata,$navmap,$seq,$links,$awarded_only) = @_;
       $links = 'no' if (! defined($links));
       my $Str = ''; # final result string
       my ($score,$max) = (0,0);
       my $performance_length = 0;
       my $symbol;
       my @ScoreData = ();
       my $partscore;
       my $hasdata = 0; # flag, 0 if there were no submissions on the sequence
       foreach my $resource (&get_resources($navmap,$seq)) {
           my $symb = $resource->symb;
           my $resource_data = $studentdata->{$symb};
           foreach my $part (@{$resource->parts()}) {
               $partscore = undef;
               my $weight;
               if (!$awarded_only){
                   $weight = &Apache::lonnet::EXT('resource.'.$part.'.weight',
                                                  $symb,
                                                  $student->{'domain'},
                                                  $student->{'username'},
                                                  $student->{'section'});
               }
               if (!defined($weight) || ($weight eq '')) { 
                   $weight=1;
               }
               #
               $max += $weight; # see the 'excused' branch below...
               $performance_length++; # one character per part
               $symbol = ' '; # default to space
               #
               my $awarded;
               if (exists($resource_data->{'resource.'.$part.'.awarded'})) {
                   $awarded = $resource_data->{'resource.'.$part.'.awarded'};
                   $awarded = 0 if (! $awarded);
                   $hasdata = 1;
               }
               #
               $partscore = &Apache::grades::compute_points($weight,$awarded);
               if (! defined($awarded)) {
                   $partscore = undef;
               }
               $score += $partscore;
               $symbol = $partscore; 
               if (abs($symbol - sprintf("%.0f",$symbol)) < 0.001) {
                   $symbol = sprintf("%.0f",$symbol);
               }
               if (length($symbol) > 1) {
                   $symbol = show_star($symbol);
               }
               if (exists($resource_data->{'resource.'.$part.'.solved'}) &&
                   $resource_data->{'resource.'.$part.'.solved'} ne '') {
                   my $status = $resource_data->{'resource.'.$part.'.solved'};
                   if ($status eq 'excused') {
                       $symbol = 'x';
                       $max -= $weight; # Do not count 'excused' problems.
                   } elsif ($status eq 'ungraded_attempted') {
                       $symbol = 'u';
                   }
                   $hasdata = 1;
               } elsif ($resource_data->{'resource.'.$part.'.award'} eq 'DRAFT') {
                   $symbol = 'd';
                   $hasdata = 1;
               } elsif (!exists($resource_data->{'resource.'.$part.'.awarded'})){
                   # Unsolved.  Did they try?
                   if (exists($resource_data->{'resource.'.$part.'.tries'})){
                       $symbol = '.';
                       $hasdata = 1;
                   } else {
                       $symbol = ' ';
                   }
               }
               #
               if (! defined($partscore)) {
                   $partscore = $symbol;
               }
               push (@ScoreData,$partscore);
               #
               if ( ($links eq 'yes' && $symbol ne ' ') || ($links eq 'all')) {
                   my $link = '/adm/grades' .
                       '?symb='.&escape($resource->shown_symb).
                       '&student='.$student->{'username'}.
                       '&userdom='.$student->{'domain'}.
                       '&command=submission';
                   $symbol = &link($symbol, $link);
               }
               $Str .= $symbol;
           }
       }
       if (! $hasdata && $score == 0) {
           $score = ' ';
       }
       return ($Str,$performance_length,$score,$max,\@ScoreData);
   }
   
     my @infoKeys=();  #######################################################
     my @infoHeadings=();  #######################################################
   
     my @sequenceKeys=();  =pod
     my @sequenceHeadings=();  
   
     my $index;  =item &CreateLegend()
     for($index=0; $index < scalar @$headings; $index++) {  
         push(@infoHeadings, $headings->[$index]);  
         push(@infoKeys, $cacheKey->[$index]);  
     }  
   
     foreach my $sequence (split(/\:/,$cache->{'orderedSequences'})) {  This function returns a formatted string containing the legend for the
         push(@sequenceHeadings, $cache->{$sequence.':title'});  chart.  The legend describes the symbols used to represent grades for
         push(@sequenceKeys, $sequence);  problems.
     }  
   
 #    my $headings=$cache->{'form.ChartHeadings'};  =cut
 #    my $sequences=$cache->{'form.ChartSequences'};  
 #    if($headings eq 'ALLHEADINGS' || $sequences eq 'ALLSEQUENCES' ||  
 #       $headings=~/$test/ || $sequences=~/$test/) {  
 #        return 1;  
 #    }  
   
     return (\@infoHeadings, \@infoKeys, \@sequenceHeadings,   #######################################################
             \@sequenceKeys);  #######################################################
   sub CreateLegend {
       my $Str = "<p><pre>".
                 " digit score or number of tries to get correct ".
                 "   *  correct by student in more than 9 tries\n".
         "   +  correct by hand grading or override\n".
                 "   -  incorrect by override\n".
         "   .  incorrect attempted\n".
         "   u  ungraded attempted\n".
                 "   d  draft answer saved but not submitted\n".
                 "      not attempted (blank field)\n".
         "   x  excused".
                 "</pre><p>";
       return $Str;
 }  }
   
 #---- END Student Assessment Worker Functions --------------------------------  #######################################################
   #######################################################
   
   =pod 
   
   =back
   
   =cut
   
   #######################################################
   #######################################################
   
 1;  1;
   
 __END__  __END__

Removed from v.1.3  
changed lines
  Added in v.1.155


FreeBSD-CVSweb <freebsd-cvsweb@FreeBSD.org>