Diff for /loncom/interface/statistics/lonstudentassessment.pm between versions 1.88 and 1.155

version 1.88, 2004/02/12 14:47:55 version 1.155, 2009/05/17 23:13:49
Line 50  Presents assessment data about a student Line 50  Presents assessment data about a student
 package Apache::lonstudentassessment;  package Apache::lonstudentassessment;
   
 use strict;  use strict;
 use Apache::lonstatistics;  use Apache::lonstatistics();
 use Apache::lonhtmlcommon;  use Apache::lonhtmlcommon();
 use Apache::loncommon();  use Apache::loncommon();
 use Apache::loncoursedata;  use Apache::loncoursedata;
 use Apache::lonnet; # for logging porpoises  use Apache::lonnet; # for logging porpoises
 use Apache::lonlocal;  use Apache::lonlocal;
   use Apache::grades();
   use Apache::lonmsgdisplay();
   use Time::HiRes;
 use Spreadsheet::WriteExcel;  use Spreadsheet::WriteExcel;
 use Spreadsheet::WriteExcel::Utility();  use Spreadsheet::WriteExcel::Utility();
   use lib '/home/httpd/lib/perl/';
   use LONCAPA;
    
   
 #######################################################  #######################################################
 #######################################################  #######################################################
Line 144  sub BuildStudentAssessmentPage { Line 150  sub BuildStudentAssessmentPage {
                                'chartoutputmode' => 'scalar',                                 'chartoutputmode' => 'scalar',
                                'chartoutputdata' => 'scalar',                                 'chartoutputdata' => 'scalar',
                                'Section' => 'array',                                 'Section' => 'array',
                                  'Groups' => 'array',
                                'StudentData' => 'array',                                 'StudentData' => 'array',
                                'Maps' => 'array');                                 'Maps' => 'array');
     &Apache::loncommon::store_course_settings('chart',\%Saveable_Parameters);      &Apache::loncommon::store_course_settings('chart',\%Saveable_Parameters);
Line 152  sub BuildStudentAssessmentPage { Line 159  sub BuildStudentAssessmentPage {
     &Apache::lonstatistics::PrepareClasslist();      &Apache::lonstatistics::PrepareClasslist();
     #      #
     $single_student_mode = 0;      $single_student_mode = 0;
     $single_student_mode = 1 if ($ENV{'form.SelectedStudent'});      $single_student_mode = 1 if ($env{'form.SelectedStudent'});
     if ($ENV{'form.selectstudent'}) {      &Apache::loncommon::get_unprocessed_cgi($ENV{'QUERY_STRING'},
                                               ['selectstudent']);
       if ($env{'form.selectstudent'}) {
         &Apache::lonstatistics::DisplayClasslist($r);          &Apache::lonstatistics::DisplayClasslist($r);
         return;          return;
     }      }
Line 164  sub BuildStudentAssessmentPage { Line 173  sub BuildStudentAssessmentPage {
     $r->print(&CreateInterface());      $r->print(&CreateInterface());
     $r->print('<input type="hidden" name="notfirstrun" value="true" />');      $r->print('<input type="hidden" name="notfirstrun" value="true" />');
     $r->print('<input type="hidden" name="sort" value="'.      $r->print('<input type="hidden" name="sort" value="'.
               $ENV{'form.sort'}.'" />');                $env{'form.sort'}.'" />');
     $r->rflush();      $r->rflush();
     #      #
     if (! exists($ENV{'form.notfirstrun'}) && ! $single_student_mode) {      if (! exists($env{'form.notfirstrun'}) && ! $single_student_mode) {
         return;          return;
     }      }
       $r->print('<h4>'.
                 &Apache::lonstatistics::section_and_enrollment_description().
                 '</h4>');
     #      #
     my $initialize     = \&html_initialize;      my $initialize     = \&html_initialize;
     my $output_student = \&html_outputstudent;      my $output_student = \&html_outputstudent;
Line 228  sub BuildStudentAssessmentPage { Line 240  sub BuildStudentAssessmentPage {
 sub next_and_previous_buttons {  sub next_and_previous_buttons {
     my $Str = '';      my $Str = '';
     $Str .= '<input type="hidden" name="SelectedStudent" value="'.      $Str .= '<input type="hidden" name="SelectedStudent" value="'.
         $ENV{'form.SelectedStudent'}.'" />';          $env{'form.SelectedStudent'}.'" />';
     #      #
     # Build the previous student link      # Build the previous student link
     my $previous = &Apache::lonstatistics::previous_student();      my $previous = &Apache::lonstatistics::previous_student();
Line 236  sub next_and_previous_buttons { Line 248  sub next_and_previous_buttons {
     if (defined($previous)) {      if (defined($previous)) {
         my $sname = $previous->{'username'}.':'.$previous->{'domain'};          my $sname = $previous->{'username'}.':'.$previous->{'domain'};
         $previousbutton .= '<input type="button" value="'.          $previousbutton .= '<input type="button" value="'.
             'Previous Student ('.              &mt('Previous Student ([_1])',
             $previous->{'username'}.'@'.$previous->{'domain'}.')'.              $previous->{'username'}.':'.$previous->{'domain'}).
             '" onclick="document.Statistics.SelectedStudent.value='.              '" onclick="document.Statistics.SelectedStudent.value='.
             "'".$sname."'".';'.              "'".$sname."'".';'.
             'document.Statistics.submit();" />';              'document.Statistics.submit();" />';
     } else {      } else {
         $previousbutton .= '<input type="button" value="'.          $previousbutton .= '<input type="button" value="'.
             'Previous student (none)'.'" />';              &mt('Previous Student').'" disabled="disabled" />';
     }      }
     #      #
     # Build the next student link      # Build the next student link
Line 252  sub next_and_previous_buttons { Line 264  sub next_and_previous_buttons {
     if (defined($next)) {      if (defined($next)) {
         my $sname = $next->{'username'}.':'.$next->{'domain'};          my $sname = $next->{'username'}.':'.$next->{'domain'};
         $nextbutton .= '<input type="button" value="'.          $nextbutton .= '<input type="button" value="'.
             'Next Student ('.              &mt('Next Student ([_1])',
             $next->{'username'}.'@'.$next->{'domain'}.')'.              $next->{'username'}.':'.$next->{'domain'}).
             '" onclick="document.Statistics.SelectedStudent.value='.              '" onclick="document.Statistics.SelectedStudent.value='.
             "'".$sname."'".';'.              "'".$sname."'".';'.
             'document.Statistics.submit();" />';              'document.Statistics.submit();" />';
     } else {      } else {
         $nextbutton .= '<input type="button" value="'.          $nextbutton .= '<input type="button" value="'.
             'Next student (none)'.'" />';              &mt('Next Student').'" disabled="disabled" />';
     }      }
     #      #
     # Build the 'all students' button      # Build the 'all students' button
     my $all = '';      my $all = '';
     $all .= '<input type="button" value="All Students" '.      $all .= '<input type="button" value="'.&mt('All Students').'" '.
             '" onclick="document.Statistics.SelectedStudent.value='.              '" onclick="document.Statistics.SelectedStudent.value='.
             "''".';'.'document.Statistics.submit();" />';              "''".';'.'document.Statistics.submit();" />';
     $Str .= $previousbutton.('&nbsp;'x5).$all.('&nbsp;'x5).$nextbutton;      $Str .= $previousbutton.('&nbsp;'x5).$all.('&nbsp;'x5).$nextbutton;
Line 306  the chart page. Line 318  the chart page.
 #######################################################  #######################################################
 sub CreateInterface {  sub CreateInterface {
     my $Str = '';      my $Str = '';
       $Str .= &Apache::lonhtmlcommon::breadcrumbs('Chart','Chart_Description:Chart_Sections:Chart_Student_Data:Chart_Enrollment_Status:Chart_Sequences:Chart_Output_Formats:Chart_Output_Data');
 #    $Str .= &CreateLegend();  #    $Str .= &CreateLegend();
     $Str .= '<table cellspacing="5">'."\n";      $Str .= '<table cellspacing="5">'."\n";
     $Str .= '<tr>';      $Str .= '<tr>';
     $Str .= '<td align="center"><b>'.&mt('Sections').'</b></td>';      $Str .= '<td align="center"><b>'.&mt('Sections').'</b>'.
     $Str .= '<td align="center"><b>'.&mt('Student Data</b>').'</td>';   &Apache::loncommon::help_open_topic("Chart_Sections").
     $Str .= '<td align="center"><b>'.&mt('Enrollment Status').'</b></td>';   '</td>';
     $Str .= '<td align="center"><b>'.&mt('Sequences and Folders').'</b></td>';      $Str .= '<td align="center"><b>'.&mt('Groups').'</b>'.
    '</td>';
       $Str .= '<td align="center"><b>'.&mt('Student Data</b>').
    &Apache::loncommon::help_open_topic("Chart_Student_Data").
    '</td>';
       $Str .= '<td align="center"><b>'.&mt('Access Status').'</b>'.
    &Apache::loncommon::help_open_topic("Chart_Enrollment_Status").
    '</td>';
       $Str .= '<td align="center"><b>'.&mt('Sequences and Folders').'</b>'.
    &Apache::loncommon::help_open_topic("Chart_Sequences").
    '</td>';
     $Str .= '<td align="center"><b>'.&mt('Output Format').'</b>'.      $Str .= '<td align="center"><b>'.&mt('Output Format').'</b>'.
         &Apache::loncommon::help_open_topic("Chart_Output_Formats").          &Apache::loncommon::help_open_topic("Chart_Output_Formats").
         '</td>';          '</td>';
Line 324  sub CreateInterface { Line 347  sub CreateInterface {
     $Str .= '<tr><td align="center">'."\n";      $Str .= '<tr><td align="center">'."\n";
     $Str .= &Apache::lonstatistics::SectionSelect('Section','multiple',5);      $Str .= &Apache::lonstatistics::SectionSelect('Section','multiple',5);
     $Str .= '</td><td align="center">';      $Str .= '</td><td align="center">';
     my $only_seq_with_assessments = sub {       $Str .= &Apache::lonstatistics::GroupSelect('Group','multiple',5);
         my $s=shift;      $Str .= '</td><td align="center">';
         if ($s->{'num_assess'} < 1) {   
             return 0;  
         } else {   
             return 1;  
         }  
     };  
     $Str .= &Apache::lonstatistics::StudentDataSelect('StudentData','multiple',      $Str .= &Apache::lonstatistics::StudentDataSelect('StudentData','multiple',
                                                       5,undef);                                                        5,undef);
     $Str .= '</td><td>'."\n";      $Str .= '</td><td>'."\n";
     $Str .= &Apache::lonhtmlcommon::StatusOptions(undef,undef,5);      $Str .= &Apache::lonhtmlcommon::StatusOptions(undef,undef,5);
     $Str .= '</td><td>'."\n";      $Str .= '</td><td>'."\n";
     $Str .= &Apache::lonstatistics::MapSelect('Maps','multiple,all',5,      $Str .= &Apache::lonstatistics::map_select('Maps','multiple,all',5);
                                               $only_seq_with_assessments);  
     $Str .= '</td><td>'."\n";      $Str .= '</td><td>'."\n";
     $Str .= &CreateAndParseOutputSelector();      $Str .= &CreateAndParseOutputSelector();
     $Str .= '</td><td>'."\n";      $Str .= '</td><td>'."\n";
Line 353  sub CreateInterface { Line 369  sub CreateInterface {
     $Str .= '&nbsp;'x5;      $Str .= '&nbsp;'x5;
     $Str .= '<input type="submit" name="ClearCache" value="'.      $Str .= '<input type="submit" name="ClearCache" value="'.
         &mt('Clear Caches').'" />';          &mt('Clear Caches').'" />';
     $Str .= '&nbsp;'x5;      $Str .= '<p>';
     $Str .= '<br />';      $Str .= 
           &mt('Status [_1]',
               '<input type="text" name="stats_status" size="60" value="" readonly="readonly" />');
       $Str .= '</p>';
     return $Str;      return $Str;
 }  }
   
Line 401  my @OutputOptions = Line 420  my @OutputOptions =
    },     },
      { name  => 'CSV',       { name  => 'CSV',
        value => 'csv',         value => 'csv',
        description => 'Output a comma seperated values file suitable for '.         description => 'Output a comma separated values file suitable for '.
            'import into a spreadsheet program.  Using this method as opposed '.             'import into a spreadsheet program.  Using this method as opposed '.
            'to Excel output allows you to organize your data before importing'.             'to Excel output allows you to organize your data before importing'.
            ' it into a spreadsheet program.',             ' it into a spreadsheet program.',
Line 429  sub CreateAndParseOutputSelector { Line 448  sub CreateAndParseOutputSelector {
                                             [$elementname]);                                              [$elementname]);
     #      #
     # Format for output options is 'mode, restrictions';      # Format for output options is 'mode, restrictions';
     my $selected = 'html, without links';      my $selected = (&Apache::loncommon::get_env_multiple('form.'.$elementname))[0];
     if (exists($ENV{'form.'.$elementname})) {      $selected = 'html, without links' if (!$selected);
         if (ref($ENV{'form.'.$elementname} eq 'ARRAY')) {  
             $selected = $ENV{'form.'.$elementname}->[0];  
         } else {  
             $selected = $ENV{'form.'.$elementname};  
         }  
     }  
     #      #
     # Set package variables describing output mode      # Set package variables describing output mode
     $show_links  = 'no';      $show_links  = 'no';
Line 473  my @OutputDataOptions = Line 487  my @OutputDataOptions =
        sequence_sum => 1,         sequence_sum => 1,
        sequence_max => 1,         sequence_max => 1,
        grand_total => 1,         grand_total => 1,
          grand_maximum => 1,
          summary_table => 1,
          maximum_row => 1,
          ignore_weight => 0,
        shortdesc => 'Total Score and Maximum Possible for each '.         shortdesc => 'Total Score and Maximum Possible for each '.
            'Sequence or Folder',             'Sequence or Folder',
        longdesc => 'The score of each student as well as the '.         longdesc => 'The score of each student as well as the '.
Line 488  my @OutputDataOptions = Line 506  my @OutputDataOptions =
        sequence_sum => 1,         sequence_sum => 1,
        sequence_max => 1,         sequence_max => 1,
        grand_total => 1,         grand_total => 1,
          grand_maximum => 1,
          summary_table => 1,
          maximum_row => 1,
          ignore_weight => 0,
        shortdesc => 'Score on each Problem Part',         shortdesc => 'Score on each Problem Part',
        longdesc =>'The students score on each problem part, computed as'.         longdesc =>'The students score on each problem part, computed as'.
            'the part weight * part awarded',             'the part weight * part awarded',
Line 502  my @OutputDataOptions = Line 524  my @OutputDataOptions =
        sequence_sum => 0,         sequence_sum => 0,
        sequence_max => 0,         sequence_max => 0,
        grand_total => 0,         grand_total => 0,
          grand_maximum => 0,
          summary_table => 0,
          maximum_row => 0,
          ignore_weight => 0,
        shortdesc => 'Number of Tries before success on each Problem Part',         shortdesc => 'Number of Tries before success on each Problem Part',
        longdesc =>'The number of tries before success on each problem part.',         longdesc =>'The number of tries before success on each problem part.',
          non_html_notes => 'negative values indicate an incorrect problem',
        },         },
      { name  =>'Parts Correct',       { name  =>'Parts Correct',
        base  =>'tries',         base  =>'tries',
Line 515  my @OutputDataOptions = Line 542  my @OutputDataOptions =
        sequence_sum => 1,         sequence_sum => 1,
        sequence_max => 1,         sequence_max => 1,
        grand_total => 1,         grand_total => 1,
          grand_maximum => 1,
          summary_table => 1,
          maximum_row => 0,
          ignore_weight => 1,
        shortdesc => 'Number of Problem Parts completed successfully.',         shortdesc => 'Number of Problem Parts completed successfully.',
        longdesc => 'The Number of Problem Parts completed successfully and '.         longdesc => 'The Number of Problem Parts completed successfully and '.
            'the maximum possible for each student',             'the maximum possible for each student',
Line 537  sub CreateAndParseOutputDataSelector { Line 568  sub CreateAndParseOutputDataSelector {
     my $Str = '';      my $Str = '';
     my $elementname = 'chartoutputdata';      my $elementname = 'chartoutputdata';
     #      #
     my $selected = 'scores';      my $selected = (&Apache::loncommon::get_env_multiple('form.'.$elementname))[0];
     if (exists($ENV{'form.'.$elementname})) {      $selected = 'scores' if (!$selected);
         if (ref($ENV{'form.'.$elementname} eq 'ARRAY')) {  
             $selected = $ENV{'form.'.$elementname}->[0];  
         } else {  
             $selected = $ENV{'form.'.$elementname};  
         }  
     }  
     #      #
     $chosen_output = $OutputDataOptions[0];      $chosen_output = $OutputDataOptions[0];
     foreach my $option (@OutputDataOptions) {      foreach my $option (@OutputDataOptions) {
Line 567  sub CreateAndParseOutputDataSelector { Line 593  sub CreateAndParseOutputDataSelector {
   
 #######################################################  #######################################################
 #######################################################  #######################################################
   sub count_parts {
       my ($navmap,$sequence) = @_;
       my @resources = &get_resources($navmap,$sequence);
       my $count = 0;
       foreach my $res (@resources) {
           $count += scalar(@{$res->parts});
       }
       return $count;
   }
   
   sub get_resources {
       my ($navmap,$sequence) = @_;
       my @resources = $navmap->retrieveResources($sequence,
                                                  sub { shift->is_problem(); },
                                                  0,0,0);
       return @resources;
   }
   
   #######################################################
   #######################################################
   
 =pod  =pod
   
Line 592  Return a line of the chart for a student Line 638  Return a line of the chart for a student
   
     my $nodata_count; # The number of students for which there is no data      my $nodata_count; # The number of students for which there is no data
     my %prog_state;   # progress state used by loncommon PrgWin routines      my %prog_state;   # progress state used by loncommon PrgWin routines
       my $total_sum_width;
   
       my %width; # Holds sequence width information
       my @sequences;
       my $navmap; # Have to keep this around since weakref is a bit zealous
   
   sub html_cleanup {
       undef(%prog_state);
       undef(%width);
       #
       undef($navmap);
       undef(@sequences);
   }
   
 sub html_initialize {  sub html_initialize {
     my ($r) = @_;      my ($r) = @_;
Line 599  sub html_initialize { Line 658  sub html_initialize {
     $padding = ' 'x3;      $padding = ' 'x3;
     $count = 0;      $count = 0;
     $nodata_count = 0;      $nodata_count = 0;
     undef(%prog_state);      &html_cleanup();
       ($navmap,@sequences) = 
           &Apache::lonstatistics::selected_sequences_with_assessments();
       if (! ref($navmap)) {
           # Unable to get data, so bail out
           $r->print("<h3>".
                     &mt('Unable to retrieve course information.').
                     '</h3>');
       }
   
       # If we're showing links, show a checkbox to open in new
       # windows.
       if ($show_links ne 'no') {
           my $labeltext = &mt('Show links in new window:');
           $r->print(<<NEW_WINDOW_CHECKBOX);
   <script type="text/javascript">new_window = true;</script>
   <p><label>$labeltext 
   <input type="checkbox" checked="checked" onclick="new_window=this.checked" />
   </label></p>
   NEW_WINDOW_CHECKBOX
       }
   
     #      #
     $r->print("<h3>".$ENV{'course.'.$ENV{'request.course.id'}.'.description'}.      $r->print("<h3>".$env{'course.'.$env{'request.course.id'}.'.description'}.
               "&nbsp;&nbsp;".localtime(time)."</h3>");                "&nbsp;&nbsp;".localtime(time)."</h3>");
       #
     if ($chosen_output->{'base'} !~ /^final table/) {      if ($chosen_output->{'base'} !~ /^final table/) {
         $r->print("<h3>".$chosen_output->{'shortdesc'}."</h3>");                  $r->print("<h3>".&mt($chosen_output->{'shortdesc'})."</h3>");        
     }      }
     my $Str = "<pre>\n";      my $Str = "<pre>\n";
     # First, the @StudentData fields need to be listed      # First, the @StudentData fields need to be listed
Line 616  sub html_initialize { Line 696  sub html_initialize {
         my $width=$Apache::lonstatistics::StudentData{$field}->{'width'};          my $width=$Apache::lonstatistics::StudentData{$field}->{'width'};
         $Str .= $title.' 'x($width-$base).$padding;          $Str .= $title.' 'x($width-$base).$padding;
     }      }
     # Now the selected sequences need to be listed      #
     foreach my $sequence (&Apache::lonstatistics::Sequences_with_Assess()){      # Compute the column widths and output the sequence titles
         my $title = $sequence->{'title'};      my $total_count;
         my $base  = $sequence->{'base_width'};      #
         my $width = $sequence->{'width'};      # Compute sequence widths
         $Str .= $title.' 'x($width-$base).$padding;      my $starttime = Time::HiRes::time;
       foreach my $seq (@sequences) {
           my $symb = $seq->symb;
           my $title = $seq->compTitle;
           $width{$symb}->{'width_sum'} = 0;
           # Compute width of sum
           if ($chosen_output->{'sequence_sum'}) {
               if ($chosen_output->{'every_problem'}) {
                   # Use 1 digit for a space
                   $width{$symb}->{'width_sum'} += 1;            
               }
       $total_count += &count_parts($navmap,$seq);
               # Use 6 digits for the sum
               $width{$symb}->{'width_sum'} += 6;
           }
           # Compute width of maximum
           if ($chosen_output->{'sequence_max'}) {
               if ($width{$symb}->{'width_sum'}>0) {
                   # One digit for the '/'
                   $width{$symb}->{'width_sum'} +=1;
               }
               # Use 6 digits for the total
               $width{$symb}->{'width_sum'}+=6;
           }
    #
           if ($chosen_output->{'every_problem'}) {
               # one problem per digit
               $width{$symb}->{'width_parts'}= &count_parts($navmap,$seq);
               $width{$symb}->{'width_problem'} += $width{$symb}->{'width_parts'};
           } else {
               $width{$symb}->{'width_problem'} = 0;
           }
           $width{$symb}->{'width_total'} = $width{$symb}->{'width_problem'} + 
                                        $width{$symb}->{'width_sum'};
           if ($width{$symb}->{'width_total'} < length(&HTML::Entities::decode($title))) {
               $width{$symb}->{'width_total'} = length(&HTML::Entities::decode($title));
           }
           #
           # Output the sequence titles
           $Str .= $title.(' 'x($width{$symb}->{'width_total'}-
                               length($title)
                               )).$padding;
     }      }
     $Str .= "total</pre>\n";      $total_sum_width = length($total_count)+1;
       $Str .= "    total</pre>\n";
     $Str .= "<pre>";      $Str .= "<pre>";
     $r->print($Str);      $r->print($Str);
     $r->rflush();      $r->rflush();
   
       $r->print(<<JS);
   <script type="text/javascript">
   // get the left offset of a given widget as an absolute position
   function getLeftOffset (element) {
       return collect(element, "offsetLeft");
   }
   
   // get the top offset of a given widget as an absolute position
   function getTopOffset (element) {
       return collect(element, "offsetTop");
   }
   
   function collect(element, att) {
       var val = 0;
       while(element) {
           val += element[att];
           element = element.offsetParent;
       }
       return val;
   }
   
   var currentDiv;
   var currentElement;
   function popup_score(element, score) {
       popdown_score();
       var left = getLeftOffset(element);
       var top = getTopOffset(element);
       var div = document.createElement("div");
       div.className = "LC_chrt_popup";
       div.appendChild(document.createTextNode(score));
       div.style.position = "absolute";
       div.style.top = (top - 25) + "px";
       div.style.left = (left - 10) + "px";
       currentDiv = div;
       document.body.insertBefore(div, document.body.childNodes[0]);
       element.className = "LC_chrt_popup_up";
       currentElement = element;
   }
   
   function popdown_score() {
       if (currentDiv) {
           document.body.removeChild(currentDiv);
       }
       if (currentElement) {
           currentElement.className = 'LC_chrt_popup_exists';
       }
       currentDiv = undefined;
   }
   </script>
   JS
   
       #
       # Let the user know what we are doing
       my $studentcount = scalar(@Apache::lonstatistics::Students); 
       if ($env{'form.SelectedStudent'}) {
           $studentcount = '1';
       }
       #
       # Initialize progress window
       %prog_state=&Apache::lonhtmlcommon::Create_PrgWin
           ($r,'HTML Chart Status',
            'HTML Chart Progress', $studentcount,
            'inline',undef,'Statistics','stats_status');
       #
       &Apache::lonhtmlcommon::Update_PrgWin($r,\%prog_state,
                                             'Processing first student');
     return;      return;
 }  }
   
 sub html_outputstudent {  sub html_outputstudent {
     my ($r,$student) = @_;      my ($r,$student) = @_;
     my $Str = '';      my $Str = '';
       return if (! defined($navmap));
     #      #
     if($count++ % 5 == 0 && $count > 0) {      if($count++ % 5 == 0 && $count > 0) {
         $r->print("</pre><pre>");          $r->print("</pre><pre>");
Line 641  sub html_outputstudent { Line 831  sub html_outputstudent {
     my @to_show = &get_student_fields_to_show();      my @to_show = &get_student_fields_to_show();
     foreach my $field (@to_show) {      foreach my $field (@to_show) {
         my $title=$student->{$field};          my $title=$student->{$field};
           # Deal with 'comments' - how I love special cases
           if ($field eq 'comments') {
               $title = '<a href="/adm/'.$student->{'domain'}.'/'.$student->{'username'}.'/'.'aboutme#coursecomment">'.&mt('Comments').'</a>';
           }
         my $base = length($title);          my $base = length($title);
         my $width=$Apache::lonstatistics::StudentData{$field}->{'width'};          my $width=$Apache::lonstatistics::StudentData{$field}->{'width'};
         $Str .= $title.' 'x($width-$base).$padding;          $Str .= $title.' 'x($width-$base).$padding;
Line 649  sub html_outputstudent { Line 843  sub html_outputstudent {
     my %StudentsData;      my %StudentsData;
     my @tmp = &Apache::loncoursedata::get_current_state      my @tmp = &Apache::loncoursedata::get_current_state
         ($student->{'username'},$student->{'domain'},undef,          ($student->{'username'},$student->{'domain'},undef,
          $ENV{'request.course.id'});           $env{'request.course.id'});
     if ((scalar @tmp > 0) && ($tmp[0] !~ /^error:/)) {      if ((scalar @tmp > 0) && ($tmp[0] !~ /^error:(.*)/)) {
         %StudentsData = @tmp;          %StudentsData = @tmp;
     }      } else {
     if (scalar(@tmp) < 1) {   my $error = $1;
    if (scalar(@tmp) < 1) {
       $Str .= '<span class="LC_warning">'
                      .&mt('No Course Data')
                      .'</span>'."\n";
    } else {
               $Str .= '<span class="LC_error">'
                      .&mt('Error getting student data ([_1])',$error)
                      .'</span>'."\n";
    }
         $nodata_count++;          $nodata_count++;
         $Str .= '<font color="blue">No Course Data</font>'."\n";  
         $r->print($Str);          $r->print($Str);
         $r->rflush();          $r->rflush();
         return;          return;
Line 664  sub html_outputstudent { Line 866  sub html_outputstudent {
     # By sequence build up the data      # By sequence build up the data
     my $studentstats;      my $studentstats;
     my $PerformanceStr = '';      my $PerformanceStr = '';
     foreach my $seq (&Apache::lonstatistics::Sequences_with_Assess()) {      foreach my $seq (@sequences) {
           my $symb = $seq->symb;
         my ($performance,$performance_length,$score,$seq_max,$rawdata);          my ($performance,$performance_length,$score,$seq_max,$rawdata);
         if ($chosen_output->{'tries'}) {          if ($chosen_output->{'tries'}) {
             ($performance,$performance_length,$score,$seq_max,$rawdata) =              ($performance,$performance_length,$score,$seq_max,$rawdata) =
                 &StudentTriesOnSequence($student,\%StudentsData,                  &student_tries_on_sequence($student,\%StudentsData,
                                         $seq,$show_links);                                             $navmap,$seq,$show_links);
         } else {          } else {
             ($performance,$performance_length,$score,$seq_max,$rawdata) =              ($performance,$performance_length,$score,$seq_max,$rawdata) =
                 &StudentPerformanceOnSequence($student,\%StudentsData,                  &student_performance_on_sequence($student,\%StudentsData,
                                               $seq,$show_links);                                                   $navmap,$seq,$show_links,
                                                    $chosen_output->{ignore_weight});
           }
           my $ratio='';
           if ($chosen_output->{'every_problem'} && 
               $chosen_output->{'sequence_sum'}) {
               $ratio .= ' ';
           }
           if ($chosen_output->{'sequence_sum'} && $score ne ' ') {
               my $score .= sprintf("%3.2f",$score);
               $ratio .= (' 'x(6-length($score))).$score;
           } elsif($chosen_output->{'sequence_sum'}) {
               $ratio .= ' 'x6;
         }          }
         my $ratio = sprintf("%3d",$score).'/'.sprintf("%3d",$seq_max);          if ($chosen_output->{'sequence_max'}) {
         #              if ($chosen_output->{'sequence_sum'}) {
         if ($chosen_output->{'sequence_sum'}) {                  $ratio .= '/';
             $performance  = $ratio;              }
             $performance .= ' 'x($seq->{'width'}-length($ratio));              my $sequence_total=sprintf("%3.2f",$seq_max);
         } else {              $ratio .= $sequence_total.(' 'x(6-length($sequence_total)));
             # Pad with extra spaces  
             $performance .= ' 'x($seq->{'width'}-$performance_length-  
                                  length($ratio)  
                                  ).$ratio;  
         }          }
         #          #
           if (! $chosen_output->{'every_problem'}) {
               $performance = '';
       $performance_length=0;
           }
           $performance .= ' 'x($width{$symb}->{'width_total'} -
                                $performance_length -
                                $width{$symb}->{'width_sum'}).
               $ratio;
           #
         $Str .= $performance.$padding;          $Str .= $performance.$padding;
         #          #
         $studentstats->{$seq->{'symb'}}->{'score'}= $score;          $studentstats->{$symb}->{'score'}= $score;
         $studentstats->{$seq->{'symb'}}->{'max'}  = $seq_max;          $studentstats->{$symb}->{'max'}  = $seq_max;
     }      }
     #      #
     # Total it up and store the statistics info.      # Total it up and store the statistics info.
     my ($score,$max) = (0,0);      my ($score,$max);
     while (my ($symb,$seq_stats) = each (%{$studentstats})) {      while (my ($symb,$seq_stats) = each (%{$studentstats})) {
         $Statistics->{$symb}->{'score'} += $seq_stats->{'score'};          $Statistics->{$symb}->{'score'} += $seq_stats->{'score'};
         if ($Statistics->{$symb}->{'max'} < $seq_stats->{'max'}) {          if ($Statistics->{$symb}->{'max'} < $seq_stats->{'max'}) {
             $Statistics->{$symb}->{'max'} = $seq_stats->{'max'};              $Statistics->{$symb}->{'max'} = $seq_stats->{'max'};
         }          }
         $score += $seq_stats->{'score'};          if ($seq_stats->{'score'} ne ' ') {
               $score += $seq_stats->{'score'};
               $Statistics->{$symb}->{'num_students'}++;
           }
         $max   += $seq_stats->{'max'};          $max   += $seq_stats->{'max'};
     }      }
     $Str .= ' '.' 'x(length($max)-length($score)).$score.'/'.$max;      if (! defined($score)) {
           $score = ' ' x $total_sum_width;
       } else {
           $score = sprintf("%.2f",$score);
           $score = (' 'x(6-length($score))).$score;
       }
       $Str .= ' '.' 'x($total_sum_width-length($score)).$score.' / '.$max;
     $Str .= " \n";      $Str .= " \n";
     #      #
     $r->print($Str);      $r->print($Str);
     #      #
     $r->rflush();      $r->rflush();
       &Apache::lonhtmlcommon::Increment_PrgWin($r,\%prog_state,'last student');
     return;      return;
 }      }    
   
 sub html_finish {  sub html_finish {
     my ($r) = @_;      my ($r) = @_;
       return if (! defined($navmap));
     #      #
     # Check for suppressed output and close the progress window if so      # Check for suppressed output and close the progress window if so
     $r->print("</pre>\n");       $r->print("</pre>\n"); 
     if ($single_student_mode) {      if ($chosen_output->{'summary_table'}) {
         $r->print(&SingleStudentTotal());          if ($single_student_mode) {
     } else {              $r->print(&SingleStudentTotal());
         $r->print(&StudentAverageTotal());          } else {
               $r->print(&StudentAverageTotal());
           }
     }      }
     $r->rflush();      $r->rflush();
       &Apache::lonhtmlcommon::Close_PrgWin($r,\%prog_state);
       &html_cleanup();
     return;      return;
 }  }
   
 sub StudentAverageTotal {  sub StudentAverageTotal {
     my $Str = "<h3>Summary Tables</h3>\n";      my $Str = '<h3>'.&mt('Summary Tables').'</h3>'.$/;
     my $num_students = scalar(@Apache::lonstatistics::Students);      $Str .= &Apache::loncommon::start_data_table();
     my $total_ave = 0;      $Str .= &Apache::loncommon::start_data_table_header_row().
     my $total_max = 0;          '<th>'.&mt('Title').'</th>'.
     $Str .= '<table border=2 cellspacing="1">'."\n";          '<th>'.&mt('Average').'</th>'.
     $Str .= "<tr><th>Title</th><th>Average</th><th>Maximum</th></tr>\n";          '<th>'.&mt('Maximum').'</th>'.
     foreach my $seq (&Apache::lonstatistics::Sequences_with_Assess()) {          &Apache::loncommon::end_data_table_header_row().$/;
       foreach my $seq (@sequences) {
           my $symb = $seq->symb;
         my $ave;          my $ave;
         if ($num_students > $nodata_count) {          my $num_students = $Statistics->{$symb}->{'num_students'};
             $ave = int(100*($Statistics->{$seq->{'symb'}}->{'score'}/          if ($num_students > 0) {
                             ($num_students-$nodata_count)))/100;              $ave = int(100*
                          ($Statistics->{$symb}->{'score'}/$num_students)
                          )/100;
         } else {          } else {
             $ave = 0;              $ave = 0;
         }          }
         $total_ave += $ave;          my $max = $Statistics->{$symb}->{'max'};
         my $max = $Statistics->{$seq->{'symb'}}->{'max'};  
         $total_max += $max;  
         $ave = sprintf("%.2f",$ave);          $ave = sprintf("%.2f",$ave);
         $Str .= '<tr><td>'.$seq->{'title'}.'</td>'.          $Str .= &Apache::loncommon::start_data_table_row().
               '<td>'.$seq->compTitle.'</td>'.
             '<td align="right">'.$ave.'&nbsp;</td>'.              '<td align="right">'.$ave.'&nbsp;</td>'.
             '<td align="right">'.$max.'&nbsp;'.'</td></tr>'."\n";              '<td align="right">'.$max.'&nbsp;'.'</td>'.
               &Apache::loncommon::end_data_table_row()."\n";
     }      }
     $total_ave = sprintf('%.2f',$total_ave); # only two digit      $Str .= &Apache::loncommon::end_data_table()."\n";
     $Str .= "</table>\n";  
     $Str .= '<table border=2 cellspacing="1">'."\n";  
     $Str .= '<tr><th>Number of Students</th><th>Average</th>'.  
         "<th>Maximum</th></tr>\n";  
     $Str .= '<tr>'.  
         '<td align="right">'.($num_students-$nodata_count).'</td>'.  
         '<td align="right">'.$total_ave.'&nbsp;'.'</td>'.  
         '<td align="right">'.$total_max.'&nbsp;'.'</td>';  
     $Str .= "</table>\n";  
     return $Str;      return $Str;
 }  }
   
 sub SingleStudentTotal {  sub SingleStudentTotal {
       return if (! defined($navmap));
     my $student = &Apache::lonstatistics::current_student();      my $student = &Apache::lonstatistics::current_student();
     my $Str = "<h3>Summary table for ".$student->{'fullname'}." ".      my $Str = '<h3>'.&mt('Summary table for [_1] ([_2]@[_3])',
         $student->{'username'}.'@'.$student->{'domain'}."</h3>\n";                           $student->{'fullname'},
     $Str .= '<table border=2 cellspacing="1">'."\n";                           $student->{'username'},$student->{'domain'}).'</h3>';
       $Str .= $/;
       $Str .= &Apache::loncommon::start_data_table()."\n";
     $Str .=       $Str .= 
         "<tr><th>Sequence or Folder</th><th>Score</th><th>Maximum</th></tr>\n";          &Apache::loncommon::start_data_table_header_row().
           '<th>'.&mt('Sequence or Folder').'</th>';
       if ($chosen_output->{'base'} eq 'tries') {
           $Str .= '<th>'.&mt('Parts Correct').'</th>';
       } else {
           $Str .= '<th>'.&mt('Score').'</th>';
       }
       $Str .= '<th>'.&mt('Maximum').'</th>'.
               &Apache::loncommon::end_data_table_header_row()."\n";
     my $total = 0;      my $total = 0;
     my $total_max = 0;      my $total_max = 0;
     foreach my $seq (&Apache::lonstatistics::Sequences_with_Assess()) {      foreach my $seq (@sequences) {
         my $value = $Statistics->{$seq->{'symb'}}->{'score'};          my $value = $Statistics->{$seq->symb}->{'score'};
         my $max = $Statistics->{$seq->{'symb'}}->{'max'};          my $max = $Statistics->{$seq->symb}->{'max'};
         $Str .= '<tr><td>'.$seq->{'title'}.'</td>'.          $Str .= &Apache::loncommon::start_data_table_row().
               '<td>'.&HTML::Entities::encode($seq->compTitle).'</td>'.
             '<td align="right">'.$value.'</td>'.              '<td align="right">'.$value.'</td>'.
                 '<td align="right">'.$max.'</td></tr>'."\n";              '<td align="right">'.$max.'</td>'.
               &Apache::loncommon::end_data_table_row()."\n";
         $total += $value;          $total += $value;
         $total_max +=$max;          $total_max +=$max;
     }      }
     $Str .= '<tr><td><b>Total</b></td>'.      $Str .= &Apache::loncommon::start_data_table_row().
           '<td><b>'.&mt('Total').'</b></td>'.
         '<td align="right">'.$total.'</td>'.          '<td align="right">'.$total.'</td>'.
         '<td align="right">'.$total_max."</td></tr>\n";          '<td align="right">'.$total_max.'</td>'.
     $Str .= "</table>\n";          &Apache::loncommon::end_data_table_row()."\n";
       $Str .= &Apache::loncommon::end_data_table()."\n";
     return $Str;      return $Str;
 }  }
   
Line 810  sub SingleStudentTotal { Line 1055  sub SingleStudentTotal {
   
 my $excel_sheet;  my $excel_sheet;
 my $excel_workbook;  my $excel_workbook;
   my $format;
   
 my $filename;  my $filename;
 my $rows_output;  my $rows_output;
Line 819  my %prog_state; # progress window state Line 1065  my %prog_state; # progress window state
 my $request_aborted;  my $request_aborted;
   
 my $total_formula;  my $total_formula;
   my $maximum_formula;
   my %formula_data;
   
 sub excel_initialize {  my $navmap;
     my ($r) = @_;  my @sequences;
   
   sub excel_cleanup {
     #      #
     undef ($excel_sheet);      undef ($excel_sheet);
     undef ($excel_workbook);      undef ($excel_workbook);
Line 831  sub excel_initialize { Line 1081  sub excel_initialize {
     undef (%prog_state);      undef (%prog_state);
     undef ($request_aborted);      undef ($request_aborted);
     undef ($total_formula);      undef ($total_formula);
       undef ($maximum_formula);
       #
       undef(%formula_data);
       #
       undef($navmap);
       undef(@sequences);
   }
   
   sub excel_initialize {
       my ($r) = @_;
   
       &excel_cleanup();
       ($navmap,@sequences) = 
           &Apache::lonstatistics::selected_sequences_with_assessments();
       if (! ref($navmap)) {
           # Unable to get data, so bail out
           $r->print("<h3>".
                     &mt('Unable to retrieve course information.').
                     '</h3>');
       }
     #      #
     my $total_columns = scalar(&get_student_fields_to_show());      my $total_columns = scalar(&get_student_fields_to_show());
           my $num_students = scalar(@Apache::lonstatistics::Students);
     foreach my $seq (&Apache::lonstatistics::Sequences_with_Assess()) {      #
       foreach my $seq (@sequences) {
         if ($chosen_output->{'every_problem'}) {          if ($chosen_output->{'every_problem'}) {
             $total_columns += $seq->{'num_assess_parts'};              $total_columns+=&count_parts($navmap,$seq);
         }          }
         # Add 2 because we need a 'sequence_sum' and 'total' column for each          # Add 2 because we need a 'sequence_sum' and 'total' column for each
         $total_columns += 2;          $total_columns += 2;
     }      }
       my $too_many_cols_error_message = 
           '<h2>'.&mt('Unable to Complete Request').'</h2>'.$/.
           '<p>'.&mt('LON-CAPA is unable to produce your Excel spreadsheet because your selections will result in more than 255 columns.  Excel allows only 255 columns in a spreadsheet.').'</p>'.$/.
           '<p>'.&mt('You may consider reducing the number of <b>Sequences or Folders</b> you have selected.').'</p>'.$/.
           '<p>'.&mt('LON-CAPA can produce <b>CSV</b> files of this data or Excel files of the <b>Scores Summary</b> data.').'</p>'.$/;
     if ($chosen_output->{'base'} eq 'tries' && $total_columns > 255) {      if ($chosen_output->{'base'} eq 'tries' && $total_columns > 255) {
         $r->print(<<END);          $r->print($too_many_cols_error_message);
 <h2>Unable to Complete Request</h2>          $request_aborted = 1;
 <p>  
 LON-CAPA is unable to produce your Excel spreadsheet because your selections  
 will result in more than 255 columns.  Excel allows only 255 columns in a  
 spreadsheet.  
 </p><p>  
 You may consider reducing the number of <b>Sequences or Folders</b> you  
 have selected.    
 </p><p>  
 LON-CAPA can produce <b>CSV</b> files of this data or Excel files of the  
 summary data (<b>Parts Correct</b> or <b>Parts Correct & Totals</b>).  
 </p>  
 END  
        $request_aborted = 1;  
     }      }
     if ($chosen_output->{'base'} eq 'scores' && $total_columns > 255) {      if ($chosen_output->{'base'} eq 'scores' && $total_columns > 255) {
         $r->print(<<END);          $r->print($too_many_cols_error_message);
 <h2>Unable to Complete Request</h2>          $request_aborted = 1;
 <p>  
 LON-CAPA is unable to produce your Excel spreadsheet because your selections  
 will result in more than 255 columns.  Excel allows only 255 columns in a  
 spreadsheet.  
 </p><p>  
 You may consider reducing the number of <b>Sequences or Folders</b> you  
 have selected.    
 </p><p>  
 LON-CAPA can produce <b>CSV</b> files of this data or Excel files of the  
 <b>Scores Summary</b> data.  
 </p>  
 END  
        $request_aborted = 1;  
     }      }
     return if ($request_aborted);      return if ($request_aborted);
     #      #
     $filename = '/prtspool/'.  
         $ENV{'user.name'}.'_'.$ENV{'user.domain'}.'_'.  
             time.'_'.rand(1000000000).'.xls';  
     #      #
     $excel_workbook = undef;      $excel_workbook = undef;
     $excel_sheet = undef;      $excel_sheet = undef;
Line 887  END Line 1134  END
     $rows_output = 0;      $rows_output = 0;
     $cols_output = 0;      $cols_output = 0;
     #      #
     # Create sheet      # Determine rows 
     $excel_workbook = Spreadsheet::WriteExcel->new('/home/httpd'.$filename);      my $header_row = $rows_output++;
       my $description_row = $rows_output++;
       my $notes_row = $rows_output++;
       $rows_output++;        # blank row
       my $summary_header_row;
       if ($chosen_output->{'summary_table'}) {
           $summary_header_row = $rows_output++;
           $rows_output+= scalar(@sequences);
           $rows_output++;
       }
       my $sequence_name_row = $rows_output++;
       my $resource_name_row = $rows_output++;
       my $maximum_data_row = $rows_output++;
       if (! $chosen_output->{'maximum_row'}) {
           $rows_output--;
       }
       my $first_data_row = $rows_output++;
     #      #
     # Check for errors      # Create sheet
     if (! defined($excel_workbook)) {      ($excel_workbook,$filename,$format)=
         $r->log_error("Error creating excel spreadsheet $filename: $!");          &Apache::loncommon::create_workbook($r);
         $r->print("Problems creating new Excel file.  ".      return if (! defined($excel_workbook));
                   "This error has been logged.  ".  
                   "Please alert your LON-CAPA administrator");  
         return ;  
     }  
     #  
     # The excel spreadsheet stores temporary data in files, then put them  
     # together.  If needed we should be able to disable this (memory only).  
     # The temporary directory must be specified before calling 'addworksheet'.  
     # File::Temp is used to determine the temporary directory.  
     $excel_workbook->set_tempdir($Apache::lonnet::tmpdir);  
     #      #
     # Add a worksheet      # Add a worksheet
     my $sheetname = $ENV{'course.'.$ENV{'request.course.id'}.'.description'};      my $sheetname = $env{'course.'.$env{'request.course.id'}.'.description'};
     $sheetname = &Apache::loncommon::clean_excel_name($sheetname);      $sheetname = &Apache::loncommon::clean_excel_name($sheetname);
     $excel_sheet = $excel_workbook->addworksheet($sheetname);      $excel_sheet = $excel_workbook->addworksheet($sheetname);
     #      #
     # Define some potentially useful formats  
     my $format;  
     $format->{'header'} = $excel_workbook->add_format(bold      => 1,   
                                                       bottom    => 1,  
                                                       align     => 'center');  
     $format->{'bold'} = $excel_workbook->add_format(bold=>1);  
     $format->{'h1'}   = $excel_workbook->add_format(bold=>1, size=>18);  
     $format->{'h2'}   = $excel_workbook->add_format(bold=>1, size=>16);  
     $format->{'h3'}   = $excel_workbook->add_format(bold=>1, size=>14);  
     $format->{'date'} = $excel_workbook->add_format(num_format=>  
                                                     'mmm d yyyy hh:mm AM/PM');  
     #  
     # Put the course description in the header      # Put the course description in the header
     $excel_sheet->write($rows_output,$cols_output++,      $excel_sheet->write($header_row,$cols_output++,
                    $ENV{'course.'.$ENV{'request.course.id'}.'.description'},                     $env{'course.'.$env{'request.course.id'}.'.description'},
                         $format->{'h1'});                          $format->{'h1'});
     $cols_output += 3;      $cols_output += 3;
     #      #
     # Put a description of the sections listed      # Put a description of the sections listed
     my $sectionstring = '';      my $sectionstring = '';
     my @Sections = @Apache::lonstatistics::SelectedSections;      my @Sections = &Apache::lonstatistics::get_selected_sections();
     if (scalar(@Sections) > 1) {      $excel_sheet->write($header_row,$cols_output++,
         if (scalar(@Sections) > 2) {                          &Apache::lonstatistics::section_and_enrollment_description('plaintext'),
             my $last = pop(@Sections);  
             $sectionstring = "Sections ".join(', ',@Sections).', and '.$last;  
         } else {  
             $sectionstring = "Sections ".join(' and ',@Sections);  
         }  
     } else {  
         if ($Sections[0] eq 'all') {  
             $sectionstring = "All sections";  
         } else {  
             $sectionstring = "Section ".$Sections[0];  
         }  
     }  
     $excel_sheet->write($rows_output,$cols_output++,$sectionstring,  
                         $format->{'h3'});                          $format->{'h3'});
     $cols_output += scalar(@Sections);  
     #      #
     # Put the date in there too      # Put the date in there too
     $excel_sheet->write($rows_output++,$cols_output++,      $excel_sheet->write($header_row,$cols_output++,
                         'Compiled on '.localtime(time),$format->{'h3'});                          'Compiled on '.localtime(time),$format->{'h3'});
     #      #
     $cols_output = 0;      $cols_output = 0;
     $excel_sheet->write($rows_output++,$cols_output++,      $excel_sheet->write($description_row,$cols_output++,
                         $chosen_output->{'shortdesc'},                          $chosen_output->{'shortdesc'},
                         $format->{'h3'});                          $format->{'b'});
     #      #
     # Figure out the rows we need      $cols_output = 0;
     my $sequence_name_row = $rows_output+1;      $excel_sheet->write($notes_row,$cols_output++,
     my $resource_name_row = $sequence_name_row+1;                          $chosen_output->{'non_html_notes'},
     my $maximum_data_row = $sequence_name_row+2;                          $format->{'i'});
     my $first_data_row = $sequence_name_row+3;      
       ##############################################
       # Output headings for the raw data
       ##############################################
     #      #
     # Add the student headers      # Add the student headers
     $cols_output = 0;      $cols_output = 0;
Line 973  END Line 1203  END
     #      #
     # Add the remaining column headers      # Add the remaining column headers
     my $total_formula_string = '=0';      my $total_formula_string = '=0';
     foreach my $seq (&Apache::lonstatistics::Sequences_with_Assess()) {      my $maximum_formula_string = '=0';
       foreach my $seq (@sequences) {
           my $symb = $seq->symb;
         $excel_sheet->write($sequence_name_row,,          $excel_sheet->write($sequence_name_row,,
                             $cols_output,$seq->{'title'},$format->{'h3'});                              $cols_output,$seq->compTitle,$format->{'bold'});
         # Determine starting cell          # Determine starting cell
         $seq->{'Excel:startcell'}=          $formula_data{$symb}->{'Excel:startcell'}=
             &Spreadsheet::WriteExcel::Utility::xl_rowcol_to_cell              &Spreadsheet::WriteExcel::Utility::xl_rowcol_to_cell
             ($maximum_data_row,$cols_output);              ($first_data_row,$cols_output);
         $seq->{'Excel:startcol'}=$cols_output;          $formula_data{$symb}->{'Excel:startcol'}=$cols_output;
         my $count = 0;          my $count = 0;
         if ($chosen_output->{'every_problem'}) {          if ($chosen_output->{'every_problem'}) {
             # Put the names of the problems and parts into the sheet              # Put the names of the problems and parts into the sheet
             foreach my $res (@{$seq->{'contents'}}) {              foreach my $res (&get_resources($navmap,$seq)) {
                 if ($res->{'type'} ne 'assessment'  ||                   if (scalar(@{$res->parts}) > 1) {
                     ! exists($res->{'parts'})       ||                      foreach my $part (@{$res->parts}) {
                     ref($res->{'parts'}) ne 'ARRAY' ||  
                     scalar(@{$res->{'parts'}}) < 1) {  
                     next;  
                 }  
                 if (scalar(@{$res->{'parts'}}) > 1) {  
                     foreach my $part (@{$res->{'parts'}}) {  
                         $excel_sheet->write($resource_name_row,                          $excel_sheet->write($resource_name_row,
                                             $cols_output++,                                              $cols_output++,
                                             $res->{'title'}.' part '.$part,                                              $res->compTitle.' part '.$res->part_display($part),
                                             $format->{'bold'});                                              $format->{'bold'});
                           $count++;
                     }                      }
                 } else {                  } else {
                     $excel_sheet->write($resource_name_row,                      $excel_sheet->write($resource_name_row,
                                         $cols_output++,                                          $cols_output++,
                                         $res->{'title'},$format->{'bold'});                                          $res->compTitle,$format->{'bold'});
                       $count++;
                 }                  }
                 $count++;  
             }              }
         }          }
         # Determine ending cell          # Determine ending cell
         if ($count <= 1) {          if ($count <= 1) {
             $seq->{'Excel:endcell'} = $seq->{'Excel:startcell'};              $formula_data{$symb}->{'Excel:endcell'} = $formula_data{$symb}->{'Excel:startcell'};
             $seq->{'Excel:endcol'}  = $seq->{'Excel:startcol'};              $formula_data{$symb}->{'Excel:endcol'}  = $formula_data{$symb}->{'Excel:startcol'};
         } else {          } else {
             $seq->{'Excel:endcell'} =               $formula_data{$symb}->{'Excel:endcell'} = 
                 &Spreadsheet::WriteExcel::Utility::xl_rowcol_to_cell                  &Spreadsheet::WriteExcel::Utility::xl_rowcol_to_cell
                 ($maximum_data_row,$cols_output-1);                  ($first_data_row,$cols_output-1);
             $seq->{'Excel:endcol'} = $cols_output-1;              $formula_data{$symb}->{'Excel:endcol'} = $cols_output-1;
         }          }
         # Create the formula for summing up this sequence          # Create the formula for summing up this sequence
         if (! exists($seq->{'Excel:endcell'}) ||          if (! exists($formula_data{$symb}->{'Excel:endcell'}) ||
             ! defined($seq->{'Excel:endcell'})) {              ! defined($formula_data{$symb}->{'Excel:endcell'})) {
             $seq->{'Excel:endcell'} = $seq->{'Excel:startcell'};              $formula_data{$symb}->{'Excel:endcell'} = $formula_data{$symb}->{'Excel:startcell'};
         }          }
         $seq->{'Excel:sum'}= $excel_sheet->store_formula  
             ('=SUM('.$seq->{'Excel:startcell'}.          my $start = $formula_data{$symb}->{'Excel:startcell'};
              ':'.$seq->{'Excel:endcell'}.')');          my $end = $formula_data{$symb}->{'Excel:endcell'};
           $formula_data{$symb}->{'Excel:sum'}= $excel_sheet->store_formula
               ("=IF(COUNT($start\:$end),SUM($start\:$end),\"\")");
         # Determine cell the score is held in          # Determine cell the score is held in
         $seq->{'Excel:scorecell'} =           $formula_data{$symb}->{'Excel:scorecell'} = 
             &Spreadsheet::WriteExcel::Utility::xl_rowcol_to_cell              &Spreadsheet::WriteExcel::Utility::xl_rowcol_to_cell
             ($maximum_data_row,$cols_output);              ($first_data_row,$cols_output);
         $seq->{'Excel:scorecol'}=$cols_output;          $formula_data{$symb}->{'Excel:scorecol'}=$cols_output;
         if ($chosen_output->{'base'} eq 'parts correct total') {          if ($chosen_output->{'base'} eq 'parts correct total') {
             $excel_sheet->write($resource_name_row,$cols_output++,              $excel_sheet->write($resource_name_row,$cols_output++,
                                 'parts correct',                                  'parts correct',
Line 1048  END Line 1277  END
         #          #
         $total_formula_string.='+'.          $total_formula_string.='+'.
             &Spreadsheet::WriteExcel::Utility::xl_rowcol_to_cell              &Spreadsheet::WriteExcel::Utility::xl_rowcol_to_cell
             ($maximum_data_row,$cols_output-1);              ($first_data_row,$cols_output-1);
         if ($chosen_output->{'sequence_max'}) {          if ($chosen_output->{'sequence_max'}) {
             $excel_sheet->write($resource_name_row,$cols_output++,              $excel_sheet->write($resource_name_row,$cols_output,
                                 'maximum',                                  'maximum',
                                 $format->{'bold'});                                  $format->{'bold'});
               $formula_data{$symb}->{'Excel:maxcell'} = 
                   &Spreadsheet::WriteExcel::Utility::xl_rowcol_to_cell
                   ($first_data_row,$cols_output);
               $formula_data{$symb}->{'Excel:maxcol'}=$cols_output;
               $maximum_formula_string.='+'.
                   &Spreadsheet::WriteExcel::Utility::xl_rowcol_to_cell
                   ($first_data_row,$cols_output);
               $cols_output++;
   
         }          }
     }      }
     if ($chosen_output->{'grand_total'}) {      if ($chosen_output->{'grand_total'}) {
         $excel_sheet->write($resource_name_row,$cols_output++,'Total',          $excel_sheet->write($resource_name_row,$cols_output++,'Total',
                             $format->{'bold'});                              $format->{'bold'});
     }      }
       if ($chosen_output->{'grand_maximum'}) {
           $excel_sheet->write($resource_name_row,$cols_output++,'Max. Total',
                               $format->{'bold'});
       }
     $total_formula = $excel_sheet->store_formula($total_formula_string);      $total_formula = $excel_sheet->store_formula($total_formula_string);
     #      $maximum_formula = $excel_sheet->store_formula($maximum_formula_string);
       ##############################################
     # Output a row for MAX, if appropriate      # Output a row for MAX, if appropriate
     if ($chosen_output->{'scores'}) {      ##############################################
       if ($chosen_output->{'maximum_row'}) {
         $cols_output = 0;          $cols_output = 0;
         foreach my $field (&get_student_fields_to_show()) {          foreach my $field (&get_student_fields_to_show()) {
             if ($field eq 'username' || $field eq 'fullname' ||               if ($field eq 'username' || $field eq 'fullname' || 
Line 1076  END Line 1320  END
         #          #
         # Add the maximums for each sequence or assessment          # Add the maximums for each sequence or assessment
         my %total_cell_translation;          my %total_cell_translation;
         foreach my $seq (&Apache::lonstatistics::Sequences_with_Assess()) {          my %maximum_cell_translation;
             $cols_output=$seq->{'Excel:startcol'};          foreach my $seq (@sequences) {
             $total_cell_translation{$seq->{'Excel:scorecell'}} =               my $symb = $seq->symb;
               $cols_output=$formula_data{$symb}->{'Excel:startcol'};
               $total_cell_translation{$formula_data{$symb}->{'Excel:scorecell'}}=
                 &Spreadsheet::WriteExcel::Utility::xl_rowcol_to_cell                  &Spreadsheet::WriteExcel::Utility::xl_rowcol_to_cell
                 ($maximum_data_row,$seq->{'Excel:scorecol'});                  ($maximum_data_row,$formula_data{$symb}->{'Excel:scorecol'});
               $maximum_cell_translation{$formula_data{$symb}->{'Excel:maxcell'}}=
                   &Spreadsheet::WriteExcel::Utility::xl_rowcol_to_cell
                   ($maximum_data_row,$formula_data{$symb}->{'Excel:maxcol'});
             my $weight;              my $weight;
             my $max = 0;              my $max = 0;
             foreach my $resource (@{$seq->{'contents'}}) {              foreach my $resource (&get_resources($navmap,$seq)) {
                 next if ($resource->{'type'} ne 'assessment');                  foreach my $part (@{$resource->parts}){
                 foreach my $part (@{$resource->{'parts'}}) {  
                     $weight = 1;                      $weight = 1;
                     if ($chosen_output->{'scores'}) {                      if ($chosen_output->{'scores'}) {
                         $weight = &Apache::lonnet::EXT                          $weight = &Apache::lonnet::EXT
                             ('resource.'.$part.'.weight',$resource->{'symb'},                              ('resource.'.$part.'.weight',$resource->symb,
                              undef,undef,undef);                               undef,undef,undef);
                         if (!defined($weight) || ($weight eq '')) {                           if (!defined($weight) || ($weight eq '')) { 
                             $weight=1;                              $weight=1;
Line 1106  END Line 1354  END
             #              #
             if ($chosen_output->{'sequence_sum'} &&               if ($chosen_output->{'sequence_sum'} && 
                 $chosen_output->{'every_problem'}) {                  $chosen_output->{'every_problem'}) {
                 my %replaceCells;   my %replaceCells=
                 $replaceCells{$seq->{'Excel:startcell'}} =       ('^'.$formula_data{$symb}->{'Excel:startcell'}.':'.
                     &Spreadsheet::WriteExcel::Utility::xl_rowcol_to_cell           $formula_data{$symb}->{'Excel:endcell'}.'$' =>
                     ($maximum_data_row,$seq->{'Excel:startcol'});       &Spreadsheet::WriteExcel::Utility::xl_rowcol_to_cell($maximum_data_row,$formula_data{$symb}->{'Excel:startcol'}).':'.
                 $replaceCells{$seq->{'Excel:endcell'}} =        &Spreadsheet::WriteExcel::Utility::xl_rowcol_to_cell($maximum_data_row,$formula_data{$symb}->{'Excel:endcol'}));
                     &Spreadsheet::WriteExcel::Utility::xl_rowcol_to_cell  
                     ($maximum_data_row,$seq->{'Excel:endcol'});  
                 $excel_sheet->repeat_formula($maximum_data_row,$cols_output++,                  $excel_sheet->repeat_formula($maximum_data_row,$cols_output++,
                                              $seq->{'Excel:sum'},undef,                                               $formula_data{$symb}->{'Excel:sum'},undef,
                                              %replaceCells);       %replaceCells, %replaceCells);
   
             } elsif ($chosen_output->{'sequence_sum'}) {              } elsif ($chosen_output->{'sequence_sum'}) {
                 $excel_sheet->write($maximum_data_row,$cols_output++,$max);                  $excel_sheet->write($maximum_data_row,$cols_output++,$max);
             }              }
Line 1129  END Line 1376  END
                                          $total_formula,undef,                                           $total_formula,undef,
                                          %total_cell_translation);                                           %total_cell_translation);
         }          }
     } # End of MAXIMUM row output  if ($chosen_output->{'scores'}) {          if ($chosen_output->{'grand_maximum'}) {
               $excel_sheet->repeat_formula($maximum_data_row,$cols_output++,
                                            $maximum_formula,undef,
                                            %maximum_cell_translation);
           }
       } # End of MAXIMUM row output  if ($chosen_output->{'maximum_row'}) {
     $rows_output = $first_data_row;      $rows_output = $first_data_row;
       ##############################################
       # Output summary table, which actually is above the sequence name row.
       ##############################################
       if ($chosen_output->{'summary_table'}) {
           $cols_output = 0;
           $excel_sheet->write($summary_header_row,$cols_output++,
                               'Summary Table',$format->{'bold'});
           if ($chosen_output->{'maximum_row'}) {
               $excel_sheet->write($summary_header_row,$cols_output++,
                                   'Maximum',$format->{'bold'});
           }
           $excel_sheet->write($summary_header_row,$cols_output++,
                               'Average',$format->{'bold'});
           $excel_sheet->write($summary_header_row,$cols_output++,
                               'Median',$format->{'bold'});
           $excel_sheet->write($summary_header_row,$cols_output++,
                               'Std Dev',$format->{'bold'});
           my $row = $summary_header_row+1;
           foreach my $seq (@sequences) {
               my $symb = $seq->symb;
               $cols_output = 0;
               $excel_sheet->write($row,$cols_output++,
                                   $seq->compTitle,
                                   $format->{'bold'});
               if ($chosen_output->{'maximum_row'}) {
                   $excel_sheet->write
                       ($row,$cols_output++,
                        '='.
                        &Spreadsheet::WriteExcel::Utility::xl_rowcol_to_cell
                        ($maximum_data_row,$formula_data{$symb}->{'Excel:scorecol'})
                        );
               }
               my $range = 
                   &Spreadsheet::WriteExcel::Utility::xl_rowcol_to_cell
                   ($first_data_row,$formula_data{$symb}->{'Excel:scorecol'}).
                   ':'.
                   &Spreadsheet::WriteExcel::Utility::xl_rowcol_to_cell
                   ($first_data_row+$num_students-1,$formula_data{$symb}->{'Excel:scorecol'});
               $excel_sheet->write($row,$cols_output++,
                                   '=AVERAGE('.$range.')');
               $excel_sheet->write($row,$cols_output++,
                                   '=MEDIAN('.$range.')');
               $excel_sheet->write($row,$cols_output++,
                                   '=STDEV('.$range.')');
               $row++;
           }
       }
       ##############################################
       #   Take care of non-excel initialization
       ##############################################
     #      #
     # Let the user know what we are doing      # Let the user know what we are doing
     my $studentcount = scalar(@Apache::lonstatistics::Students);       my $studentcount = scalar(@Apache::lonstatistics::Students); 
     if ($ENV{'form.SelectedStudent'}) {      if ($env{'form.SelectedStudent'}) {
         $studentcount = '1';          $studentcount = '1';
     }      }
     if ($studentcount > 1) {      $r->print('<p>'
         $r->print('<h1>'.&mt('Compiling Excel spreadsheet for [_1] students',               .&mt('Compiling Excel spreadsheet for [quant,_1,student]...',$studentcount)
                              $studentcount)."</h1>\n");              ."</p>\n"
     } else {      );
         $r->print('<h1>'.  
                   &mt('Compiling Excel spreadsheet for 1 student').  
                   "</h1>\n");  
     }  
     $r->rflush();      $r->rflush();
     #      #
     # Initialize progress window      # Initialize progress window
     %prog_state=&Apache::lonhtmlcommon::Create_PrgWin      %prog_state=&Apache::lonhtmlcommon::Create_PrgWin
         ($r,'Excel File Compilation Status',          ($r,'Excel File Compilation Status',
          'Excel File Compilation Progress', $studentcount);           'Excel File Compilation Progress', $studentcount,
            'inline',undef,'Statistics','stats_status');
     #      #
     &Apache::lonhtmlcommon::Update_PrgWin($r,\%prog_state,      &Apache::lonhtmlcommon::Update_PrgWin($r,\%prog_state,
                                           'Processing first student');                                            'Processing first student');
Line 1159  END Line 1458  END
   
 sub excel_outputstudent {  sub excel_outputstudent {
     my ($r,$student) = @_;      my ($r,$student) = @_;
     return if ($request_aborted);      if ($request_aborted || ! defined($navmap) || ! defined($excel_sheet)) {
     return if (! defined($excel_sheet));          return;
       }
     $cols_output=0;      $cols_output=0;
     #      #
     # Write out student data      # Write out student data
     my @to_show = &get_student_fields_to_show();      my @to_show = &get_student_fields_to_show();
     foreach my $field (@to_show) {      foreach my $field (@to_show) {
         $excel_sheet->write($rows_output,$cols_output++,$student->{$field});          my $value = $student->{$field};
           if ($field eq 'comments') {
               $value = &Apache::lonmsgdisplay::retrieve_instructor_comments
                   ($student->{'username'},$student->{'domain'});
           }
           $excel_sheet->write($rows_output,$cols_output++,$value);
     }      }
     #      #
     # Get student assessment data      # Get student assessment data
Line 1174  sub excel_outputstudent { Line 1479  sub excel_outputstudent {
     my @tmp = &Apache::loncoursedata::get_current_state($student->{'username'},      my @tmp = &Apache::loncoursedata::get_current_state($student->{'username'},
                                                         $student->{'domain'},                                                          $student->{'domain'},
                                                         undef,                                                          undef,
                                                    $ENV{'request.course.id'});                                                     $env{'request.course.id'});
     if ((scalar @tmp > 0) && ($tmp[0] !~ /^error:/)) {      if ((scalar @tmp > 0) && ($tmp[0] !~ /^error:/)) {
         %StudentsData = @tmp;          %StudentsData = @tmp;
     }      }
     #      #
     # Write out sequence scores and totals data      # Write out sequence scores and totals data
     my %total_cell_translation;      my %total_cell_translation;
     foreach my $seq (&Apache::lonstatistics::Sequences_with_Assess()) {      my %maximum_cell_translation;
         $cols_output = $seq->{'Excel:startcol'};      foreach my $seq (@sequences) {
           my $symb = $seq->symb;
           $cols_output = $formula_data{$symb}->{'Excel:startcol'};
         # Keep track of cells to translate in total cell          # Keep track of cells to translate in total cell
         $total_cell_translation{$seq->{'Excel:scorecell'}} =           $total_cell_translation{$formula_data{$symb}->{'Excel:scorecell'}} = 
             &Spreadsheet::WriteExcel::Utility::xl_rowcol_to_cell              &Spreadsheet::WriteExcel::Utility::xl_rowcol_to_cell
                         ($rows_output,$seq->{'Excel:scorecol'});                          ($rows_output,$formula_data{$symb}->{'Excel:scorecol'});
           # and maximum cell
           $maximum_cell_translation{$formula_data{$symb}->{'Excel:maxcell'}} = 
               &Spreadsheet::WriteExcel::Utility::xl_rowcol_to_cell
               ($rows_output,$formula_data{$symb}->{'Excel:maxcol'});
         #          #
         my ($performance,$performance_length,$score,$seq_max,$rawdata);          my ($performance,$performance_length,$score,$seq_max,$rawdata);
         if ($chosen_output->{'tries'} || $chosen_output->{'correct'}){          if ($chosen_output->{'tries'} || $chosen_output->{'correct'}){
             ($performance,$performance_length,$score,$seq_max,$rawdata) =              ($performance,$performance_length,$score,$seq_max,$rawdata) =
                 &StudentTriesOnSequence($student,\%StudentsData,                  &student_tries_on_sequence($student,\%StudentsData,
                                         $seq,'no');                                             $navmap,$seq,'no');
         } else {          } else {
             ($performance,$performance_length,$score,$seq_max,$rawdata) =              ($performance,$performance_length,$score,$seq_max,$rawdata) =
                 &StudentPerformanceOnSequence($student,\%StudentsData,                  &student_performance_on_sequence($student,\%StudentsData,
                                               $seq,'no');                                                   $navmap,$seq,'no',
                                                    $chosen_output->{ignore_weight});
         }           } 
         if ($chosen_output->{'every_problem'}) {          if ($chosen_output->{'every_problem'}) {
             if ($chosen_output->{'correct'}) {              if ($chosen_output->{'correct'}) {
                 # only indiciate if each item is correct or not                  # only indiciate if each item is correct or not
                 foreach my $value (@$rawdata) {                  foreach my $value (@$rawdata) {
                     # nonzero means correct                      # positive means correct, 0 or negative means
                     $value = 1 if ($value > 0);                      # incorrect
                       $value = $value > 0 ? 1 : 0;
                     $excel_sheet->write($rows_output,$cols_output++,$value);                      $excel_sheet->write($rows_output,$cols_output++,$value);
                 }                  }
             } else {              } else {
                 foreach my $value (@$rawdata) {                  foreach my $value (@$rawdata) {
                     $excel_sheet->write($rows_output,$cols_output++,$value);                      if ($score eq ' ' || !defined($value)) {
                           $cols_output++;
                       } else {                        
                           $excel_sheet->write($rows_output,$cols_output++,
                                               $value);
                       }
                 }                  }
             }              }
         }          }
         if ($chosen_output->{'sequence_sum'} &&           if ($chosen_output->{'sequence_sum'} && 
             $chosen_output->{'every_problem'}) {              $chosen_output->{'every_problem'}) {
             # Write a formula for the sum of this sequence              # Write a formula for the sum of this sequence
             my %replaceCells;              my %replaceCells=
             $replaceCells{$seq->{'Excel:startcell'}} =    ('^'.$formula_data{$symb}->{'Excel:startcell'}.':'.$formula_data{$symb}->{'Excel:endcell'}.'$'
                 &Spreadsheet::WriteExcel::Utility::xl_rowcol_to_cell   => 
                             ($rows_output,$seq->{'Excel:startcol'});   &Spreadsheet::WriteExcel::Utility::xl_rowcol_to_cell($rows_output,$formula_data{$symb}->{'Excel:startcol'}).':'.
             $replaceCells{$seq->{'Excel:endcell'}} =    &Spreadsheet::WriteExcel::Utility::xl_rowcol_to_cell($rows_output,$formula_data{$symb}->{'Excel:endcol'})
                 &Spreadsheet::WriteExcel::Utility::xl_rowcol_to_cell   );
                             ($rows_output,$seq->{'Excel:endcol'});              # The undef is for the format    
             # The undef is for the format      $excel_sheet->repeat_formula($rows_output,$cols_output++,
             if (scalar(keys(%replaceCells)) == 1) {   $formula_data{$symb}->{'Excel:sum'},undef,
                 $excel_sheet->repeat_formula($rows_output,$cols_output++,   %replaceCells, %replaceCells);
                                              $seq->{'Excel:sum'},undef,          } elsif ($chosen_output->{'sequence_sum'}) {
                                              %replaceCells,%replaceCells);              if ($score eq ' ') {
                   $cols_output++;
             } else {              } else {
                 $excel_sheet->repeat_formula($rows_output,$cols_output++,                  $excel_sheet->write($rows_output,$cols_output++,$score);
                                              $seq->{'Excel:sum'},undef,  
                                              %replaceCells);  
             }              }
         } elsif ($chosen_output->{'sequence_sum'}) {  
             $excel_sheet->write($rows_output,$cols_output++,$score);  
         }          }
         if ($chosen_output->{'sequence_max'}) {          if ($chosen_output->{'sequence_max'}) {
             $excel_sheet->write($rows_output,$cols_output++,$seq_max);              $excel_sheet->write($rows_output,$cols_output++,$seq_max);
Line 1245  sub excel_outputstudent { Line 1560  sub excel_outputstudent {
                                      $total_formula,undef,                                       $total_formula,undef,
                                      %total_cell_translation);                                       %total_cell_translation);
     }      }
       if ($chosen_output->{'grand_maximum'}) {
           $excel_sheet->repeat_formula($rows_output,$cols_output++,
                                        $maximum_formula,undef,
                                        %maximum_cell_translation);
       }
     #      #
     # Bookkeeping      # Bookkeeping
     $rows_output++;       $rows_output++; 
Line 1257  sub excel_outputstudent { Line 1577  sub excel_outputstudent {
   
 sub excel_finish {  sub excel_finish {
     my ($r) = @_;      my ($r) = @_;
     return if ($request_aborted);      if ($request_aborted || ! defined($navmap) || ! defined($excel_sheet)) {
     return if (! defined($excel_sheet));   &excel_cleanup();
           return;
       }
     #      #
     # Write the excel file      # Write the excel file
     $excel_workbook->close();      $excel_workbook->close();
     my $c = $r->connection();  
     #  
     return if($c->aborted());  
     #      #
     # Close the progress window      # Close the progress window
     &Apache::lonhtmlcommon::Close_PrgWin($r,\%prog_state);      &Apache::lonhtmlcommon::Close_PrgWin($r,\%prog_state);
     #      #
     # Tell the user where to get their excel file      # Tell the user where to get their excel file
     $r->print('<br />'.      $r->print('<br />'.
               '<a href="'.$filename.'">Your Excel spreadsheet.</a>'."\n");                '<a href="'.$filename.'">'.&mt('Your Excel spreadsheet').'</a>'."\n");
     $r->rflush();      $r->rflush();
       &excel_cleanup();
     return;      return;
 }  }
   
Line 1300  my $outputfile; Line 1620  my $outputfile;
 my $filename;  my $filename;
 my $request_aborted;  my $request_aborted;
 my %prog_state; # progress window state  my %prog_state; # progress window state
   my $navmap;
   my @sequences;
   
 sub csv_initialize{  sub csv_cleanup {
     my ($r) = @_;  
     #   
     # Clean up  
     undef($outputfile);      undef($outputfile);
     undef($filename);      undef($filename);
     undef($request_aborted);      undef($request_aborted);
     undef(%prog_state);      undef(%prog_state);
     #      #
       undef($navmap);
       undef(@sequences);
   }
   
   sub csv_initialize{
       my ($r) = @_;
   
       &csv_cleanup();
       ($navmap,@sequences) = 
           &Apache::lonstatistics::selected_sequences_with_assessments();
       if (! ref($navmap)) {
           # Unable to get data, so bail out
           $r->print("<h3>".
                     &mt('Unable to retrieve course information.').
                     '</h3>');
       }
       #
     # Deal with unimplemented requests      # Deal with unimplemented requests
     $request_aborted = undef;      $request_aborted = undef;
     if ($chosen_output->{'base'} =~ /final table/) {      if ($chosen_output->{'base'} =~ /final table/) {
Line 1327  END Line 1663  END
     my $studentcount = scalar(@Apache::lonstatistics::Students);      my $studentcount = scalar(@Apache::lonstatistics::Students);
     %prog_state=&Apache::lonhtmlcommon::Create_PrgWin      %prog_state=&Apache::lonhtmlcommon::Create_PrgWin
         ($r,'CSV File Compilation Status',          ($r,'CSV File Compilation Status',
          'CSV File Compilation Progress', $studentcount);           'CSV File Compilation Progress', $studentcount,
            'inline',undef,'Statistics','stats_status');
     #      #
     # Open a file      # Open a file
     $filename = '/prtspool/'.      ($outputfile,$filename) = &Apache::loncommon::create_text_file($r,'csv');
         $ENV{'user.name'}.'_'.$ENV{'user.domain'}.'_'.      if (! defined($outputfile)) { return ''; }
             time.'_'.rand(1000000000).'.csv';  
     unless ($outputfile = Apache::File->new('>/home/httpd'.$filename)) {  
         $r->log_error("Couldn't open $filename for output $!");  
         $r->print("Problems occured in writing the csv file.  ".  
                   "This error has been logged.  ".  
                   "Please alert your LON-CAPA administrator.");  
         $outputfile = undef;  
     }  
     #      #
     # Datestamp      # Datestamp
     my $description = $ENV{'course.'.$ENV{'request.course.id'}.'.description'};      my $description = $env{'course.'.$env{'request.course.id'}.'.description'};
     print $outputfile '"'.&Apache::loncommon::csv_translate($description).'",'.      print $outputfile '"'.&Apache::loncommon::csv_translate($description).'",'.
         '"'.&Apache::loncommon::csv_translate(scalar(localtime(time))).'"'.          '"'.&Apache::loncommon::csv_translate(scalar(localtime(time))).'"'.
             "\n";              "\n";
       print $outputfile '"'.
           &Apache::loncommon::csv_translate
           (&Apache::lonstatistics::section_and_enrollment_description()).
           '"'."\n";
       foreach my $item ('shortdesc','non_html_notes') {
           next if (! exists($chosen_output->{$item}));
           print $outputfile 
               '"'.&Apache::loncommon::csv_translate($chosen_output->{$item}).'"'.
               "\n";
       }
     #      #
     # Print out the headings      # Print out the headings
     my $sequence_row = '';      my $sequence_row = '';
Line 1354  END Line 1693  END
         $sequence_row .='"",';          $sequence_row .='"",';
         $resource_row .= '"'.&Apache::loncommon::csv_translate($field).'",';          $resource_row .= '"'.&Apache::loncommon::csv_translate($field).'",';
     }      }
     foreach my $seq (&Apache::lonstatistics::Sequences_with_Assess()) {      foreach my $seq (@sequences) {
         $sequence_row .= '"'.          $sequence_row .= '"'.
             &Apache::loncommon::csv_translate($seq->{'title'}).'",';              &Apache::loncommon::csv_translate($seq->compTitle).'",';
         my $count = 0;          my $count = 0;
         if ($chosen_output->{'every_problem'}) {          if ($chosen_output->{'every_problem'}) {
             foreach my $res (@{$seq->{'contents'}}) {              foreach my $res (&get_resources($navmap,$seq)) {
                 if ($res->{'type'} ne 'assessment'  ||                   if (scalar(@{$res->parts}) < 1) {
                     ! exists($res->{'parts'})       ||  
                     ref($res->{'parts'}) ne 'ARRAY' ||  
                     scalar(@{$res->{'parts'}}) < 1) {  
                     next;                      next;
                 }                  }
                 foreach my $part (@{$res->{'parts'}}) {                  foreach my $part (@{$res->parts}) {
                     $resource_row .= '"'.                      $resource_row .= '"'.
                         &Apache::loncommon::csv_translate($res->{'title'}.                          &Apache::loncommon::csv_translate
                                                           ', Part '.$part                          ($res->compTitle.', Part '.$res->part_display($part)).'",';
                                                           ).'",';  
                     $count++;                      $count++;
                 }                  }
             }              }
Line 1392  END Line 1727  END
         $sequence_row.= '"",';          $sequence_row.= '"",';
         $resource_row.= '"Total",';          $resource_row.= '"Total",';
     }       } 
       if ($chosen_output->{'grand_maximum'}) {
           $sequence_row.= '"",';
           $resource_row.= '"Maximum",';
       } 
     chomp($sequence_row);      chomp($sequence_row);
     chomp($resource_row);      chomp($resource_row);
     print $outputfile $sequence_row."\n";      print $outputfile $sequence_row."\n";
Line 1401  END Line 1740  END
   
 sub csv_outputstudent {  sub csv_outputstudent {
     my ($r,$student) = @_;      my ($r,$student) = @_;
     return if ($request_aborted);      if ($request_aborted || ! defined($navmap) || ! defined($outputfile)) {
     return if (! defined($outputfile));          return;
       }
     my $Str = '';      my $Str = '';
     #      #
     # Output student fields      # Output student fields
     my @to_show = &get_student_fields_to_show();      my @to_show = &get_student_fields_to_show();
     foreach my $field (@to_show) {      foreach my $field (@to_show) {
         $Str .= '"'.&Apache::loncommon::csv_translate($student->{$field}).'",';          my $value = $student->{$field};
           if ($field eq 'comments') {
               $value = &Apache::lonmsgdisplay::retrieve_instructor_comments
                   ($student->{'username'},$student->{'domain'});
           }        
           $Str .= '"'.&Apache::loncommon::csv_translate($value).'",';
     }      }
     #      #
     # Get student assessment data      # Get student assessment data
Line 1416  sub csv_outputstudent { Line 1761  sub csv_outputstudent {
     my @tmp = &Apache::loncoursedata::get_current_state($student->{'username'},      my @tmp = &Apache::loncoursedata::get_current_state($student->{'username'},
                                                         $student->{'domain'},                                                          $student->{'domain'},
                                                         undef,                                                          undef,
                                                    $ENV{'request.course.id'});                                                     $env{'request.course.id'});
     if ((scalar @tmp > 0) && ($tmp[0] !~ /^error:/)) {      if ((scalar @tmp > 0) && ($tmp[0] !~ /^error:/)) {
         %StudentsData = @tmp;          %StudentsData = @tmp;
     }      }
     #      #
     # Output performance data      # Output performance data
     my $total = 0;      my $total = 0;
     foreach my $seq (&Apache::lonstatistics::Sequences_with_Assess()) {      my $maximum = 0;
       foreach my $seq (@sequences) {
         my ($performance,$performance_length,$score,$seq_max,$rawdata);          my ($performance,$performance_length,$score,$seq_max,$rawdata);
         if ($chosen_output->{'tries'}){          if ($chosen_output->{'tries'}){
             ($performance,$performance_length,$score,$seq_max,$rawdata) =              ($performance,$performance_length,$score,$seq_max,$rawdata) =
                 &StudentTriesOnSequence($student,\%StudentsData,                  &student_tries_on_sequence($student,\%StudentsData,
                                         $seq,'no');                                             $navmap,$seq,'no');
         } else {          } else {
             ($performance,$performance_length,$score,$seq_max,$rawdata) =              ($performance,$performance_length,$score,$seq_max,$rawdata) =
                 &StudentPerformanceOnSequence($student,\%StudentsData,                  &student_performance_on_sequence($student,\%StudentsData,
                                               $seq,'no');                                                   $navmap,$seq,'no',
                                                    $chosen_output->{ignore_weight});
         }          }
         if ($chosen_output->{'every_problem'}) {          if ($chosen_output->{'every_problem'}) {
             if ($chosen_output->{'correct'}) {              if ($chosen_output->{'correct'}) {
Line 1456  sub csv_outputstudent { Line 1803  sub csv_outputstudent {
             $Str .= '"'.$seq_max.'",';              $Str .= '"'.$seq_max.'",';
         }          }
         $total+=$score;          $total+=$score;
           $maximum += $seq_max;
     }      }
     if ($chosen_output->{'grand_total'}) {      if ($chosen_output->{'grand_total'}) {
         $Str .= '"'.$total.'",';          $Str .= '"'.$total.'",';
     }      }
       if ($chosen_output->{'grand_maximum'}) {
           $Str .= '"'.$maximum.'",';
       }
     chop($Str);      chop($Str);
     $Str .= "\n";      $Str .= "\n";
     print $outputfile $Str;      print $outputfile $Str;
Line 1471  sub csv_outputstudent { Line 1822  sub csv_outputstudent {
   
 sub csv_finish {  sub csv_finish {
     my ($r) = @_;      my ($r) = @_;
     return if ($request_aborted);      if ($request_aborted || ! defined($navmap) || ! defined($outputfile)) {
     return if (! defined($outputfile));   &csv_cleanup();
           return;
       }
     close($outputfile);      close($outputfile);
     #      #
     my $c = $r->connection();  
     return if ($c->aborted());  
     #  
     # Close the progress window      # Close the progress window
     &Apache::lonhtmlcommon::Close_PrgWin($r,\%prog_state);      &Apache::lonhtmlcommon::Close_PrgWin($r,\%prog_state);
     #      #
     # Tell the user where to get their csv file      # Tell the user where to get their csv file
     $r->print('<br />'.      $r->print('<br />'.
               '<a href="'.$filename.'">Your csv file.</a>'."\n");                '<a href="'.$filename.'">'.&mt('Your CSV file.').'</a>'."\n");
     $r->rflush();      $r->rflush();
       &csv_cleanup();
     return;      return;
           
 }  }
   
 }  }
   
   # This function will return an HTML string including a star, with
   # a mouseover popup showing the "real" value. An optional second
   # argument lets you show something other than a star.
   sub show_star {
       my $popup = shift;
       my $symbol = shift || '*';
       # Escape the popup for JS.
       $popup =~ s/([^-a-zA-Z0-9:;,._ ()|!\/?=&*])/'\\' . sprintf("%lo", ord($1))/ge;
       
       return "<span class=\"LC_chrt_popup_exists\" onmouseover='popup_score(this, \"$popup\");return false;' onmouseout='popdown_score();return false;'>$symbol</span>";
   }
   
 #######################################################  #######################################################
 #######################################################  #######################################################
   
Line 1516  Inputs: Line 1879  Inputs:
   
 #######################################################  #######################################################
 #######################################################  #######################################################
 sub StudentTriesOnSequence {  sub student_tries_on_sequence {
     my ($student,$studentdata,$seq,$links) = @_;      my ($student,$studentdata,$navmap,$seq,$links) = @_;
     $links = 'no' if (! defined($links));      $links = 'no' if (! defined($links));
     my $Str = '';      my $Str = '';
     my ($sum,$max) = (0,0);      my ($sum,$max) = (0,0);
     my $performance_length = 0;      my $performance_length = 0;
     my @TriesData = ();      my @TriesData = ();
     my $tries;      my $tries;
     foreach my $resource (@{$seq->{'contents'}}) {      my $hasdata = 0; # flag - true if the student has any data on the sequence
         next if ($resource->{'type'} ne 'assessment');      foreach my $resource (&get_resources($navmap,$seq)) {
         my $resource_data = $studentdata->{$resource->{'symb'}};          my $resource_data = $studentdata->{$resource->symb};
         my $value = '';          my $value = '';
         foreach my $partnum (@{$resource->{'parts'}}) {          foreach my $partnum (@{$resource->parts()}) {
             $tries = undef;              $tries = undef;
             $max++;              $max++;
             $performance_length++;              $performance_length++;
Line 1548  sub StudentTriesOnSequence { Line 1911  sub StudentTriesOnSequence {
             my $tries = 0;              my $tries = 0;
             if(exists($resource_data->{'resource.'.$partnum.'.tries'})) {              if(exists($resource_data->{'resource.'.$partnum.'.tries'})) {
                 $tries = $resource_data->{'resource.'.$partnum.'.tries'};                  $tries = $resource_data->{'resource.'.$partnum.'.tries'};
                   $hasdata =1;
             }              }
             #              #
             if ($awarded > 0) {              if ($awarded > 0) {
Line 1555  sub StudentTriesOnSequence { Line 1919  sub StudentTriesOnSequence {
                 if ($status eq 'excused') {                  if ($status eq 'excused') {
                     $symbol = 'x';                      $symbol = 'x';
                     $max--;                      $max--;
                 } elsif ($status eq 'correct_by_override') {                  } elsif ($status eq 'correct_by_override' && !$resource->is_task()) {
                     $symbol = '+';                      $symbol = '+';
                     $sum++;                      $sum++;
                 } elsif ($tries > 0) {                  } elsif ($tries > 0) {
                     if ($tries > 9) {                      if ($tries > 9) {
                         $symbol = '*';                          $symbol = show_star($tries);
                     } else {                      } else {
                         $symbol = $tries;                          $symbol = $tries;
                     }                      }
Line 1577  sub StudentTriesOnSequence { Line 1941  sub StudentTriesOnSequence {
                 } elsif ($status eq 'incorrect_by_override') {                  } elsif ($status eq 'incorrect_by_override') {
                     $symbol = '-';                      $symbol = '-';
                 } elsif ($status eq 'ungraded_attempted') {                  } elsif ($status eq 'ungraded_attempted') {
                     $symbol = '#';                      $symbol = 'u';
                 } elsif ($status eq 'incorrect_attempted' ||                  } elsif ($status eq 'incorrect_attempted' ||
                          $tries > 0)  {                           $tries > 0)  {
                     $symbol = '.';                      $symbol = '.';
Line 1588  sub StudentTriesOnSequence { Line 1952  sub StudentTriesOnSequence {
             }              }
             #              #
             if (! defined($tries)) {              if (! defined($tries)) {
                 $tries = $symbol;                  $tries = 0;
               }
               if ($status =~ /^(incorrect|ungraded)/) {
                   # Bug 3390: show '-' for tries on incorrect problems 
                   # (csv & excel only)
                   push(@TriesData,-$tries);
               } else {
                   push (@TriesData,$tries);
             }              }
             push (@TriesData,$tries);  
             #              #
             if ( ($links eq 'yes' && $symbol ne ' ') ||              if ( ($links eq 'yes' && $symbol ne ' ') ||
                  ($links eq 'all')) {                   ($links eq 'all')) {
                 if (length($symbol) > 1) {                  my $link = '/adm/grades'.
                     &Apache::lonnet::logthis('length of symbol "'.$symbol.'" > 1');                      '?symb='.&escape($resource->shown_symb).
                 }  
                 $symbol = '<a href="/adm/grades'.  
                     '?symb='.&Apache::lonnet::escape($resource->{'symb'}).  
                         '&student='.$student->{'username'}.                          '&student='.$student->{'username'}.
                             '&userdom='.$student->{'domain'}.                              '&userdom='.$student->{'domain'}.
                                 '&command=submission">'.$symbol.'</a>';                                  '&command=submission';
                   $symbol = &link($symbol, $link);
             }              }
             $value .= $symbol;              $value .= $symbol;
         }          }
         $Str .= $value;          $Str .= $value;
     }      }
     if ($seq->{'randompick'}) {      if ($seq->randompick()) {
         $max = $seq->{'randompick'};          $max = $seq->randompick();
       }
       if (! $hasdata && $sum == 0) {
           $sum = ' ';
     }      }
     return ($Str,$performance_length,$sum,$max,\@TriesData);      return ($Str,$performance_length,$sum,$max,\@TriesData);
 }  }
   
   =pod
   
   =item &link
   
   Inputs:
   
   =over 4
   
   =item $text
   
   =item $target
   
   =back
   
   Takes the text and creates a link to the $text that honors
   the value of 'new window' if clicked on, but uses a real 
   'href' so middle and right clicks still work.
   
   $target and $text are assumed to be already correctly escaped; i.e., it
   can be dumped out directly into the output stream as-is.
   
   =cut
   
   sub link {
       my ($text,$target) = @_;
       return 
           "<a href='$target' onclick=\"t=this.href;if(new_window)"
           ."{window.open(t)}else{return void(window."
           ."location=t)};return false;\">$text</a>";
   }
   
 #######################################################  #######################################################
 #######################################################  #######################################################
   
 =pod  =pod
   
 =item &StudentPerformanceOnSequence()  =item &student_performance_on_sequence
   
 Inputs:  Inputs:
   
Line 1638  Inputs: Line 2040  Inputs:
   
 #######################################################  #######################################################
 #######################################################  #######################################################
 sub StudentPerformanceOnSequence {  sub student_performance_on_sequence {
     my ($student,$studentdata,$seq,$links) = @_;      my ($student,$studentdata,$navmap,$seq,$links,$awarded_only) = @_;
     $links = 'no' if (! defined($links));      $links = 'no' if (! defined($links));
     my $Str = ''; # final result string      my $Str = ''; # final result string
     my ($score,$max) = (0,0);      my ($score,$max) = (0,0);
Line 1647  sub StudentPerformanceOnSequence { Line 2049  sub StudentPerformanceOnSequence {
     my $symbol;      my $symbol;
     my @ScoreData = ();      my @ScoreData = ();
     my $partscore;      my $partscore;
     foreach my $resource (@{$seq->{'contents'}}) {      my $hasdata = 0; # flag, 0 if there were no submissions on the sequence
         next if ($resource->{'type'} ne 'assessment');      foreach my $resource (&get_resources($navmap,$seq)) {
         my $resource_data = $studentdata->{$resource->{'symb'}};          my $symb = $resource->symb;
         foreach my $part (@{$resource->{'parts'}}) {          my $resource_data = $studentdata->{$symb};
           foreach my $part (@{$resource->parts()}) {
             $partscore = undef;              $partscore = undef;
             my $weight = &Apache::lonnet::EXT('resource.'.$part.'.weight',              my $weight;
                                               $resource->{'symb'},              if (!$awarded_only){
                                               $student->{'domain'},                  $weight = &Apache::lonnet::EXT('resource.'.$part.'.weight',
                                               $student->{'username'},                                                 $symb,
                                               $student->{'section'});                                                 $student->{'domain'},
                                                  $student->{'username'},
                                                  $student->{'section'});
               }
             if (!defined($weight) || ($weight eq '')) {               if (!defined($weight) || ($weight eq '')) { 
                 $weight=1;                  $weight=1;
             }              }
Line 1665  sub StudentPerformanceOnSequence { Line 2071  sub StudentPerformanceOnSequence {
             $performance_length++; # one character per part              $performance_length++; # one character per part
             $symbol = ' '; # default to space              $symbol = ' '; # default to space
             #              #
             my $awarded = 0;              my $awarded;
             if (exists($resource_data->{'resource.'.$part.'.awarded'})) {              if (exists($resource_data->{'resource.'.$part.'.awarded'})) {
                 $awarded = $resource_data->{'resource.'.$part.'.awarded'};                  $awarded = $resource_data->{'resource.'.$part.'.awarded'};
                 $awarded = 0 if (! $awarded);                  $awarded = 0 if (! $awarded);
                   $hasdata = 1;
             }              }
             #              #
             $partscore = $weight*$awarded;              $partscore = &Apache::grades::compute_points($weight,$awarded);
               if (! defined($awarded)) {
                   $partscore = undef;
               }
             $score += $partscore;              $score += $partscore;
             $symbol = $partscore;               $symbol = $partscore; 
             if (abs($symbol - sprintf("%.0f",$symbol)) < 0.001) {              if (abs($symbol - sprintf("%.0f",$symbol)) < 0.001) {
                 $symbol = sprintf("%.0f",$symbol);                  $symbol = sprintf("%.0f",$symbol);
             }              }
             if (length($symbol) > 1) {              if (length($symbol) > 1) {
                 $symbol = '*';                  $symbol = show_star($symbol);
             }              }
             if (exists($resource_data->{'resource.'.$part.'.solved'})) {              if (exists($resource_data->{'resource.'.$part.'.solved'}) &&
                   $resource_data->{'resource.'.$part.'.solved'} ne '') {
                 my $status = $resource_data->{'resource.'.$part.'.solved'};                  my $status = $resource_data->{'resource.'.$part.'.solved'};
                 if ($status eq 'excused') {                  if ($status eq 'excused') {
                     $symbol = 'x';                      $symbol = 'x';
                     $max -= $weight; # Do not count 'excused' problems.                      $max -= $weight; # Do not count 'excused' problems.
                   } elsif ($status eq 'ungraded_attempted') {
                       $symbol = 'u';
                 }                  }
             } else {                  $hasdata = 1;
               } elsif ($resource_data->{'resource.'.$part.'.award'} eq 'DRAFT') {
                   $symbol = 'd';
                   $hasdata = 1;
               } elsif (!exists($resource_data->{'resource.'.$part.'.awarded'})){
                 # Unsolved.  Did they try?                  # Unsolved.  Did they try?
                 if (exists($resource_data->{'resource.'.$part.'.tries'})){                  if (exists($resource_data->{'resource.'.$part.'.tries'})){
                     $symbol = '.';                      $symbol = '.';
                       $hasdata = 1;
                 } else {                  } else {
                     $symbol = ' ';                      $symbol = ' ';
                 }                  }
Line 1701  sub StudentPerformanceOnSequence { Line 2119  sub StudentPerformanceOnSequence {
             push (@ScoreData,$partscore);              push (@ScoreData,$partscore);
             #              #
             if ( ($links eq 'yes' && $symbol ne ' ') || ($links eq 'all')) {              if ( ($links eq 'yes' && $symbol ne ' ') || ($links eq 'all')) {
                 $symbol = '<a href="/adm/grades'.                  my $link = '/adm/grades' .
                     '?symb='.&Apache::lonnet::escape($resource->{'symb'}).                      '?symb='.&escape($resource->shown_symb).
                     '&student='.$student->{'username'}.                      '&student='.$student->{'username'}.
                     '&userdom='.$student->{'domain'}.                      '&userdom='.$student->{'domain'}.
                     '&command=submission">'.$symbol.'</a>';                      '&command=submission';
                   $symbol = &link($symbol, $link);
             }              }
             $Str .= $symbol;              $Str .= $symbol;
         }          }
     }      }
       if (! $hasdata && $score == 0) {
           $score = ' ';
       }
     return ($Str,$performance_length,$score,$max,\@ScoreData);      return ($Str,$performance_length,$score,$max,\@ScoreData);
 }  }
   
Line 1730  problems. Line 2152  problems.
 #######################################################  #######################################################
 sub CreateLegend {  sub CreateLegend {
     my $Str = "<p><pre>".      my $Str = "<p><pre>".
               "   1  correct by student in 1 try\n".                " digit score or number of tries to get correct ".
               "   7  correct by student in 7 tries\n".  
               "   *  correct by student in more than 9 tries\n".                "   *  correct by student in more than 9 tries\n".
       "   +  correct by hand grading or override\n".        "   +  correct by hand grading or override\n".
               "   -  incorrect by override\n".                "   -  incorrect by override\n".
       "   .  incorrect attempted\n".        "   .  incorrect attempted\n".
       "   #  ungraded attempted\n".        "   u  ungraded attempted\n".
                 "   d  draft answer saved but not submitted\n".
               "      not attempted (blank field)\n".                "      not attempted (blank field)\n".
       "   x  excused".        "   x  excused".
               "</pre><p>";                "</pre><p>";

Removed from v.1.88  
changed lines
  Added in v.1.155


FreeBSD-CVSweb <freebsd-cvsweb@FreeBSD.org>