Автоматизированная система распределения мест и оценок качества олимпиадных заданий

вывод о том, что, скорее всего, комплект заданий, предложенный этим

участникам, сбалансированным не будет. Верно ли это предположение или нет,

можно узнать лишь в результатах оценки качества этих заданий.

Оценка уровня качества заданий.

После того, как распределение участников по местам закончено, можно

попытаться оценить качество заданий. Окно оценки качества приведено ниже на

рис. 3:

[pic]

Рис. 3. Оценка качества заданий.

Диаграмма «Сбалансированность комплекта» показывает нам, что наше

предположение оказалось верным. Данный комплект не является

сбалансированным. Однако два других параметра указывают на достаточно

хорошие показатели. Видно, что составителям удалось реализовать большую

сложность 2 блока по сравнению с 1, а также большую сложность 3 блока по

сравнению с 1, на 100%. Большая же сложность 3 блока по сравнению со 2

реализована лишь на 68,75%, что тоже считается хорошим результатом.

Коэффициент мест для данного коллектива равен 0,71875. Это тоже достаточно

хороший результат.

Описание в целом.

В целом об олимпиаде можно сказать следующее: составителям удалось

реализовать основные требования к проведению такого мероприятия как

олимпиада, однако участники оказались достаточно слабыми для такого класса

заданий, которые предлагались им для решения.

§2. Результаты, полученные на основе педагогической практики.

Кроме БД, которая описана выше в §1, в комплекте поставляется еще

одна локальная БД (содержится в файле DBOLYMP5.DB). Она сформирована мной

на педагогической практике и включает результаты учащихся моего класса по

нескольким работам. Для демонстрации мультифункциональности системы решено

было использовать данную БД для демонстрации. При проверке использовалась

следующая конфигурация системы: количество блоков задач – 3, использовался

смешанный метод сортировки, максимальный балл за задания – 5.

Распределение по местам.

Окно распределения мест для данного набора данных представлено ниже

на рис. 1. Из этого рисунка видно, что лидером по успеваемости по физике в

11Б классе является Нечаева Е., которая набрала самый большой суммарный

балл. Этот вывод подтверждается классным журналом. Распределения по четырем

параметрам представлены на рис. 2. Из вида этих распределений можно сделать

вывод о том, что предложенный мною комплект задач не является

сбалансированным.

[pic]

Рис. 1. Распределение мест для этой БД.

Более того, если обратить внимание на распределение по суммарному

баллу, то видно, что «колокол» имеет максимум не в зоне

среднестатистических результатов (так должно быть в идеале), а в зоне,

приближенной к максимально возможному баллу.

[pic]

Рис. 2. Распределения по четырем параметрам.

Это говорит о том, что задания, предложенные на самостоятельных работах,

оказались очень простыми для учащихся и, поэтому, большая их часть набрала

высокий балл. Вид других распределений только подтверждает это

обстоятельство.

Оценка уровня качества.

В результате оценки качества для этой БД были получены следующие

результаты. Диаграмма сбалансированности комплекта представлена на рис. 3.

Она подтверждает наше предположение о несбалансированности комплекта.

Точки, каждая из которых характеризует отдельный блок, находятся

практически «друг на друге». Для сбалансированности комплекта это

неприемлемо.

[pic]

Рис. 3. Диаграмма сбалансированности комплекта.

Следующая диаграмма, необходимая для оценки качества, это диаграмма

надежности реализации сложности. Она представлена на рис. 4. При помощи

данной диаграммы получены следующие численные результаты. Надежность

реализации неравенств:

o x1?x2 – 50%;

o x2?x3 – 64,29%;

o x1?x3 – 64,29%.

Эти значения говорят о том, что в целом удалось реализовать разную

сложность для разных задач. Однако сами по себе эти показатели имеют

достаточно маленькие значения.

[pic]

Рис. 4. Диаграмма надежности реализации сложности.

И последний параметр, это коэффициент мест. Для данной БД его значение

составляет 0,93. Это говорит о том, что 93% всех участников занимают одно

заслуженное место, и только 7% делят свое место с другими. Такой результат

считается достаточно высоким.

Описание в целом.

Все параметры, описанные выше, позволяют сделать несколько

выводов касательно данной БД. Во-первых, параметры качества заданий говорят

о достаточно высоком классе подбора заданий, однако этот подбор не явился в

результате сбалансированным, а это большой минус. Во-вторых, необходимо

подбирать (для этого коллектива) задачи с большим уровнем сложности. Это

может помочь в выявлении скрытых талантов учеников.

§3. Результаты, полученные на основе ведомостей студентов.

Самым интересным из проделанной работы явились результаты, полученные

на основе зимней сессии студентов физико-математического факультета нашего

университета. В качестве тестируемых были взяты результаты экзаменов трех

групп по трем предметам. Естественно, для чистоты эксперимента было

необходимо полное различие в фактической сложности предметов. Поэтому, были

выбраны три следующих: возрастная психология, общая физика и математический

анализ. Причем последние два предмета были взяты у двух групп отделения

«Физика». Сдавались эти экзамены в зимнюю сессию одним и тем же

преподавателям.

Не секрет, что в студенческих кругах психология считается легким

экзаменом, общая физика – средним, а математический анализ – сложным.

Однако такое деление предметов во многом зависит от преподавателя.

Например, если преподаватель принимает экзамен по математическому анализу

очень мягко, то, очевидно, такой экзамен автоматически становится простым,

а если экзамен принимается очень жестко, то он становится сложным.

Кроме этого сложность предмета зависит еще и от его фактической сути.

Например, тот же математический анализ является точной наукой, а это

накладывает определенный отпечаток на его сложность. Психология же во

многом является очевидным предметом (это многим только кажется). Эти факты

склоняют его сложность в более простую сторону. Физика же есть эмпирическая

наука. Это значит, что практически все ее законы можно проверить на опыте.

Это обстоятельство вызывает определенный интерес у студентов, а это

способствует лучшему пониманию предмета.

Из этих соображений вытекает суть той идеи, которую мы используем для

описания конкретно этих результатов. А идея проста: если есть набор оценок

по каким-либо предметам, то, построив распределение по этим оценкам, можно

оценить жесткость экзаменаторов по конкретным дисциплинам.

Первая БД (содержится в файле DBOLYMP2.DB) представляет собой протокол

экзамена по математическому анализу у групп 15 и 16 ФМФ. В результате

обработки данного протокола было получено следующее распределение по

суммарному баллу:

[pic]

Рис. 1. Распределение по суммарному баллу для DBOLYMP2.

Очевидно, что максимально возможный балл за экзамен равен 5, а минимально

возможный балл условно принимаем равным 2. Из вида диаграммы можно сделать

вывод о том, что самое оценка, которую получила большая часть студентов,

это 2. А оценка, которую получила меньшая часть студентов, это 5. На

симметричный относительно среднестатистического балла «колокол» полученное

распределение явно не похоже. Причина этого может быть объяснена при помощи

нескольких вариантов. Первый вариант заключается в чрезвычайной жесткости

экзаменатора, то есть, либо он спрашивает со студентов то, чего не

рассказывал на лекциях, либо просто спрашивает очень жестко. Второй

вариант говорит о том, что сами студенты пришли на экзамен абсолютно не

готовыми.

Вторая БД (содержится в файле DBOLYMP3.DB) представляет собой протокол

экзамена тех же групп, но по общей физике. В результате обработки этого

протокола получено следующее распределение.

[pic]

Рис. 2. Распределение по суммарному баллу для DBOLYMP3.

Аппроксимируя данное распределение, мы получаем практически идеальный

«колокол». Это говорит о сбаланированном подходе экзаменатора к приему

экзамена. То есть, при таком подходе осуществляется гуманистический подход

к личности студента, а также равномерное соединение всех трех режимов

испытания.

Третья БД (содержится в файле DBOLYMP4.DB) представляет собой протокол

экзамена по возрастной психологии у 11 группы ФМФ. В результате обработки

данного протокола получено следующее распределение. На рис. 3 мы видим

полную противоположность распределению, полученному при анализе экзамена по

математическому анализу. Здесь большая часть студентов получила 5, а совсем

малая часть получила 3.

[pic]

Рис. 3. Распределение по суммарному баллу для DBOLYMP4.

Двоек нет вообще. Такое распределение характерно для щадящего режима

испытания. То есть экзаменационные вопросы, которые предлагались студентам,

были очень простыми.

Исходя из всех протоколов, описанных выше, можно сделать один очень

важный вывод. На экзамене необходимо придерживаться такого варианта

испытания, который представлен в описании экзамена по физике. Нет смысла в

очень жестком испытании (как на математическом анализе), однако нет смысла

и в очень щадящем режиме (как на психологии). Необходимо выбрать «золотую

середину». Тогда преподаватель будет на 100% уверен в своей рациональности.

Глава 5. Заключение.

§1. Итоги исследования.

Подводя итоги проведенных исследований, можно выделить ряд моментов.

Главный из них заключается в том, что на примере интеллектуального

испытания удалось продемонстрировать саму возможность количественного

моделирования педагогического процесса, создания автоматизированной системы

и показать практическую значимость получаемых результатов. При разработке

модели была реализована достаточно последовательная схема педагогического

моделирования, в процессе которой была сформулирована замкнутая система

исходных педагогических положений; введены понятия идеализированного

испытания и идеализированного ансамбля испытуемых школьников; выбран и

изучен математический объект, адекватный оптимальным педагогическим итогам

испытаний идеализированного ансамбля; дана педагогическая интерпретация

свойств этого объекта; определены оптимальный педагогический и

математический формат интеллектуального испытания и взаимосвязь его

исходных и итоговых показателей; исходя из теоретических предпосылок,

разработана автоматизированная система, позволяющая визуализировать смысл

всей теории.

Разработка модели и системы велась по отношению к конкретным вариантам

интеллектуального испытания, в качестве которых были выбраны испытания

участников олимпиад по физике и студентов физико-математического факультета

РГПУ на различных учебных дисциплинах.

Разработанную схему отличает доказательность и обоснованность,

определяемые достоверным характером исходных педагогических положений

модели и строгостью ее математического аппарата. Этот аппарат дает

возможность вести проектирование итогов интеллектуального испытания, может

составить основу инструментария педагогической экспертизы испытания на

предмет его соответствия критериям общепедагогического характера.

Математический аппарат модели позволил построить шкалу сложности задач,

ввести понятие сбалансированного комплекта задач, обеспечивающего

оптимальное соответствие интеллектуального испытания новой шкале ценностных

приоритетов образования. Был рассмотрен вопрос о выборе показателей

приоритета, о дифференцированном и недифференцированном порядке

распределения испытуемых школьников по занимаемым местам.

Интерес представляют выявленные свойства идеализированного ансамбля

как «механического» объединения школьников, на уровне которого реализуется

наиболее простая, но в то же время и самая фундаментальная форма

взаимоотношения личности и коллектива, выражающаяся в элементарном

сложении. Подобное объединение школьников, лишенное выраженных

межличностных взаимоотношений, хорошо соотносится с ансамблем участников

олимпиады. Идеализированный ансамбль отличается заведомой аддитивностью

своих свойств. Исследование подобных систем в научном плане имеет большой

интерес. История науки дает основания надеяться, что они могут составить

простейшую базу для построения количественных шкал, необходимых для

измерения педагогических характеристик. Объединение школьников, лишенное

выраженных межличностных и групповых взаимоотношений, интересно и по

отношению к проблемам учебно-воспитательного коллектива. Оно может сыграть

роль первичной матрицы, на фоне которой влияние на коллектив межличностных

и групповых взаимоотношений должно прослеживаться наиболее рельефно.

Практическую значимость имеют разработанные в рамках модели 2-блочные

и 3-блочные макеты олимпиадных заданий, характеризуемые оптимальным

соответствием педагогической модели. Макеты были отработаны в условиях

реального эксперимента. Итоги этого эксперимента показали, что

педагогическая модель подтверждается опытом и имеет хорошие перспективы для

практического использования. Она решает большинство накопившихся на уровне

региональных олимпиад проблем, способствуя переводу этих олимпиад в режим

«талантосбережения».

Отмечая положительные моменты проведенного исследования, можно

остановиться в заключение на перспективах его практического и

теоретического использования. Полученные результаты интересны тем, что

являются, строго говоря, лишь первым шагом на пути построения

полномасштабной педагогической модели интеллектуального испытания.

Характеризуя этот шаг в теоретическом плане, можно сказать, что он был

сделан в правильном направлении, поскольку вывел нас на исходные позиции

теории вероятности, способной дать вероятностное истолкование различия

репродуктивного и продуктивного видов деятельности школьников и процесса их

соединения. Полученные данные важны тем, что делают контуры вероятностной

модели интеллектуального испытания просматриваемыми. Залогом этого является

математический аппарат модели, сформированный в процессе настоящего

исследования.

Что касается перспектив практического использования системы, то они

достаточно понятны. Разработанная система и модель интеллектуального

испытания в ее сегодняшнем виде пригодна для определения формата не только

олимпиад, но и большинства способов оценки и контроля уровня знаний

учащихся (контрольных и самостоятельных работ, экзаменов, тестов). В рамках

модели, например, можно определить возможный формат единого экзамена

школьников, к которому должна перейти отечественная система образования.

Достаточно лишь задать его выходные параметры (разрешение, уровень

интеллектуальной нагрузки школьников и т.д.).

Модель может быть использована и для решения ряда других задач. Она

позволяет исследовать структуру ансамбля испытуемых школьников, что может

быть интересным, скажем, для оценки влияния дифференциации системы

образования на уровень подготовки школьников. С помощью модели, например,

можно оценивать не только уровень сложности задач, но и уровень

профессиональной подготовки учителя, через его знание класса и его

способность подготовить разноуровневое контрольное задание,

сбалансированное по видам учебной деятельности.

Приложение. Исходный код системы (по модулям).

Модуль 1.

Код данного модуля отвечает за формирование главного окна программы.

unit Unit1;

interface

uses

Windows, Messages, SysUtils, Variants, Classes, Graphics, Controls,

Forms,

Dialogs, Menus, ToolWin, ComCtrls, Grids, DBGrids, ExtCtrls, StdCtrls,

Buttons, DB, DBTables, INIFiles, ShellAPI;

type

TForm1 = class(TForm)

MainMenu1: TMainMenu;

N1: TMenuItem;

N2: TMenuItem;

N3: TMenuItem;

N4: TMenuItem;

N5: TMenuItem;

N6: TMenuItem;

N7: TMenuItem;

N10: TMenuItem;

N12: TMenuItem;

N13: TMenuItem;

N14: TMenuItem;

N15: TMenuItem;

N16: TMenuItem;

N17: TMenuItem;

N18: TMenuItem;

N20: TMenuItem;

ToolBar1: TToolBar;

DBGrid1: TDBGrid;

Panel1: TPanel;

GroupBox1: TGroupBox;

BitBtn1: TBitBtn;

BitBtn2: TBitBtn;

GroupBox2: TGroupBox;

BitBtn3: TBitBtn;

BitBtn4: TBitBtn;

GroupBox3: TGroupBox;

BitBtn5: TBitBtn;

BitBtn6: TBitBtn;

dbOlymp: TDatabase;

dsOlymp: TDataSource;

Table1: TTable;

OpenDialog1: TOpenDialog;

Label1: TLabel;

procedure N5Click(Sender: TObject);

procedure FormClose(Sender: TObject; var Action: TCloseAction);

procedure N16Click(Sender: TObject);

procedure N2Click(Sender: TObject);

procedure FormCreate(Sender: TObject);

procedure BitBtn1Click(Sender: TObject);

procedure BitBtn2Click(Sender: TObject);

procedure N7Click(Sender: TObject);

procedure N10Click(Sender: TObject);

procedure BitBtn3Click(Sender: TObject);

procedure N3Click(Sender: TObject);

procedure BitBtn4Click(Sender: TObject);

private

{ Private declarations }

public

{ Public declarations }

end;

var

Form1: TForm1;

Config:TIniFile;

implementation

uses Unit2, Unit3, Unit4, Unit5, Unit6, Unit7;

{$R *.dfm}

procedure TForm1.N5Click(Sender: TObject);

begin

if Application.MessageBox('Закончить

работу?','Выход',mb_YesNo+mb_IconAsterisk)=idYes

then Application.Terminate

else Exit;

end;

procedure TForm1.FormClose(Sender: TObject; var Action: TCloseAction);

begin

if Application.MessageBox('Закончить

работу?','Выход',mb_YesNo+mb_IconAsterisk)=idYes

then Action:=caFree

else Action:=caNone;

end;

procedure TForm1.N16Click(Sender: TObject);

begin

ShellAbout(Form1.Handle,'FoxSoft Olymps v1.0 (beta)','Programm by

Chernetckiy Kirill aka Fox',Application.Icon.Handle);

end;

procedure TForm1.N2Click(Sender: TObject);

begin

Form6.ShowModal;

end;

procedure TForm1.FormCreate(Sender: TObject);

begin

try

with dbOlymp do

begin

Connected:=False;

Params.Clear;

Params.Add('PATH='+GetCurrentDir+'\Bases');

Params.Add('DEFAULT DRIVER=PARADOX');

Params.Add('ENABLE BCD=FALSE');

Connected:=True;

end;

except

Application.MessageBox('Ошибка инициализации баз данных. Возможно не

установлен BDE.','Ошибка',mb_Ok+mb_IconHand);

Application.Terminate;

end;

end;

procedure TForm1.BitBtn1Click(Sender: TObject);

begin

Form2.ShowModal;

end;

procedure TForm1.BitBtn2Click(Sender: TObject);

begin

Form3.ShowModal;

end;

procedure TForm1.N7Click(Sender: TObject);

begin

Form4.ShowModal;

end;

procedure TForm1.N10Click(Sender: TObject);

begin

try

if Application.MessageBox('Хотите сохранить текущий вид

таблицы?','Подтвердите',mb_YesNo+mb_IconAsterisk)=idNo

then Exit

else

begin

Config:=TIniFile.Create(GetCurrentDir+'\Config.ini');

with Config do

begin

WriteString('GRID_CONFIG','FIO',IntToStr(DBGrid1.Columns[0].Width));

WriteString('GRID_CONFIG','MARK1',IntToStr(DBGrid1.Columns[1].Width));

WriteString('GRID_CONFIG','MARK2',IntToStr(DBGrid1.Columns[2].Width));

WriteString('GRID_CONFIG','MARK3',IntToStr(DBGrid1.Columns[3].Width));

WriteString('GRID_CONFIG','MARK4',IntToStr(DBGrid1.Columns[4].Width));

WriteString('GRID_CONFIG','MARK5',IntToStr(DBGrid1.Columns[5].Width));

WriteString('GRID_CONFIG','MARK6',IntToStr(DBGrid1.Columns[6].Width));

WriteString('GRID_CONFIG','SUMMARK',IntToStr(DBGrid1.Columns[7].Width));

WriteString('GRID_CONFIG','SCHOOL',IntToStr(DBGrid1.Columns[8].Width));

UpdateFile;

end;

Config.Free;

Application.MessageBox('Настройки успешно

сохранены!','Сообщение',mb_Ok+mb_IconAsterisk);

end;

except

Application.MessageBox('Ошибка сохранения

настроек!','Ошибка',mb_Ok+mb_IconHand);

Exit;

end;

end;

procedure TForm1.BitBtn3Click(Sender: TObject);

begin

Form5.ShowModal;

end;

procedure TForm1.N3Click(Sender: TObject);

var

i:integer;

begin

OpenDialog1.InitialDir:=GetCurrentDir+'\Bases';

if OpenDialog1.Execute then

begin

try

with Table1 do

begin

Active := False;

DatabaseName := 'Olymp';

TableType := ttParadox;

TableName := ExtractFileName(OpenDialog1.FileName);

Active:=True;

end;

dsOlymp.DataSet:=Table1;

DBGrid1.DataSource:=dsOlymp;

Application.MessageBox('База успешно

открыта.','Сообщение',mb_Ok+MB_ICONASTERISK);

except

Application.MessageBox('Ошибка открытия базы. Возможно она не

существует.','Ошибка',mb_Ok+MB_ICONHAND);

Страницы: 1, 2, 3, 4, 5