Тесты. Что необходимо знать, чтобы успешно их выполнять
Скачать 0.83 Mb.
|
   Тесты. Что необходимо знать, чтобы успешно их выполнять1.1. Тесты. Что это такое Чаще всего, когда говорят о тестах, неспециалистам представляется некий набор заданий с несколькими вариантами ответов, среди которых испытуемый дол жен быстро найти верный ответ. Такое представление весьма слабо отражает все имеющееся разнообразие педагогических тестов, к тому же очень часто предлагае мые варианты ответов в таких заданиях бывают весьма примитивно подобраны и не отвечают даже элементарным требованиям, предъявляемым к тестам. В некачественных заданиях иногда даже можно выбрать ответ, опираясь не на зна ния, которые вроде бы проверяются этим тестом, а исходя из общих соображений, часто очень далеких от проверяемого материала. К сожалению, такие ошибки1 встречаются довольно часто, и это усиливает негативное отношение к тестам, которое складывается в последнее время в нашем обществе. 1.1.1. Какие бывают тесты, что их объединяет Что же необходимо знать неспециалисту о тестах, чтобы можно было понять и оценить возможности этого инструмента? Что надо знать, чтобы научиться успеш но выполнять тесты? Прежде всего необходимо осознать, что к настоящему моменту в педагогике раз работано огромное число самых разнообразных тестов, каждый из которых может весьма сильно отличаться от других как по форме и видам используемых заданий, так и по целям, которые он преследует. В современной педагогической практике с успехом, например, используются устные, письменные, компьютерные, проектные формы тестирования. Задания, содержащиеся в этих тестах, могут предусматри вать либо выбор ответа среди предложенных вариантов (элективные задания), либо свободно конструируемые ответы (инвентивные задания). Причем задания с выбором ответов, используемые в тестировании, могут также весьма существенно отличаться друг от друга. Например, наибольшее распространение в практике нашей школы получили задания, в которых среди представленных вариантов от ветов верным является только один, а остальные варианты неверны. Учащимся нуж но указать этот единственно верный ответ. Однако часто более эффективными являются задания, в которых учащимся надо выбрать сразу несколько ответов среди предложенных в тесте вариантов. Существуют и другие параметры, по которым тесты могут различаться между собой. Например, задания могут иметь возраста ющий характер трудности, а могут быть одинаковыми по трудности (такое часто происходит в критериально - ориентированных тестах). Встречаются тесты, име ющие констатирующий характер (цель - описание состояния учащегося относи тельно некого уровня подготовки), а есть тесты, имеющие диагностирующий характер (цель - установить причину выявленного состояния). Можно еще долго перечислять, какими бывают тесты. При этом они могут быть настолько непохожими друг на друга, что даже специалисты начинают спорить, является данный инструмент, используемый в педагогических исследованиях, тес том или нет. Не вдаваясь в научные споры и связанные с этим тонкости существу ющих определений того, что есть тест, а опираясь прежде всего на представления о том общем, что присуще всем этим инструментам, целесообразно определить тест как измерительное средство. Действительно, каким бы экзотическим по форме или содержанию ни был тест в педагогике, результатом тестирования всегда, как правило, является число, которое ставится в соответствии с результатами дея тельности испытуемого. Причем в тестах одинаковым результатам ставятся со ответствующие одинаковые числа, а разным результатам - разные числа. При проведении тестирования полученные числа обычно не зависят от того, кто прово дит тестирование, а условия, в которых оно проводится, регламентированы и неизменны на протяжении всего тестирования. Все это строго соответствует совре менным представлениям об измерениях. Существенным свойством педагогических тестов является то, что эти измерительные средства имеют дело с результатами деятельности учаще гося и только с ними. Так, например, если мы хотим измерить такой сложный параметр, как понима ние учащимся какого-либо учебного материала, то необходимо задуматься, в каких видах деятельности может проявиться это понимание. Если не существует никакой конкретной деятельности, выполнение которой отличало бы учащегося, у которого есть понимание, от того учащегося, у которого его нет, то тестирование этого пара метра невозможно. Таким образом, первичным материалом при составлении лю бого теста является указание основных видов деятельности учащегося, которые дол жны проверяться в этом тесте. Без четких представлений о том, какие конкретно виды деятельности рассматриваются в данном тесте, теста нет и не может быть. Устанавливая связь между деятельностью, проверяемой в тесте, и теми сложными субстанциями, измерение которых является целью тестирования, мы строим модель, адекватность которой может определяться либо экспертным путем, либо через эксперимент. Достоинствами такого подхода является то, что в этом случае лицам, использующим тест, абсолютно ясно, об измерении чего идет речь. Самым простым обоснованием целесообразности такого подхода может служить следу ющий постулат: надо ли вообще измерять те свойства учащегося, которые никогда и ни при каких условиях не проявляются ни в какой его деятельности? Таким образом, педагогический тест — это измерительное средство, пред назначенное для оценки результатов деятельности учащегося, определяемой сформированным у него уровнем учебной подготовки. 1.1.2. Условия тестирования Приведенное определение теста, являясь весьма общим, в то же время накла дывает очень жесткие ограничения на материалы, которые претендуют называть ся тестами. Это связано с тем, что в науке уже давно сложились четкие требования, которые предъявляются к любым измерительным средствам. Говоря о тестах, не обходимо ясно осознавать, что ассоциация теста только с неким набором заданий для учащихся является абсолютно неверной. Один и тот же набор заданий, вообще говоря, может быть использован в различных тестах. Так, например, содержание заданий теста не определяет в полной мере результаты учащихся по их выполне нию. Достаточно изменить время, отведенное на выполнение теста, чтобы изменил ся результат. Может измениться результат и оттого, какие комментарии даются учащимся по ходу выполнения теста лицами, проводящими тестирование. В общем случае, кроме набора заданий, результаты учащихся по их выполнению определя ются условиями, в которых проводится тестирование. Для установления различий между учащимися, определяемых только состоянием самих учащихся, необходимо, чтобы они выполняли тест в одинаковых условиях. Для этого составляются специальные инструкции по проведению теста, которые являются неотъемлемой частью теста как измерительного средства. Эти инструкции могут носить как весьма раз вернутый характер (полный сценарий проведения тестирования), так и быть очень краткими, апеллирующими к опыту лиц, проводящих тестирование. 1.1.3. Сбор первичной информации о результатах выполнения теста учащимися В качестве первичных результатов тестирования принято рассматривать отве ты учащихся на задания, содержащиеся в тесте. Характер первичных данных преж де всего зависит от типа заданий. В заданиях с выбором ответов первичными данными являются ответы, выбранные учащимися из нескольких вариантов. Есте ственно, что выбранный учащимся ответ (или ответы) в конкретном задании может значительно зависеть от того, какие варианты ответов были в нем представлены. Меняя варианты ответов, можно добиться того, что будет изменяться трудность задания, а следовательно, может измениться и полученный числовой результат. Многие исследователи считают представленные в задании варианты ответов неотъемлемой частью задания. В этом случае тесты, в которых задания имеют оди наковые формулировки, но несовпадающие ответы, являются разными измеритель ными средствами. Более сложно протекает процесс сбора первичной информации при рассмотре нии ответов учащихся на задания со свободно конструируемыми ответами. Здесь возникает проблема, связанная с необходимостью унификации и формализации информации, содержащейся в ответах. Для этого используются специальные формы фиксации результатов деятельности учащихся (схемы анализа), заполняемые экспертами. Эти формы представляют собой перечень вопросов, относящихся к ходу выполнения заданий теста. Естественно, что используемый перечень вопросов существенно влияет на полученный при тестировании числовой результат. Напри мер, одно дело когда фиксируется только конечный результат выполнения зада ния, другое - когда формы сбора первичной информации позволяют фиксировать шаги по выполнению задания. В последнем случае можно отличить учащихся, которые сделали ошибку только на последнем шаге и из-за этого не смогли полу чить верный ответ, от тех, кто неверно выполнил все шаги, и т.п. Формы фиксации результатов выполнения самым существенным образом определяют результаты учащихся. Изменяя эти формы, мы изменяем тест. Таким образом, формы фикса ции результатов деятельности являются неотъемлемой частью теста. Если в зада ниях с выбором ответов (элективных) это не вызывает сомнений, то для заданий со свободно конструируемыми ответами (инвентивных) формы фиксации результа тов деятельности учащихся иногда меняются по усмотрению пользователей тесто вой продукции, что сказывается на качестве получаемой информации. С формами фиксации связаны и инструкции по заполнению этих форм. В зави симости от степени их развернутости и ясности результаты тестирования также могут существенно меняться. Это заставляет наряду с формами фиксации резуль татов деятельности учащихся включить эти инструкции в число обязательных ма териалов, являющихся неотъемлемой частью теста. 1.1.4. Перевод первичной информации о результатах выполнения теста учащимися в числовые данные Для получения числового результата необходимо, чтобы для результатов тес тирования был задан алгоритм перевода первичной информации, содержащейся в формах фиксации результатов деятельности, в числовые данные. Этот алгоритм является неотъемлемой частью любого теста. На его основе получают так называе мый первичный балл. Этот алгоритм может существенно меняться от теста к тесту. Причем необходимо осознавать, что если этот алгоритм изменяется для одного и того же набора заданий, который выполняется в одних и тех же условиях и при использовании одних и тех же форм фиксации первичных результатов, то при этом все равно происходит существенное изменение теста как измерительного инстру мента в целом. Приведем пример. Пусть у нас есть некий тест простейшего вида, в котором задания имеют элективную форму (с выбором ответов). За каждый вер ный ответ в заданиях этого теста учащиеся могут получать по одному баллу. Сум мируя баллы, полученные за верные ответы, можно получить некоторое число, которое и будет отражать результат учащегося. Это правило дает нам алгоритм перевода результатов учащихся в некое число (это число называют первичным баллом). Если задать другое правило, при котором заданиям этого теста присваи ваются веса и за каждый верный ответ дается количество баллов, соответству ющее весу этого задания6, то первичный балл учащегося, верно выполнившего одни и те же задания, в первом и втором случае может существенно различаться. Это показывает, насколько важной составляющей теста является алгоритм перевода первичных результатов учащихся в первичный балл. Эти алгоритмы могут учи тывать не только веса заданий теста, но и оперировать весами ответов, которые дают учащиеся. 1.1.5. Перевод первичного балла в итоговый балл В тестировании первичный балл не всегда совпадает с числом, являющимся ито говым показателем результата тестирования. Для многих тестов существует опе рация по переводу первичного балла в некую специальную стандартизированную шкалу. Эта шкала, как правило, является общей для всех тестов, результаты кото рых целесообразно между собой сравнивать. Правомерность такого подхода можно продемонстрировать на следующем примере. Есть два теста, проверяющие степень сформированности у учащихся вычислительных навыков. В этих тестах за каждое верно выполненное задание учащемуся присваивается один балл, при этом в одном тесте - 20 заданий (в этом тесте можно говорить о 20-балльной шкале измерения), а в другом - 25 заданий (в этом тесте можно говорить о 25-балльной шкале измере ния). Сравнивая первичный балл в 9 баллов в первом тесте и первичный балл в 13 баллов во втором, бывает трудно ответить на вопрос, какой учащийся проде монстрировал более высокие результаты7. Для того чтобы это стало возможным, необходимо перевести данные одного и другого учащегося в одну шкалу. Напри мер, можно взять отношение количества набранных баллов ко всему количеству баллов, которое можно набрать в тесте. Если это отношение умножить на сто, то в обоих этих тестах мы перейдем на единую 100-балльную шкалу (процент от воз можного количества баллов). Теперь у первого учащегося оказалось 45 баллов, а у второго - 53 балла, при этом оба результата приведены по одной и той же 100-балльной шкале. Теперь можно утверждать, что несколько лучше владеет вычис лительным навыком второй учащийся. Алгоритмы перевода первичного балла в стандартизированную шкалу могут быть весьма разнообразными. Например, в одних очень известных американских тестах используется стандартизированная шкала, которая находится в интервале от 200 до 800 баллов. Алгоритм перевода первичного балла в итоговый балл для этих тестов задается специальной таблицей, которая строится для каждого теста отдельно, исходя из статистических данных, полученных при анализе результатов выполнения этого теста репрезентативной выборкой учащихся. Единственное, что объединяет все алгоритмы перевода первичного балла в ито говый, заданный в выбранной стандартизированной шкале, это то, что во всех этих алгоритмах меньшим значениям первичного балла соответствуют меньшие значения стандартизированной шкалы, а большим значениям первичного балла - боль шие значения стандартизированной шкалы. Одинаковым первичным баллам со ответствуют одинаковые итоговые баллы, а разным — разные итоговые баллы. Естествен но, что алгоритм перевода первичного балла в окончательный итоговый балл является неотъемлемой частью теста как измерительного инструмента. 1.1.6. Оценка результатов тестирования Итоговый балл теста тесно связан еще с одним важным понятием, широко ис пользуемым в педагогической практике, - с оценкой результатов учащегося. Ито говый балл тестирования и оценку результатов тестирования учащегося можно сравнить с ситуацией в спорте. Рассмотрим время, за которое спортсмен пробежал стометровку, и присвоенный ему разряд по бегу. Предлагаемый учащемуся забег - это тест. Время, за которое он пробежал, соответствует итоговому баллу и выража ется числом. Разряд - это оценка. В спорте используют очень четкие критерии, которые позволяют ставить в соответствии с полученными результатами измере ния (в нашем случае времени) те или иные конкретные оценки (в нашем случае это разряды). В школьной практике оценка, как правило, имеет характер суждений о результате (плохо, удовлетворительно, хорошо, отлично). Так же, как и в спорте, для вынесения этого суждения результаты измерений (итоговый балл тестирова ния) должны быть соотнесены с некоторым критерием. Причем, если мы хотим иметь дело с объективной и единообразной оценкой, то для результатов всех учащихся, выполнявших данный тест, критерии оценки должны быть одними и теми же и дол жны быть выражены в значениях стандартизированной шкалы, которая используется для представления итогового балла по данному тесту. В тестировании так же, как и в спорте, где критерии присвоения разряда зависят от того, о чем идет речь - о стометровке или марафонской дистанции, критерии оценки зависят от используемого теста, являясь его частью. В связи с этим критерий, по которому целесообразно проводить оценку полученных итоговых результатов учащихся, очень часто включают в пакет документов, представляющих тест. При разработке кри териев оценки, как правило, используются два основных метода. В соответствии с первым методом критерии формируются на основе обобщения мнения экспертов о том, каковы должны быть критерии оценки результатов. При втором критерии опи раются на статистические данные о результатах выполнения теста некой репре зентативной группой учащихся. Учитывая все вышесказанное, можно говорить о том, что тест — это техно логический пакет, включающий следующий набор средств: 1) задания с необходимыми инструкциями по их выполнению (являются стимулами деятельности); 2) формы фиксации результатов выполнения заданий теста (позволя ют формализовать результаты деятельности учащихся); 3) инструкции по процедуре проведения тестирования и фиксированию первичной информации. В некоторых особо сложных случаях необходим сце нарий проведения тестирования (определение условий процедуры тестирования); 4) алгоритм перевода первичной информации в первичный балл (позволя ет однозначно ставить соответственно формализованным результатам деятельности учащихся число); 5) алгоритм перевода полученного первичного балла в итоговый балл, пред ставленный в принятой для этого теста стандартизированной шкале; 6) правила интерпретации полученной числовой информации (критерии оценивания итоговых баллов тестирования). Этот пакет может быть представлен печатными материалами или частично про граммной продукцией, ориентированной на использование персонального компью тера. Наличие такого пакета - это определенная гарантия того, что предлагаемый инструмент является полноценным тестом. Отметим, что полнота данного техноло гического пакета может в определенной степени варьироваться. Например, для те стов, состоящих только из заданий с выбором ответов, могут отсутствовать формы фиксации результатов выполнения заданий. В некоторых тестах отсутствуют ал горитмы перевода в итоговый балл или правила оценки итоговых баллов. Одна ко чем полней такого рода пакет, тем больше надежды, что его использование по зволит получить объективную, достоверную и надежную информацию относительно тех видов деятельности учащегося, которые проверяются в данном тесте. Полнота данного технологического пакета является необходимым условием качества теста, но не достаточным. Определить качество тестов бывает иногда очень сложно, поскольку все зави сит от тех целей, для которых они конструировались. Ситуацию с качеством изме рительных средств в педагогике в определенной мере можно сравнить с ситуацией, которая сложилась в медицине. Там тоже речь идет об изучении очень сложного феномена - человеческого здоровья. В медицине постоянно проводят многочислен ные измерения, способные в той или иной мере охарактеризовать этот феномен. Однако здесь, в отличие от педагогики, никто не спорит о том, что лучше - весы или ростомер. Никто не удивляется, что для изучения состояния здоровья не существу ет некого одного измерительного средства, но есть множество инструментов, изме ряющих различные параметры этого состояния. В медицине никто не просит оце нить качество измерительного прибора, неизвестно что мерящего, а в педагогике это происходит сплошь и рядом. Вероятно, все это вызвано недостатком опыта использования измерительных средств в практике нашей школы. Суть аналогии в том, что рассмотрение любого теста должно начинаться с определения целей, для которых он был составлен, поскольку это является основной оценкой теста. Для удобства понимания возможностей теста и оценки его качества к техноло гическому пакету, представляющему тест, очень часто прилагается пояснительная записка. В ней, с одной стороны, перечисляются те виды деятельности, которые из меряются этим тестом, с другой стороны, указываются педагогические цели, для достижения которых предназначается этот тест. В пояснительной записке могут указываться также основные характеристики теста, в том числе и статистические, описывающие результаты выполнения этого теста выборкой испытуемых, репре зентативной той, для которой он предназначен. |
Похожие:
 | В некачественных заданиях иногда даже можно выбрать ответ, опираясь не на зна ния, которые вроде бы проверяются этим тестом, а исходя... | | |
| Чтобы успешно вести учет в любой организации, необходимо знать основы его построения: бухгалтерский баланс, система счетов, документация... |  | Порой, чтобы вернуть свои денежные средства или имущество от заемщика приходится немало потрудиться. Что необходимо знать при заключении... |
| Для того чтобы заявление было принято к рассмотрению, необходимо хорошо знать, понимать и соблюдать следующие правила | | Для того чтобы качественно выполнять работу, связанную с информацией и документацией, секретарь должен быть грамотным человеком,... |
| Для того, чтобы успешно редактировать информацию о Вашей компании и привязать список товаров или услуг, которые реализует Ваша компания,... | | Чтобы ответить на этот вопрос, прежде всего необходимо четко знать отличительные признаки работы на условиях совмещения |
| Прежде всего необходимо, чтобы ребенок не страшился рассказать старшим о том, что его напугало или обеспокоило. Бывали случаи, когда... | | ... |