Трудність завдань тесту

Трудність завдань тесту — характеристика задачі (пункту) тесту, що відображає статистичний рівень її розв'язуваності в певній вибірці стандартизації. Разом з аналізом дискримінативності пунктів, внутрішньої узгодженості, характеру розподілу тестових оцінок аналіз трудності завдань тесту є однією з базових процедур розроблення і перевірки діагностичних якостей тестової методики. У психології розрізняють суб'єктивно-психологічну і статистичну (об'єктивну) трудність. Суб'єктивна трудність задачі пов'язана з індивідуально-психологічним бар'єром, величина якого визначається як обставинами (лімітом часу, доступністю інструкції тощо), так і рівнем сформованості необхідних для розв'язання знань, умінь і навичок, психічним станом досліджуваного та низкою інших чинників. Вплив комплексу цих чинників на результат виконання тесту знижує надійність і достовірність даних, тому вживають заходів для вирівнювання їхнього впливу за допомогою спрямованого комплектування вибірки і стандартної процедури проведення.

Показником трудності завдань тесту як статистичної трудності є частка осіб вибірки, які розв'язали і не розв'язали завдання. Напр., якщо тільки 20% досліджуваних розв'язали задачу, її можна оцінити як трудну для цієї вибірки, якщо 80% — як легку. Трудність завдань тесту є відносною характеристикою, оскільки залежить від особливостей вибірки (вікові, професійні, соціокультурні відмінності). Трудність завдань тесту є насамперед характеристикою інтелектуальних задач, для яких правомірне застосування критерію «правильного» і «неправильного» розв'язання. Для запитань чи задач, що входять до складу особистісних методик, статистичне поняття трудності завдань тесту неприйнятне. Добір завдань за показниками трудності завдань тесту важливий для успішного застосування психодіагностичної методики. Так, у разі вибору надто трудних завдань валідність і надійність тесту різко знизяться (погіршення статистичних характеристик оцінювання через невелику кількість правильних розв'язань, ймовірність випадкової оцінки, вплив невдач на роботу досліджуваних). Надто прості завдання призведуть до одноманітності результатів (більшість справляється з усім набором пунктів тесту), їх незначної варіативності, що ускладнює оцінювання, можуть викликати негативне ставлення до тесту (див. Валідність очевидна). Основне завдання аналізу трудності завдань тесту зводиться до вибору оптимальних за складністю пунктів тесту, а отже, і впорядкування окремих завдань у ньому. Зазвичай, якщо задачу розв'язує більшість досліджуваних, її (як легку) розміщують на початку тесту; якщо задачу розв'язує незначний відсоток досліджуваних, то її (як трудну) розміщують наприкінці тесту. Одну-дві найлегші задачі ставлять перед основними задачами тесту і використовують як приклад. Розташування завдань за зростанням ступенів трудності, виражених часткою або відсотком осіб певної вибірки, які розв'язали відповідну задачу, дає змогу приблизно визначити поріг трудності для конкретного досліджуваного, що характеризує його місце в групі. Такий принцип було покладено в основу вимірювань перших тестів інтелекту (напр., шкали Біне — Сімона), де показником «розумового віку» було виконання завдання середньої трудності для певної вікової групи.

Принцип розташування завдань за наростанням трудності зберігається і для більшості сучасних психометричних тестів, спрямованих на дослідження загальних здібностей, професійної успішності, тестів досягнень і низки інших. У тестах швидкості, на відміну від тестів результативності (див. Тест), трудність завдань тесту зазвичай невисока і практично незмінна. Кількість задач у таких методиках свідомо роблять такою, щоб ніхто з досліджуваних у заданий час не встиг розв'язати всі.

Основним показником трудності завдань тесту є індекс трудності:

UT = 100 · Nп / N,

де UT — індекс трудності у відсотках, Nп — кількість досліджуваних, які правильно розв'язали задачу, N — загальна кількість досліджуваних. З урахуванням випадкового успіху шляхом вгадування для задачі з приписаною відповіддю:

UT = 100 · (Nп − Nн / (m − 1)) / N,

де Nн — кількість досліджуваних, які не розв'язали задачу, m — кількість варіантів відповіді.

У тих випадках, коли вибірка і кількість перевірюваних пунктів великі, є можливість визначити індекс трудності за допомогою контрастних (крайніх) підгруп. До кожної з підгруп входить по 27% осіб від чисельності вибірки, які мають найкращі та найгірші результати за тестом загалом. Індекс трудності завдань тесту обчислюють як середнє арифметичне індексів трудності для груп із максимальним і мінімальним результатом:

UT = 100 · ½ · [(Nп max − Nн max / (m − 1)) / N max + (Nп min − Nн min / (m − 1)) / N min].

Якщо припустити, що частоти розподілу оцінок досліджуваних, які виконали завдання, підпорядковуються нормальному закону, то в межах M ± σ перебуває близько 68% усіх досліджуваних, за цими межами — по 16% досліджуваних. Ці величини беруть за порогові під час відбору задач із первинної форми тесту.

Отже, після розрахунку індексів трудності насамперед виключають задачі, які розв'язали понад 84% (M − σ) і з якими не впоралися 84% досліджуваних (M + σ) (рис. 82).

Диференційованішим способом аналізу трудності завдань тесту є використання як принципу поділу досліджуваних на групи зовнішнього критерію валідності, напр. продуктивності в реальній діяльності. Відбір завдань за показниками трудності може здійснюватися паралельно з розрахунками коефіцієнтів кореляції (див. Кореляції коефіцієнти дихотомічні).