Надійність по внутрішній узгодженості

Надійність по внутрішній узгодженості — спосіб визначення надійності, що спирається на оцінку ступеня вираженості інтеркореляційних зв'язків між завданнями, які становлять тест.

У цьому випадку істинний показник за тестом розуміють як результат, який отримав би досліджуваний, якби йому було пред'явлено всі можливі завдання, що стосуються риси чи властивості, яка є об'єктом тестування.

Кожен конкретний тест є вибіркою з генеральної сукупності завдань. Похибка вимірювання відображає ступінь, якою реальна вибірка завдань охоплює генеральну сукупність завдань тесту. Генеральна сукупність завдань породжує нескінченно велику кореляційну матрицю парних зв'язків між завданнями. Середнє значення кореляції між завданнями для цієї матриці (r̄ij) указує на ступінь спільності, внутрішньої узгодженості завдань. Так, якби, наприклад, у тесті було одне завдання з безлічі незалежних одне від одного, то r̄ij = 0,00.

Передбачається, що всі завдання мають однакові значення взаємної кореляції.

Виходячи з основних положень оцінювання надійності по внутрішній узгодженості, можна сказати, що кореляція певного завдання з істинним показником (r1t) дорівнює квадратному кореню з його середньої кореляції з іншими завданнями (Дж. Наннеллі, 1978):

r1t = √r̄ij

Строго кажучи, цей висновок справедливий тоді, коли кількість завдань наближається до нескінченності. З погляду розробника тесту, співвідношення r1t і r̄ij має важливе значення, оскільки за розроблення значної кількості завдань і вибору з них тих, для яких значення r̄ij буде найбільшим, створений тест буде надійним і вільним від похибок вимірювання.

Аналогічні міркування щодо взаємозв'язку завдань можна застосувати до надійності паралельних форм тестів. У цьому випадку кожен з паралельних тестів розглядається як випадкова вибірка з генеральної сукупності завдань. Середні значення й дисперсії тестів відрізняються від істинного показника лише випадковим чином. Отже, у наведеному вище рівнянні значення для завдань можуть бути замінені показниками для тестів (тобто наборів завдань).

Оскільки кореляції між завданнями або паралельними тестами на практиці не є ідентичними, має існувати певний їхній розподіл довкола істинного значення. Якщо припустити, що такий розподіл є нормальним (див. Нормальний розподіл), можна оцінити точність коефіцієнта надійності r̄ij шляхом обчислення стандартної похибки (див. Похибка вимірювання) середньої взаємної кореляції завдань або тестів у генеральній сукупності (Дж. Наннеллі, 1978):

σr̄ij = σr / √(½·n(n − 1) − 1),

де σr̄ij — стандартна похибка вимірювання, σr — стандартне відхилення кореляцій завдань усередині тесту і n — кількість завдань у тесті. З рівняння видно, що в міру зростання σr зростають відмінності між кореляціями, а в міру зростання n стандартна похибка зменшується, тобто що більше завдань, то вища точність оцінки коефіцієнта надійності. Справді, якщо припустити, що σr для певного тесту дорівнює 0,15, а кількість завдань варіює від 10 до 30, то, підставивши відповідні значення в рівняння, отримаємо такі похибки: для тесту з 10 завдань — 0,02; для тесту з 20 завдань — 0,01; для тесту з 30 завдань — 0,007.

Слідом за Дж. Наннеллі (1978) П. Клайн (1986) поширює судження про зростання точності коефіцієнта надійності зі збільшенням складу тесту і на саму величину надійності. Справді, оскільки істинні показники тесту визначаються через міру представленості завдань генеральної сукупності, має виконуватися припущення, що чим більший тест, тим вища кореляція з істинним показником. Граничним випадком буде гіпотетична ситуація, коли тест складається з усіх завдань генеральної сукупності, за винятком одного. Для доведення надійності тесту, завдання якого, як заздалегідь відомо, належать до однієї генеральної сукупності, можна скористатися формулою Спірмена — Брауна:

rtt = n·r̄ij / (1 + (n − 1)·r̄ij),

де rtt — надійність тесту, n — кількість завдань, r̄ij — середня взаємна кореляція завдань. У формулі Спірмена — Брауна показник rt (див. Надійність частин тесту) замінено на r̄ij, що випливає з виведення моделі коефіцієнта надійності. Припустімо, є три набори завдань (n = 10, 20, 30), середня кореляція між якими дорівнює 0,20, тоді:

• для 10 завдань: 10·0,20 / (1 + 9·0,20) = 0,667;
• для 20 завдань: 20·0,20 / (1 + 19·0,20) = 0,800;
• для 30 завдань: 30·0,20 / (1 + 29·0,20) = 0,959.

Причому ці показники отримано для завдань, взаємна кореляція яких була низькою. Для однорідніших тестів із 30 завдань при r̄ij = 0,40 отримуємо: 30·0,40 / (1 + 29·0,40) = 12/12,6 ≈ 0,95. Отже, за наявності набору однорідних завдань тест буде свідомо надійним. Навіть якщо поділити сукупність завдань на дві паралельні форми по 15 пунктів, обидві вони також матимуть задовільну надійність.

Теоретичні значення коефіцієнта надійності за цього способу визначення істотно перевищують емпіричні значення ретестової надійності і надійності паралельних форм. Це відбувається через низку припущень. Передусім слід зазначити, що під час визначення надійності по внутрішній узгодженості не враховуються інші джерела похибки вимірювань, пов'язані з неконтрольованими чинниками середовища, стану й мотивації досліджуваного (див. Надійність). У цьому зв'язку між надійністю по внутрішній узгодженості та ретестовою надійністю існує суперечність. Ретестова надійність може зменшуватися зі збільшенням складу завдань (що більше завдань, то вища ймовірність випадкової чи закономірної зміни відповіді під час ретесту). Суперечність можна зняти за рахунок визнання некоректності припущень про рівність інтеркореляцій між завданнями та про залежність похибки лише від представленості в тесті генеральної сукупності завдань. Інакше довелося б погодитися з тим, що у двох тестах, пов'язаних спільним фактором і з однаковою кількістю завдань, але зовсім різних за характером виконання й трудністю, надійність буде однаковою, що неможливо.

Слід звернути увагу на неможливість визначення в такий спосіб надійності тестів швидкості, оскільки зв'язок кожного із завдань досліджуваної генеральної сукупності не визначений; через велику кількість завдань інтеркореляції завдань можуть утрачати сенс (див., напр., Коректурна проба).

Важливим аспектом оцінювання застосовності надійності по внутрішній узгодженості є парадокс, що виникає в цьому разі за поєднання показників надійності та валідності тесту. Здається, що висока внутрішня узгодженість має бути основною метою розробників тесту (Л. Кронбах, 1920). Така точка зору досить поширена. Однак Р. Кеттелл (1977) обґрунтовано стверджує, що висока внутрішня узгодженість (особливо під час вивчення складних психологічних конструктів, особистісних показників) певною мірою протистоїть високій валідності.

Суперечність, що виникає, можна проілюструвати таким прикладом.

Тест вербальних здібностей може містити завдання (і відповідно субтести) на добір антонімів, синонімів, розуміння слів, словниковий запас. Припустімо, що кожен із субтестів має високі показники надійності по внутрішній узгодженості. Однак якби ми скористалися лише одним субтестом (наприклад, добором антонімів), то показник надійності по внутрішній узгодженості тесту, безсумнівно, зріс би порівняно з повним набором субтестів, оскільки використовується лише один тип високоузгоджених завдань. Висока надійність субтесту антонімів відображатиме той факт, що ця вибірка завдань високою мірою корелює з гіпотетичною генеральною сукупністю завдань на антоніми. Однак цей істинний показник відображає не вербальні здібності, а лише здатність добирати антоніми (тобто валідність тесту стане низькою щодо вимірювання вербальних здібностей).

Наведені дані свідчать про специфічність застосування кожного з наявних підходів до характеристики надійності тесту. Надійність по внутрішній узгодженості має, очевидно, переважно теоретичне значення. Як і надійність частин тесту в граничному випадку розбиття матеріалу на окремі завдання, розглядуваний спосіб має практичне значення для оцінювання точності коефіцієнта надійності, а також для характеристики деяких тестів, що складаються зі спеціально дібраних факторизованих завдань (див. Факторно-аналітичний принцип).