вторник, 14 июня 2016 г.

Види валідностей

Валідність при вимірюванні успішності можна диференціювати за такими критеріями: валідність змісту; валідність відповідності; валідність прогнозу. А також виокремлюють такі класифікації валідності:


Класифікація типів валідності є певною мірою умовною, тому що нерідко для різних критеріїв валідності застосовуються загальні методи визначення, а з іншого боку, одні й ті ж вихідні дані можуть інтерпретуватися з точки зору різних типів валідності.[20] Розрізняють такі типи валідності:
  1. За віковою диференціацією - тест використовується для різних вікових категорій; для тестів шкільних досягнень - можливість установити оптимальний час проведення тестування (наприклад, розроблений інструментарій краще використати не пізніше, ніж через тиждень після вивчення теми чи тестування доцільно провести в перші два тижні II семестру).[13, c.14]
  2. Змістова - характеристика тесту, яка відображає ступінь упевненості, що завдання тесту досить повно охоплюють зміст певної сфери знань, тест точно визначає суттєві для цієї діяльності навички, але водночас не перевіряє другорядні в даному разі знання й навички. Змістова валідність залежить від глибини попередньо проведеного авторами тесту аналізу навчального плану й програми, змісту підручників, від точності й повноти формулювання мети навчання. Про змістову валідність складають уявлення зі специфікації тесту й методів, які використовують під час його складання. Змістову валідність установлюють шляхом експертної оцінки конгруетності й технологічної якості всієї множини тестових завдань, розроблених для конкретного тесту за певним обсягом матеріалу. Можна стверджувати, що якщо експертиза конгруентності й технологічної якості всіх тестових завдань для певного критеріального зорієнтованого тесту була проведена ретельно й науково обгрунтована, то для атестації змістова валідність буде високою.[13,c.14] Найбільша сфера застосування змістової валідності - тести навчальних досягнень, особливо критеріально-оієнтовні тести по засвоєнню матеріалів і навичок,  а також деякі тести використовуються для відбіру та перерозподілу професійних кадрів. [15, c.88]
  3. Зовнішня - свідчить, про те,  наскільки привабливими та прийнятими є завдання тесту для тих, хто не є експертами-тестологами й можуть мати лише інтуїтивно-суб’єктивне судження про зміст тексту. Для позначення зовнішньої валідності інколи використовують термін “суб’єктивна валідність”. Дані про зовнішню валідність тесту можуть бути отримані шляхом опитування й/або анкетування тестованих.
  4. Конструктивна - відображає впевненість у тому, що вимірювана тестом властивість має реальний педагогічний або психологічний зміст. Щоб оцінити конструктивну валідність, необхідно якнайточніше описати змінну (психологічний конструкт), для вимірювання якої призначено тест. Приклади таких психологічних конструктів - це інтелект, тривожність, правдивість, креативність. Щоб визначити конструктивну валідність, потрібно:1)сформувати гіпотези щодо зовнішніх змінних, з якими певний тест має корелювати; 2) сформувати гіпотези щодо зовнішніх змінних, з якими певний тест не має корелювати; 3) визначити групи тестованих, які виявлять високі або низькі результати такого тестування. Ці гіпотези мають бути перевірені на великих специфічних вибірках тестованих.
  5. Критеріальна - характеристика тесту, яка відображає ступінь упевненості, що даний тест правильно оцінює успішність тестованого, реально відображає досягнення певного рівня знань і вмінь;[13,c.14] кореляція результатів методики з іншими критеріями властивостей вимірювання.[15,c.85] Критеріальна валідність визначає ступінь відповідності між результатами тестування й зовнішнім критерієм, який не стосується тесту. Щодо тестів досягнень, то критеріальна валідність визначає, у якій мірі результати тесту можна використати для висновків про успішність тестованого. На практиці критеріальна валідність визначається кореляцією між результатами тестування й зовнішньою критеріальною змінною, зокрема показниками, отриманими шляхом незалежного оцінювання (експертні судження, результати інших тестів, валідність яких уже встановлена). Наприклад, результати вступного тестування до ВНЗ можна вважати валідними, якщо вони добре корелюють з успішністю цих студентів на першому й наступних курсах навчання. Критеріальну валідність поділяють на поточну і прогностичну. [13,c.14]
  6. Поверхнева - оцінювання тесту тільки за результатами загального (побіжного) ознайомлення з його змістом (формат тесту може бути перевірений на його аутентичність, особливо для тестів із мови, та взаємозв’язок із практикою викладання).
  7. Порівняльна - передбачає порівняння результатів проведеного тесту, самооцінки тестованих, оцінювання викладачів із результатами іншого тесту, які отримано приблизно  в той самий час. Ступінь взаємоузгодженості оцінюється за допомогою коефіцієнта кореляції. Дана валідність використовується у двох випадках: по-перше, якщо новий діагностичний інструмент якісно відрізняється від того, який уже використовували; по-друге, якщо вже існують готові високоякісні тести, що перевіряють ту саму властивість особистості.
  8. Поточна - характеристика тесту, за якої результати тестування порівнюють з уже відомими показниками підготовленості учнів/студентів за поточний проміжок часу. За допомогою коефіцієнта кореляції результату тесту з результатами інших тестів або інших зовнішніх критеріїв (змінних вимірювання), що існують на момент тестування, можна оцінити тест.
  9. Прогностична - характеристика тесту, яка відображає ступінь упевненості, що отримані за тест оцінки добре прогнозують майбутні досягнення тестованого (наприклад, у США результати за складання тесту SAT передбачають певний рівень успішності студента у ВНЗ). Для виявлення прогностичної валідності результати одного тесту порівнюють із результатами іншого тесту, який проводять, наприклад, через півроку або рік навчання. Викладач може використати індивідуальні бали студента як такі, що передбачають їхній успіх у майбутньому навчанні чи професійній діяльності тощо. Прогностичну валідність оцінюють за допомогою коефіцієнта кореляції між результатами тестування й певним зовнішнім критерієм (зовнішньою змінною), що характеризуватиме вимірювану властивість у майбутньому. Основна складність визначення такої валідності - вибір вагомого зовнішнього критерію (зовнішньої змінної) в майбутньому. Більш загальне поняття - критеріальна валідність.
  10. Суб’єктивна - інколи використовують для позначення поняття “зовнішня валідність”.
  11. Узагальнююча - ступінь збігу балів за два тести, наприклад, ступінь збігу тієї самої характеристики в новому й уже апробованому тесті або в тесті здібностей і тесті досягнень.
Також виокремлюють ще такі види валідностей:
  1. зовнішня;
  2. внутрішня;
  3. дискримінантна;
  4. диференціальна;
  5. валідність завдань тесту;
  6. іманентна;
  7. інкрементна;
  8. конвергентна;
  9. конкурентна;
  10. конструктна;
  11. концептуальна;
  12. критеріальна;
  13. валідність по діагнозу;
  14. курикулярна (програмна);
  15. локальна;
  16. операціональна;
  17. очевидна;
  18. педагогічна;
  19. перехресна;
  20. практична;
  21. передбачувана;
  22. прогностична;
  23. проспективна;
  24. психологічна;
  25. ретроспективна;
  26. синтетична;
  27. змістова;
  28. відповідності;
  29. поточна;
  30. теоретична;
  31. факторна;
  32. екологічна;
  33. експертна;
  34. емпірична.

Коефіцієнти валідності


Коефіцієнти валідності є важливими, але далеко не вичерпними характеристиками валідності тесту. Потрібно зазначити, що валідність не вимірюється, про неї тільки судять. У методичних матеріалах до тесту можуть бути наведені коефіцієнти валідності, але про реальну валідність тесту за умов його конкретного використання судять за сукупністю найрізноманітніших видів інформації, що отримана різними способами. Валідність трактується не як щось, виражене кількісно, а як «адекватна», «задовільна», «недостатня» і т.ін. Таким чином, коефіцієнти валідності є лише елементом складного процесу характеристики валідності тесту. [14]
Для визначення валідності результатів тестування засоби кореляційного аналізу  використовують такі прийоми:
  • точково-бісеріальний розподіл - це коефіцієнт диференційної здатності завдання, який виражає зв'язок між результатами відповідей на певне завдання з індивідуальними балами вибірки тестованих. Точково-бісеріальний коефіцієнт кореляції – це метод кореляційного аналізу залежності змінних, одна з яких виміряна в шкалі найменувань і приймає тільки 2 значення (наприклад, чоловіки/жінки, відповідь правильна/відповідь неправильна, ознака є/ознаки немає), а друга в шкалі відношень або інтервальній шкалі. Формула розрахунку коефіцієнта точково-бісеріальний кореляції має вигляд:


  • коефіцієнт кореляції Пірсона. Лінійний кореляційний аналіз дозволяє встановити прямі зв'язки між змінними величинами за їх абсолютними значеннями. Формула розрахунку коефіцієнта кореляції побудована таким чином, що якщо зв'язок між ознаками має лінійний характер, коефіцієнт Пірсона точно встановлює тісноту цього зв'язку. Тому він називається також коефіцієнтом лінійної кореляції Пірсона.
Коефіцієнт лінійної кореляції відображає міру лінійної залежності між двома змінними. Передбачається, що змінні виміряні в інтервальній шкалі або в шкалі відношень.
Для оцінки сили лінійного кореляційного зв'язку призначений вибірковий коефіцієнт кореляції.
  • коефіцієнт асоціації
Якщо певна властивість володіє альтернативною варіацією ("так", "ні"; "добре", "погано" та ін.), то результати спостережень можна представити у вигляді таблиці асоціації, яку також називають 2×2 таблицею або чотириклітковою таблицею (Рис.1.). Тісноту зв'язку між якісними ознаками y і x, які групують у вигляді такої таблиці, вимірюють за допомогою коефіцієнта асоціації, запропонованого К. Пірсоном в 1901 р.


Наявність ознаки
Відсутність ознаки
1-ша ознака
A
B
2-га ознака
C
D
Рис.1. Таблиця для обчислення коефіцієнтів асоціації та контингенції
  • коефіцієнт контингенції
Якщо варіацію якісної ознаки досліджуваного явища можна розбити не на дві групи, (як у випадку дихотомічної ознаки), а на кілька груп, то відповідний числовий матеріал розміщують у вигляді таблиці з кількома рядками та стовпцями. Така таблиця називається таблицею контингенції.
Позначення елементів таблиці
Критерії оцінювання
Результати (рівні навчальних досягнень)
Низький
Середній
Достатній
Високий
Сума
Ознака 1
q11
q12
q13
q14
q1
Ознака 2
q21
q22
q23
q24
q2
Ознака 3
q31
q32
q33
q34
q3
Сума
Q1
Q2
Q3
Q4
n
Рис. 1.2. Таблиця контингенції

  • Рангово-бісеріальний коефіцієнт кореляції
Випадки, коли одна зі змінних (наприклад Х) представлена в дихотомічній шкалі, а інша Y в ранговій (порядковій), для опрацювання таких даних застосувують коефіцієнт рангово-бісеріальної кореляції.
Даний коефіцієнт застосовують при перевірці валідності тестів.
Розглянувши основні критерії валідності тестових завдань, можливо зробити висновок, що валідність вимірюється лише експериментальним шляхом за допомогою дослідної групи, яка разом з експертами визначає дидактичні методи запропонованих тестових завдань.
Проте, важливо не тільки вимірювати не тільки вимірювати валідність, але головне, на етапі розробки забезпечити її. Проблема валідності прямо визначає ефективність тесту. Виявлення факту не валідності у кінці розробки фактично перекреслює всю виконану роботу. Тому на етапі розробки слід передбачити можливі заходи забезпечення валідності.