Оцінювання навчальної програми та викладацького складу має вирішальне значення для всіх вищих навчальних закладів, включаючи медичні школи. Студентське оцінювання викладання (SET) зазвичай має форму анонімних анкет, і хоча спочатку вони були розроблені для оцінки курсів та програм, з часом вони також використовувалися для вимірювання ефективності викладання та подальшого прийняття важливих рішень, пов'язаних з викладанням. Професійний розвиток викладачів. Однак певні фактори та упередження можуть впливати на бали SET, і ефективність викладання не може бути виміряна об'єктивно. Хоча література з оцінювання курсів та викладачів у загальній вищій освіті добре відома, існують занепокоєння щодо використання тих самих інструментів для оцінювання курсів та викладачів у медичних програмах. Зокрема, SET у загальній вищій освіті не може бути безпосередньо застосований до розробки та впровадження навчальної програми в медичних школах. Цей огляд надає огляд того, як SET можна покращити на рівні інструменту, управління та інтерпретації. Крім того, у цій статті зазначається, що за допомогою різних методів, таких як експертна оцінка, фокус-групи та самооцінювання, для збору та тріангуляції даних з різних джерел, включаючи студентів, однолітків, керівників програм та самосвідомість, можна побудувати комплексну систему оцінювання. Ефективно вимірювати ефективність викладання, підтримувати професійний розвиток медичних педагогів та покращувати якість викладання в медичній освіті.
Оцінювання курсів та програм – це процес внутрішнього контролю якості у всіх вищих навчальних закладах, включаючи медичні школи. Студентське оцінювання викладання (SET) зазвичай має форму анонімного документа або онлайн-анкети з використанням шкали оцінювання, такої як шкала Лікерта (зазвичай п'ять, сім або вище), яка дозволяє людям вказати свою згоду або ступінь згоди. Я не згоден з певними твердженнями) [1,2,3]. Хоча SET спочатку були розроблені для оцінювання курсів та програм, з часом вони також використовувалися для вимірювання ефективності викладання [4, 5, 6]. Ефективність викладання вважається важливою, оскільки передбачається, що існує позитивний зв'язок між ефективністю викладання та навчанням студентів [7]. Хоча в літературі ефективність навчання чітко не визначається, вона зазвичай визначається через конкретні характеристики навчання, такі як «групова взаємодія», «підготовка та організація», «зворотний зв'язок зі студентами» [8].
Інформація, отримана з SET, може надати корисну інформацію, наприклад, чи є потреба коригувати навчальні матеріали або методи викладання, що використовуються в певному курсі. SET також використовується для прийняття важливих рішень, пов'язаних з професійним розвитком викладачів [4,5,6]. Однак доцільність цього підходу є сумнівною, коли вищі навчальні заклади приймають рішення щодо викладачів, такі як підвищення до вищих академічних звань (часто пов'язане зі старшинством та підвищенням заробітної плати) та ключових адміністративних посад у закладі [4, 9]. Крім того, заклади часто вимагають від нових викладачів включати SET з попередніх закладів у свої заявки на нові посади, тим самим впливаючи не лише на підвищення викладачів у закладі, але й на потенційних нових роботодавців [10].
Хоча література з навчальних програм та оцінювання викладачів добре відома в галузі загальної вищої освіти, це не стосується галузі медицини та охорони здоров'я [11]. Навчальна програма та потреби медичних викладачів відрізняються від потреб загальної вищої освіти. Наприклад, командне навчання часто використовується в інтегрованих курсах медичної освіти. Це означає, що навчальна програма медичного факультету складається з серії курсів, які викладають низка викладачів, які мають підготовку та досвід у різних медичних дисциплінах. Хоча студенти отримують користь від глибоких знань експертів у цій галузі за цією структурою, вони часто стикаються з проблемою адаптації до різних стилів викладання кожного викладача [1, 12, 13, 14].
Хоча існують відмінності між загальною вищою освітою та медичною освітою, SET, який використовується в першій, також іноді використовується в курсах медицини та охорони здоров'я. Однак впровадження SET у загальній вищій освіті створює багато проблем з точки зору оцінки навчальних програм та викладачів у програмах для медичних працівників [11]. Зокрема, через відмінності в методах викладання та кваліфікації викладачів, результати оцінювання курсів можуть не включати думки студентів про всіх викладачів або класи. Дослідження Уйтенхааге та О'Нілла (2015) [5] показує, що прохання до студентів оцінити всіх окремих викладачів наприкінці курсу може бути недоречним, оскільки студентам майже неможливо запам'ятати та прокоментувати кілька категорій оцінок викладачів. Крім того, багато викладачів медичної освіти також є лікарями, для яких викладання є лише невеликою частиною їхніх обов'язків [15, 16]. Оскільки вони в основному займаються доглядом за пацієнтами та, в багатьох випадках, дослідженнями, у них часто мало часу для розвитку своїх викладацьких навичок. Однак лікарі як викладачі повинні отримувати час, підтримку та конструктивний зворотний зв'язок від своїх організацій [16].
Студенти-медики, як правило, є високомотивованими та працьовитими людьми, які успішно вступають до медичного факультету (завдяки конкурентному та вимогливому міжнародному процесу). Крім того, під час навчання в медичному університеті від студентів-медиків очікується отримання великого обсягу знань та розвитку великої кількості навичок за короткий проміжок часу, а також успішне складання складних внутрішніх та комплексних національних оцінювань [17,18,19,20]. Таким чином, через високі стандарти, що очікуються від студентів-медиків, студенти-медики можуть бути більш критичними та мати вищі очікування щодо високої якості викладання, ніж студенти інших дисциплін. Таким чином, студенти-медики можуть мати нижчі оцінки від своїх професорів порівняно зі студентами інших дисциплін з причин, згаданих вище. Цікаво, що попередні дослідження показали позитивний зв'язок між мотивацією студентів та індивідуальними оцінками викладачів [21]. Крім того, за останні 20 років більшість навчальних програм медичних шкіл у всьому світі стали вертикально інтегрованими [22], завдяки чому студенти мають доступ до клінічної практики з перших років навчання. Таким чином, протягом останніх кількох років лікарі все більше залучаються до навчання студентів-медиків, підтверджуючи, навіть на ранніх етапах своїх програм, важливість розробки навчальних програм для конкретних викладачів [22].
З огляду на специфічний характер медичної освіти, згаданий вище, SET-моделі, що використовуються для оцінювання загальних курсів вищої освіти, що викладаються одним викладачем, слід адаптувати для оцінювання інтегрованої навчальної програми та клінічного факультету медичних програм [14]. Тому існує потреба в розробці ефективніших SET-моделей та комплексних систем оцінювання для більш ефективного застосування в медичній освіті.
У цьому огляді описано останні досягнення у використанні SET у (загальній) вищій освіті та його обмеження, а потім окреслено різні потреби SET для курсів медичної освіти та викладачів. Цей огляд містить оновлену інформацію про те, як SET можна покращити на інструментальному, адміністративному та інтерпретаційному рівнях, і зосереджується на цілях розробки ефективних моделей SET та комплексних систем оцінювання, які дозволять ефективно вимірювати ефективність викладання, підтримувати розвиток професійних викладачів охорони здоров'я та покращувати якість викладання в медичній освіті.
Це дослідження є продовженням дослідження Гріна та ін. (2006) [23] щодо порад та Баумайстера (2013) [24] щодо написання наративних оглядів. Ми вирішили написати наративний огляд на цю тему, оскільки такий тип огляду допомагає представити широку перспективу на цю тему. Більше того, оскільки наративні огляди спираються на методологічно різноманітні дослідження, вони допомагають відповісти на ширші питання. Крім того, наративний коментар може допомогти стимулювати роздуми та дискусію з певної теми.
Як SET використовується в медичній освіті та які труднощі виникають порівняно з SET, що використовується у загальній вищій освіті,
Пошук у базах даних Pubmed та ERIC здійснювався за допомогою комбінації пошукових термінів «оцінювання викладання студентів», «ефективність викладання», «медична освіта», «вища освіта», «оцінювання навчальних програм та викладачів», а для Peer Review 2000 – логічних операторів. Статті, опубліковані між 2021 та 2021 роками. Критерії включення: Включені дослідження були оригінальними дослідженнями або оглядовими статтями, і дослідження були релевантними до трьох основних дослідницьких питань. Критерії виключення: Дослідження, які не були англійською мовою, або дослідження, в яких не вдалося знайти повнотекстові статті або вони не були релевантними до трьох основних дослідницьких питань, були виключені з поточного оглядового документа. Після відбору публікацій вони були організовані за такими темами та відповідними підтемами: (a) Використання SET у загальній вищій освіті та його обмеження, (b) Використання SET у медичній освіті та його релевантність для вирішення питань, пов'язаних з порівнянням SET (c) Удосконалення SET на інструментальному, управлінському та інтерпретаційному рівнях для розробки ефективних моделей SET.
На рисунку 1 наведено блок-схему вибраних статей, включених та обговорених у поточній частині огляду.
SET традиційно використовується у вищій освіті, і ця тема добре вивчена в літературі [10, 21]. Однак велика кількість досліджень розглядала їхні численні обмеження та зусилля щодо їх усунення.
Дослідження показують, що існує багато змінних, які впливають на бали SET [10, 21, 25, 26]. Тому адміністраторам та вчителям важливо розуміти ці змінні під час інтерпретації та використання даних. У наступному розділі наведено короткий огляд цих змінних. На рисунку 2 показано деякі фактори, що впливають на бали SET, які детально описані в наступних розділах.
В останні роки використання онлайн-комплектів зросло порівняно з паперовими. Однак, дані в літературі свідчать про те, що онлайн-тестування SET можна пройти без необхідності приділяти студентам належної уваги процесу його завершення. У цікавому дослідженні Уітдехааге та О'Нілла [5] до SET були додані неіснуючі викладачі, і багато студентів надали відгуки [5]. Більше того, дані в літературі свідчать про те, що студенти часто вважають, що завершення тесту SET не призводить до покращення освітніх досягнень, що в поєднанні з щільним графіком студентів-медиків може призвести до нижчих показників відповідей [27]. Хоча дослідження показують, що думки студентів, які складають тест, не відрізняються від думок усієї групи, низькі показники відповідей все ж можуть призвести до того, що викладачі менш серйозно ставляться до результатів [28].
Більшість онлайн-тестів SET заповнюються анонімно. Ідея полягає в тому, щоб дозволити студентам вільно висловлювати свою думку, не припускаючи, що їхнє висловлення матиме якийсь вплив на їхні майбутні стосунки з викладачами. У дослідженні Альфонсо та ін. [29] дослідники використовували анонімні оцінки та оцінки, в яких оцінювачі повинні були назвати свої імена (публічні оцінки), щоб оцінити ефективність викладання викладачів медичних шкіл резидентами та студентами-медиками. Результати показали, що викладачі загалом отримали нижчі бали за анонімними оцінюваннями. Автори стверджують, що студенти більш чесні в анонімних оцінюваннях через певні бар'єри у відкритих оцінюваннях, такі як пошкоджені робочі стосунки з викладачами, які беруть участь [29]. Однак слід також зазначити, що анонімність, яка часто асоціюється з онлайн-тестами SET, може призвести до того, що деякі студенти будуть неповажними та помстять викладача, якщо бали оцінювання не відповідають очікуванням студентів [30]. Однак дослідження показують, що студенти рідко надають неповажний зворотний зв'язок, і останній можна додатково обмежити, навчивши студентів надавати конструктивний зворотний зв'язок [30].
Кілька досліджень показали, що існує кореляція між балами студентів за SET, їхніми очікуваннями щодо успішності тестування та їхньою задоволеністю тестуванням [10, 21]. Наприклад, Strobe (2020) [9] повідомляв, що студенти винагороджують легкі курси, а вчителі – слабкі оцінки, що може сприяти поганому викладанню та призвести до завищення оцінок [9]. У нещодавньому дослідженні Looi et al. (2020) [31] дослідники повідомили, що більш сприятливі SET пов'язані між собою та легше оцінюються. Більше того, існують тривожні докази того, що SET обернено пропорційний успішності студентів на наступних курсах: чим вищий рейтинг, тим гірші результати студентів на наступних курсах. Cornell et al. (2016) [32] провели дослідження, щоб з'ясувати, чи навчилися студенти коледжів відносно більше від вчителів, чиї SET вони високо оцінили. Результати показують, що коли навчання оцінюється в кінці курсу, вчителі з найвищими оцінками також сприяють навчанню більшості студентів. Однак, коли навчання вимірюється успішністю на наступних відповідних курсах, вчителі, які отримали відносно низькі бали, є найефективнішими. Дослідники висунули гіпотезу, що підвищення складності курсу продуктивним способом може знизити оцінки, але покращити навчання. Таким чином, оцінювання студентів не повинно бути єдиною основою для оцінювання викладання, а має бути визнаним.
Кілька досліджень показують, що результати тесту SET залежать від самого курсу та його організації. Мін та Баочжі [33] у своєму дослідженні виявили значні відмінності в балах SET серед студентів з різних предметів. Наприклад, клінічні науки мають вищі бали SET, ніж фундаментальні науки. Автори пояснили, що це пов'язано з тим, що студенти-медики зацікавлені стати лікарями і тому мають особистий інтерес та вищу мотивацію брати участь у курсах клінічних наук порівняно з фундаментальними курсами [33]. Як і у випадку з факультативами, мотивація студентів до предмета також позитивно впливає на бали [21]. Кілька інших досліджень також підтверджують, що тип курсу може впливати на бали SET [10, 21].
Більше того, інші дослідження показали, що чим менший розмір класу, тим вищий рівень SET (оцінювання відповідності вимогам) досягають вчителі [10, 33]. Одним з можливих пояснень є те, що менший розмір класів збільшує можливості для взаємодії вчителя та учня. Крім того, умови, в яких проводиться оцінювання, можуть впливати на результати. Наприклад, на бали SET, здається, впливає час і день викладання курсу, а також день тижня, коли проводиться оцінювання SET (наприклад, оцінювання, проведене у вихідні дні, як правило, призводить до більш позитивних балів), ніж оцінювання, проведене раніше протягом тижня [10].
Цікаве дослідження Гесслера та ін. також ставить під сумнів ефективність SET. [34]. У цьому дослідженні було проведено рандомізоване контрольоване дослідження на курсі невідкладної медицини. Студентів-медиків третього курсу було випадковим чином розподілено або на контрольну групу, або на групу, яка отримувала безкоштовне печиво з шоколадною крихтою (група печива). Усі групи навчали одні й ті ж викладачі, а навчальний зміст та навчальні матеріали були однаковими для обох груп. Після курсу всім студентам було запропоновано виконати набір завдань. Результати показали, що група печива оцінила викладачів значно краще, ніж контрольна група, що ставить під сумнів ефективність SET [34].
Дані в літературі також підтверджують, що стать може впливати на бали SET [35,36,37,38,39,40,41,42,43,44,45,46]. Наприклад, деякі дослідження показали зв'язок між статтю студентів та результатами оцінювання: студентки отримали вищі бали, ніж студенти чоловічої статі [27]. Більшість доказів підтверджують, що студенти оцінюють вчителів-жінок нижче, ніж вчителів чоловічої статі [37, 38, 39, 40]. Наприклад, Борінг та ін. [38] показали, що як студенти чоловічої, так і жіночої статі вважають, що чоловіки більш обізнані та мають сильніші лідерські здібності, ніж жінки. Той факт, що стать та стереотипи впливають на SET, також підтверджується дослідженням МакНелла та ін. [41], який повідомив, що студенти в його дослідженні оцінювали вчителів-жінок нижче, ніж вчителів чоловічої статі, за різними аспектами викладання [41]. Крім того, Морган та ін. [42] надали докази того, що лікарі-жінки отримували нижчі оцінки викладання у чотирьох основних клінічних спеціальностях (хірургія, педіатрія, акушерство та гінекологія та внутрішня медицина) порівняно з лікарями-чоловіками.
У дослідженні Мюррея та ін. (2020) [43] дослідники повідомили, що привабливість викладачів та інтерес студентів до курсу були пов'язані з вищими балами SET. І навпаки, складність курсу пов'язана з нижчими балами SET. Крім того, студенти ставили вищі бали SET молодим білим чоловікам-викладачам гуманітарних наук та викладачам, які обіймають посади професорів. Не було виявлено кореляції між оцінюванням викладання SET та результатами опитування вчителів. Інші дослідження також підтверджують позитивний вплив фізичної привабливості вчителів на результати оцінювання [44].
Клейсон та ін. (2017) [45] повідомляли, що, хоча існує загальна згода щодо того, що SET дає надійні результати, а середні показники класу та вчителя є послідовними, все ще існують невідповідності в окремих відповідях учнів. Підсумовуючи, результати цього звіту про оцінювання свідчать про те, що учні не погоджувалися з тим, що їх просили оцінити. Показники надійності, отримані на основі оцінок учнів щодо викладання, є недостатніми для того, щоб забезпечити основу для встановлення валідності. Тому SET іноді може надавати інформацію про учнів, а не про вчителів.
SET у сфері медичної освіти відрізняється від традиційного SET, але викладачі часто використовують SET, доступний у загальній вищій освіті, а не SET, специфічний для програм медичної освіти, про які повідомляється в літературі. Однак дослідження, проведені протягом багатьох років, виявили кілька проблем.
Джонс та ін. (1994). [46] провели дослідження, щоб визначити питання оцінки викладацького складу медичного факультету з точки зору викладачів та адміністрації. Загалом, найчастіше згадувалися проблеми, пов'язані з оцінюванням викладання. Найпоширенішими були загальні скарги на неадекватність існуючих методів оцінки ефективності, при цьому респонденти також висували конкретні скарги на SET та відсутність визнання викладання в системах академічної винагороди. Інші проблеми, про які повідомлялося, включали невідповідність процедур оцінювання та критеріїв просування по службі між кафедрами, відсутність регулярних оцінювань та нездатність пов'язати результати оцінювання із заробітною платою.
Роял та ін. (2018) [11] окреслюють деякі обмеження використання SET для оцінки навчальної програми та викладацького складу в програмах для медичних працівників у загальній вищій освіті. Дослідники повідомляють, що SET у вищій освіті стикається з різними проблемами, оскільки його не можна безпосередньо застосовувати до розробки навчальної програми та викладання курсів у медичних вузах. Часті запитання, включаючи запитання про викладача та курс, часто об'єднуються в одну анкету, тому студентам часто важко розрізняти їх. Крім того, курси медичних програм часто викладають кілька викладачів. Це викликає питання щодо валідності, враховуючи потенційно обмежену кількість взаємодій між студентами та викладачами, оцінених Роялом та ін. (2018) [11]. У дослідженні Хванга та ін. (2017) [14] дослідники досліджували концепцію того, як ретроспективні оцінки курсів всебічно відображають сприйняття студентами курсів різних викладачів. Їхні результати свідчать про те, що індивідуалізоване оцінювання класу необхідне для управління багатофакультетними курсами в рамках інтегрованої навчальної програми медичного факультету.
Уітдехааге та О'Нілл (2015) [5] досліджували, якою мірою студенти-медики навмисно проходили тестування на SET у багатофакультетському аудиторному курсі. Кожен із двох доклінічних курсів мав вигаданого викладача. Студенти повинні надати анонімні оцінки всім викладачам (включаючи вигаданих викладачів) протягом двох тижнів після завершення курсу, але можуть відмовитися оцінювати викладача. Наступного року це сталося знову, але портрет вигаданого викладача був включений. Шістдесят шість відсотків студентів оцінили віртуального викладача без подібності, але менше студентів (49%) оцінили віртуального викладача зі подібністю. Ці результати свідчать про те, що багато студентів-медиків виконують тести на SET наосліп, навіть якщо вони супроводжуються фотографіями, не ретельно обмірковуючи, кого вони оцінюють, не кажучи вже про роботу викладача. Це перешкоджає покращенню якості програми та може зашкодити академічному прогресу викладачів. Дослідники пропонують структуру, яка пропонує радикально інший підхід до тестування на SET, який активно та активно залучає студентів.
Існує багато інших відмінностей в навчальній програмі медичних програм порівняно з іншими програмами загальної вищої освіти [11]. Медична освіта, як і професійна медична освіта, чітко зосереджена на розвитку чітко визначених професійних ролей (клінічна практика). Як результат, навчальні програми медичних та медичних програм стають більш статичними, з обмеженим вибором курсів та викладачів. Цікаво, що курси медичної освіти часто пропонуються у когортному форматі, коли всі студенти проходять один і той самий курс одночасно кожного семестру. Тому зарахування великої кількості студентів (зазвичай n = 100 або більше) може вплинути на формат навчання, а також на взаємини між викладачем і студентом. Більше того, у багатьох медичних школах психометричні властивості більшості інструментів не оцінюються при першому використанні, і властивості більшості інструментів можуть залишатися невідомими [11].
Кілька досліджень, проведених за останні кілька років, надали докази того, що SET можна покращити, враховуючи деякі важливі фактори, які можуть впливати на ефективність SET на інструментальному, адміністративному та інтерпретаційному рівнях. На рисунку 3 показано деякі кроки, які можна використовувати для створення ефективної моделі SET. У наступних розділах наведено більш детальний опис.
Удосконалити SET на інструментальному, управлінському та інтерпретаційному рівнях для розробки ефективних SET-моделей.
Як згадувалося раніше, література підтверджує, що гендерна упередженість може впливати на оцінювання вчителів [35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 45, 46]. Петерсон та ін. (2019) [40] провели дослідження, яке вивчало, чи впливає стать учнів на їхню реакцію на зусилля щодо зменшення упередженості. У цьому дослідженні SET (оцінювання за допомогою методу оцін ...
Щоб отримати корисні результати будь-якого SET-опитування, важливо заздалегідь ретельно продумати мету оцінювання та формулювання питань. Хоча більшість опитувань SET чітко вказують на розділ про організаційні аспекти курсу, тобто «Оцінювання курсу», та розділ про викладачів, тобто «Оцінювання викладачів», у деяких опитуваннях різниця може бути неочевидною, або серед студентів може виникнути плутанина щодо того, як оцінювати кожну з цих областей окремо. Тому дизайн анкети має бути відповідним, уточнювати дві різні частини анкети та інформувати студентів про те, що слід оцінювати в кожній області. Крім того, рекомендується провести пілотне тестування, щоб визначити, чи інтерпретують студенти питання належним чином [24]. У дослідженні Ерманна та ін. (2018) [26] дослідники шукали та синтезували літературу, що описує використання SET у широкому спектрі дисциплін у бакалавраті та магістратурі, щоб надати викладачам рекомендації щодо використання SET у програмах для медсестер та інших медичних працівників. Результати свідчать про те, що інструменти SET слід оцінювати перед використанням, включаючи пілотне тестування інструментів зі студентами, які можуть не мати змоги інтерпретувати пункти або питання інструменту SET так, як задумав викладач.
Кілька досліджень вивчали, чи впливає модель управління SET на залученість студентів.
Дом'є та ін. (2004) [47] порівняли оцінки студентів щодо навчання інструкторів, проведеного в аудиторії, з оцінками, зібраними онлайн, шляхом порівняння кількості відповідей та оцінок. Дослідження показують, що онлайн-опитування зазвичай мають нижчі показники відповідей, ніж опитування в аудиторії. Однак дослідження виявило, що онлайн-оцінювання не дало суттєво відмінних середніх оцінок від традиційних оцінювань в аудиторії.
Повідомлялося про відсутність двостороннього спілкування між студентами та викладачами під час заповнення онлайн- (але часто друкованих) тестів SET, що призводило до відсутності можливості для роз'яснень. Тому значення запитань, коментарів чи оцінок студентів у SET не завжди може бути зрозумілим [48]. Деякі навчальні заклади вирішили цю проблему, зібравши студентів разом на годину та виділивши певний час для онлайн-заповнення SET (анонімно) [49]. У своєму дослідженні Malone та ін. (2018) [49] провели кілька зустрічей, щоб обговорити зі студентами мету SET, хто бачитиме результати SET та як вони будуть використані, а також будь-які інші питання, порушені студентами. SET проводиться подібно до фокус-групи: колективна група відповідає на відкриті запитання шляхом неформального голосування, дебатів та роз'яснень. Рівень відповідей становив понад 70–80%, що надало викладачам, адміністраторам та навчальним комітетам вичерпну інформацію [49].
Як згадувалося вище, у дослідженні Уітдехааге та О'Нілла [5] дослідники повідомили, що студенти в їхньому дослідженні оцінювали неіснуючих викладачів. Як згадувалося раніше, це поширена проблема в курсах медичних вузів, де кожен курс може викладатися багатьма викладачами, але студенти можуть не пам'ятати, хто зробив свій внесок у кожен курс або чим займався кожен викладач. Деякі заклади вирішили цю проблему, надавши фотографію кожного викладача, його/її ім'я та тему/дату виступу, щоб освіжити пам'ять студентів та уникнути проблем, які знижують ефективність SET [49].
Мабуть, найважливішою проблемою, пов'язаною з SET, є те, що вчителі не можуть правильно інтерпретувати кількісні та якісні результати SET. Деякі вчителі можуть бажати проводити статистичні порівняння протягом багатьох років, деякі можуть розглядати незначне збільшення/зниження середніх балів як значущі зміни, деякі хочуть вірити кожному опитуванню, а інші відверто скептично ставляться до будь-якого опитування [45,50, 51].
Нездатність правильно інтерпретувати результати або обробити зворотний зв'язок від студентів може вплинути на ставлення вчителів до викладання. Результати Лутовака та ін. (2017) [52]. Підтримуюче навчання вчителів є необхідним і корисним для надання зворотного зв'язку студентам. Медична освіта терміново потребує навчання правильній інтерпретації результатів SET. Тому викладачі медичних шкіл повинні пройти навчання з оцінки результатів та важливих напрямків, на яких вони повинні зосередитися [50, 51].
Таким чином, описані результати свідчать про те, що тести SET слід ретельно розробляти, проводити та інтерпретувати, щоб забезпечити значний вплив результатів SET на всіх зацікавлених сторін, включаючи викладачів, адміністрацію медичних шкіл та студентів.
Через деякі обмеження SET, нам слід продовжувати прагнути створити комплексну систему оцінювання, щоб зменшити упередженість в ефективності викладання та підтримати професійний розвиток медичних педагогів.
Більш повне розуміння якості викладання клінічних факультетів можна отримати шляхом збору та тріангуляції даних з різних джерел, включаючи студентів, колег, адміністраторів програм та самооцінку викладачів [53, 54, 55, 56, 57]. У наступних розділах описано можливі інші інструменти/методи, які можна використовувати на додаток до ефективного SET, щоб допомогти розвинути більш доречне та повне розуміння ефективності навчання (Рисунок 4).
Методи, які можна використовувати для розробки комплексної моделі системи оцінки ефективності навчання в медичному навчальному закладі.
Фокус-група визначається як «групове обговорення, організоване для вивчення певного кола питань» [58]. Протягом останніх кількох років медичні школи створювали фокус-групи для отримання якісного зворотного зв'язку від студентів та усунення деяких недоліків онлайн-тренінгів для самоаналізу. Ці дослідження показують, що фокус-групи ефективно забезпечують якісний зворотний зв'язок та підвищують задоволеність студентів [59, 60, 61].
У дослідженні Брандла та ін. [59] дослідники впровадили процес групової оцінки студентів, який дозволив керівникам курсів та студентам обговорювати курси у фокус-групах. Результати показують, що обговорення у фокус-групах доповнюють онлайн-оцінювання та підвищують задоволеність студентів загальним процесом оцінювання курсів. Студенти цінують можливість безпосередньо спілкуватися з керівниками курсів та вважають, що цей процес може сприяти покращенню освіти. Вони також відчували, що змогли зрозуміти точку зору керівника курсів. Окрім студентів, керівники курсів також оцінили, що фокус-групи сприяють ефективнішому спілкуванню зі студентами [59]. Таким чином, використання фокус-груп може забезпечити медичним навчальним закладам повніше розуміння якості кожного курсу та ефективності викладання відповідного факультету. Однак слід зазначити, що самі фокус-групи мають деякі обмеження, такі як невелика кількість студентів, які беруть участь у них, порівняно з онлайн-програмою SET, яка доступна для всіх студентів. Крім того, проведення фокус-груп для різних курсів може бути трудомістким процесом для консультантів та студентів. Це створює значні обмеження, особливо для студентів-медиків, які мають дуже щільний графік і можуть проходити клінічну практику в різних географічних місцях. Крім того, фокус-групи вимагають великої кількості досвідчених фасилітаторів. Однак, включення фокус-груп до процесу оцінювання може надати більш детальну та конкретну інформацію про ефективність навчання [48, 59, 60, 61].
Шік'єрка-Швакке та ін. (2018) [62] дослідили сприйняття студентами та викладачами нового інструменту для оцінювання успішності викладачів та результатів навчання студентів у двох німецьких медичних школах. Були проведені фокус-групові дискусії та індивідуальні інтерв'ю з викладачами та студентами-медиками. Викладачі високо оцінили особистий зворотний зв'язок, наданий інструментом оцінювання, а студенти повідомили, що слід створити цикл зворотного зв'язку, включаючи цілі та наслідки, для заохочення звітності про дані оцінювання. Таким чином, результати цього дослідження підтверджують важливість закриття циклу комунікації зі студентами та інформування їх про результати оцінювання.
Програми експертної оцінки викладання (PRT) є дуже важливими та впроваджуються у вищій освіті вже багато років. PRT передбачає спільний процес спостереження за викладанням та надання спостерігачеві зворотного зв'язку для підвищення ефективності викладання [63]. Крім того, вправи на саморефлексію, структуровані подальші обговорення та систематичне призначення навчених колег можуть допомогти підвищити ефективність PRT та культуру викладання на кафедрі [64]. Повідомляється, що ці програми мають багато переваг, оскільки вони можуть допомогти викладачам отримати конструктивний зворотний зв'язок від колег-викладачів, які, можливо, стикалися з подібними труднощами в минулому, та можуть забезпечити більшу підтримку, надаючи корисні пропозиції щодо покращення [63]. Більше того, при конструктивному використанні експертна оцінка може покращити зміст курсу та методи його проведення, а також допомогти медичним викладачам у покращенні якості їхнього викладання [65, 66].
Нещодавнє дослідження Campbell et al. (2019) [67] надає докази того, що модель взаємодопомоги на робочому місці є прийнятною та ефективною стратегією розвитку викладачів клінічної охорони здоров'я. В іншому дослідженні Caygill et al. [68] провели дослідження, в якому спеціально розроблену анкету було надіслано викладачам медичної освіти в Університеті Мельбурна, щоб вони могли поділитися своїм досвідом використання PRT. Результати свідчать про те, що серед медичних викладачів існує прихований інтерес до PRT, і що добровільний та інформативний формат взаємодопомоги вважається важливою та цінною можливістю для професійного розвитку.
Варто зазначити, що програми PRT повинні бути ретельно розроблені, щоб уникнути створення упередженого, «управлінського» середовища, яке часто призводить до підвищеної тривожності серед викладачів, за якими спостерігають [69]. Тому метою має бути ретельна розробка планів PRT, які доповнюватимуть та сприятимуть створенню безпечного середовища та забезпечуватимуть конструктивний зворотний зв'язок. Тому необхідне спеціальне навчання для підготовки рецензентів, а програми PRT повинні залучати лише справді зацікавлених та досвідчених викладачів. Це особливо важливо, якщо інформація, отримана в результаті PRT, використовується для прийняття рішень викладачами, таких як підвищення на вищі рівні, підвищення заробітної плати та підвищення на важливі адміністративні посади. Слід зазначити, що PRT займає багато часу та, як і фокус-групи, вимагає участі великої кількості досвідчених викладачів, що ускладнює впровадження цього підходу в медичних школах з обмеженими ресурсами.
Ньюман та ін. (2019) [70] описують стратегії, що використовуються до, під час та після навчання, спостереження, які висвітлюють найкращі практики та визначають рішення проблем навчання. Дослідники надали рецензентам 12 пропозицій, зокрема: (1) мудро вибирати слова; (2) дозволити спостерігачеві визначити напрямок дискусії; (3) зберігати конфіденційність та форматування зворотного зв'язку; (4) зберігати конфіденційність та форматування зворотного зв'язку; Зворотній зв'язок зосереджується на навичках викладання, а не на окремому вчителі; (5) Пізнавати своїх колег, (6) бути уважним до себе та інших, (7) пам'ятати, що займенники відіграють важливу роль у наданні зворотного зв'язку, (8) використовувати запитання, щоб пролити світло на перспективу викладання, (10) встановити довіру до процесів та зворотний зв'язок у спостереженнях колег, (11) зробити спостереження за навчанням взаємовигідним, (12) створити план дій. Дослідники також досліджують вплив упередженості на спостереження та те, як процес навчання, спостереження та обговорення зворотного зв'язку може забезпечити цінний навчальний досвід для обох сторін, що призводить до довгострокового партнерства та покращення якості освіти. Гомалі та ін. (2014) [71] повідомляли, що якість ефективного зворотного зв'язку повинна включати (1) уточнення завдання шляхом надання вказівок, (2) підвищену мотивацію для заохочення до більших зусиль та (3) сприйняття одержувачем зворотного зв'язку як цінного процесу. надано авторитетним джерелом.
Хоча викладачі медичних шкіл отримують відгуки щодо PRT, важливо навчити їх інтерпретувати відгуки (подібно до рекомендації пройти навчання з інтерпретації SET) та надати викладачам достатньо часу для конструктивного осмислення отриманих відгуків.
Час публікації: 24 листопада 2023 р.