ACİL TIP YETERLİK KURULU SINAV KOMİSYONU 2021 BAHAR DÖNEMİ 1. AŞAMA – BİLGİ DEĞERLENDİRME SINAVI SINAV RAPORU

ACİL TIP YETERLİK KURULU SINAV KOMİSYONU
2021 BAHAR DÖNEMİ
1. AŞAMA – BİLGİ DEĞERLENDİRME SINAVI
SINAV RAPORU
Rapor Tarihi: 16 Haziran 2021

Türk Tabipleri Birliği Ulusal Yeterlik Kurulu’nun verdiği yetki ile faaliyetlerini sürdüren Acil Tıp Yeterlik Kurulu (ATYK) Sınav Komisyonu, 2020 yılı sonunda belirlenen ve ilan edilen takvime uygun olarak 03 Haziran 2021 Perşembe günü saat 13:00-15:30 arasında Acil Tıp Yeterlik Sınavı (ATYS) 1. Aşama Bilgi Değerlendirme Sınavını gerçekleştirdi.
Sınav Ankara, Antalya, İstanbul ve İzmir’de üniversitelere bağlı bilgisayar laboratuvarlarında ATYK Öğretim Yönetim Sistemi (OYS) üzerinden çevrimiçi olarak yapıldı. Sınavın tüm aşamalarında ATYK’nın internet sitesinde ilan edilen ATYS 1. Aşama Sınavı Genel Kuralları uygulandı.

Soruların Toplanması, Seçimi
Soruların toplanması Komisyon Üyesi Dr. Rıdvan Atilla tarafından yapıldı. Sınav soruları için 24 Şubat 2021 tarihinde acil tıp öğretim üyelerine elektronik posta ile duyuru yapıldı; hazırladıkları soruları en geç 05.04.2021 Pazartesi saat 17:00’e kadar [email protected] ya da [email protected] adresine iletmeleri istendi. Soru hazırlayan eğiticilere e-posta ile “İyi bir ÇSS nin Özellikleri”, “ÇSS Kontrol listesi”, “UEMS -CESMA-A Guide To Successfully Writing MCQs: Executive Summary” ve “Acil Tıp Çekirdek Eğitim Müfredatı v2.3” gönderildi. Soruların standart formda hazırlanabilmesi için bir standart soru şablonu kullanıldı ve bu “Soru Şablonu” da öğretim üyelerine yollandı.

Soru havuzu oluşturmak ve daha nitelikli soruları seçebilmek için belirlenen kurallar çerçevesinde toplam 31 acil tıp öğretim üyesinden 222 klinik yetkinlik ve 57 girişimsel yetkinlik alanında toplam 279 çoktan seçmeli soru istendi. Müfredatta yer alan her bir ana konu başlığı ortalama 2 öğretim üyesine paylaştırıldı. Böylece aynı konudan farklı en az iki öğretim üyesinin soru hazırlaması sağlandı. Bu hem konulara farklı bakış açsısı ile soru hazırlanmasını sağlarken hem de soru göndermeyen öğretim üyesi olması durumunda yerinin diğeri ile doldurulmasını sağladı. Soru talebinde bulunduğumuz öğretim üyelerinden 21 tanesinden 168 klinik yetkinlik ve 20 girişimsel yetkinlik alanında toplam 188 çoktan seçmeli soru geri dönüşü oldu.

Gelen sorular Sınav Komisyonundan Dr. Cem Oktay ve Dr. Rıdvan Atilla tarafından soru kökü, seçenek doğruluğu, seçicilik ve anlaşılabilirlik açısından tekrar gözden geçirildi ve seçilen soruların dizgisi yapıldı. Bu sınav için soruların konulara dağılımının Acil Tıp ÇEP’ine göre ağırlıklı uyumu %100 oldu. Sınav konularının konu dağılımı ve yüzdeleri Tablo 1’de verildi.
Seçilen soruların, soruları hazırlayan eğitimcilere göre zorluk derecelenmesi şu şekilde idi: Kolay – 48 soru, Orta – 52 Soru, Zor – 20 Soru

ATYK Öğretim Yönetim Sistemi
COVID-19 pandemisi için alınan önlemler nedeni ile 2020 yılı Güz Dönemi için planlanan sınav yapılamadı. 201 yılında da pandeminin etkileri devam ettiği için Sınav Komisyonumuz sınavın çevrimiçi yapılması yönündeki öneriyi değerlendirdi. Sınavın çevrimiçi yapılabileceği ortamlar değerlendirildi.
En uygun çözüm olarak yaygın şekilde kullanılan bir Öğretim Yönetim Sistemi olan Moodle®, ATYK adına alındı ve https://oys.aciltipyeterlik.org/ ismi ile tanımlandı.
ATYS’nin çevrimiçi uygulanması ve OYS kullanımının teknik desteği için Akdeniz Üniversitesi Tıp Fakültesi Tıp Eğitimi Anabilim Dalı Öğretim Üyesi Doç. Dr. Arif Onan’a resmi yazı ile başvuruda bulunuldu ve Tıp Bilişimi eğitimi olan hocamızın destekleri alındı.

Sınav Merkezlerinin Ayarlanması
Ankara, Antalya, İstanbul ve İzmir illerinde sınavın bilgisayar laboratuvarlarında yapılması için karar aldı. Öncelikle Sınav Komisyonu üyelerimizin görev yaptığı Fakültelerin yöneticileri ile görüşüldü. Sözlü teyit sonrası Hacettepe, Akdeniz, Marmara ve Ege Üniversitelerinin Tıp Fakülteleri Dekanlıklarını ATYK Yürütme Kurulu aracılığı ile resmi yazı gönderildi, onaylar alındı.

Soruların Ön Değerlendirilmesi
ATYS 2021 Bahar Dönemi için seçilen 120 sorular 3 öğretim üyesi ve 3 acil tıp uzmanına Angoff metodu ile değerlendirmek üzere verildi. Angoff analizi yanında soruların yazım ve içerik bakımından da önerileri alındı. Angoff analizine göre sınav notu 100 puan üzerinden 60,02±11,98 olarak hesaplandı. Standart sapmanın yüksekliği sınavın zorluğu ile ilişkili olarak değerlendirildi. Öneriler göre düzeltmeler yapıldı ve sınav sorularının son hali belirlendi.

Soruların Öğretim Yönetim Sistemine Aktarılması
OYS üzerinde ATYS 2021 Bahar Dönemi 1. Aşama Sınavı için sınav sayfası oluşturuldu. Seçilen sorular Dr. Cem Oktay tarafından toplu olarak sınav sayfasına aktarıldı. Şekillerin eklenmesi ve soru kök ve seçeneklerdeki gerekli düzeltmeler yapıldı.
Sınav soruları tek bir sayfada görülecek şekilde, her adaya ayrı soru sıralaması ve karışık seçenek sırası ile görünecek şekilde ayarlandı.

Aday Başvuruları
ATYS 2021 Bahar Dönemi 1. Aşama sınavına 11’i acil tıp uzmanı ve 16’sı dördüncü (son) yıl acil tıp tıpta uzmanlık öğrencisi olmak üzere toplam 27 aday başvurdu. Adayların sınav merkezi tercihleri Ankara: 9; Antalya: 9; İstanbul 3 ve İzmir 6 oldu. Başvurular https://www.aciltipyeterlik.org/ sitesi altında yer alan online başvuru formu (https://www.aciltipyeterlik.org/basvuru-formu/) doldurularak gerçekleştirildi. Başvuru sonrası adaylara başvuru kabulleri ile ilgili cevap yazıldı. 3 adayın başvurusu henüz tıpta uzmanlık eğitiminde 4. yıla başlamadıkları için reddedildi.
Her bir adaya verilen aday numarası ile şifreleri oluşturularak OYS’ye tanımlandı.
Sınavdan 4 gün önce adaylara sınav kuralları, sınava girecekleri merkezler, sınav salon sorumluları ve iletişim adresleri, OYS üzerinden yapılan sınavlar hakkında detaylı bilgi ve sınav genel kuralları hakkında bilgi içeren bir e-posta kişiye özel tek tek gönderildi.

Salon Sorumluları ve Bilgilendirme
Ankara’da Dr. Bülent Erbil, Antalya’da Dr. Cem Oktay, İstanbul’da Dr. Arzu Denizbaşı ve İzmir’de Dr. Yusuf Ali Altuncı Sınav Salon görevlisi olarak görev almayı kabul etti. Sınavdan önce tüm salonlar bilgi işlem teknik personeli ile kontrol edildi; sistemin çalıştığı teyit edildi.
Tüm salon sorumlarına sınavdan önce sınava girecek adayların listesi, sınav kayıt formu, sınav salon tutanağı, adayların kullanıcı adı ve şifrelerini içeren belgeler ve sınavın uygulanması hakkında detaylı bilgileri içeren belgeler gönderildi.

Acil Tıp Yeterlik Sınavı – 2021 Bahar Dönemi
1. Aşama Sınavı ATYS 1. Aşama Bilgi Değerlendirme Sınavı 03 Haziran 2021 tarihinde önceden belirlenen 4 merkezde yapıldı.
Saat 12:00 itibarı ile adayların kayıtları alınmaya başlandı. Adaylar saat 12:30’da salona alındı. Adaylar uygun düzende salona yerleştirildiler. Elektronik özellikteki tüm cihazlar toplandı. Kendilerine sınav kuralları okundu. Adayların OYS sayfasına girmeleri sağlandı. 4 aday (2 uzman, 2 tıpta uzmanlık öğrencisi) sınav gelmedi.
Sınav 13:00’da 23 Aday (9 Acil Tıp Uzmanı, 14 son yıl Tıpta Uzmanlık Öğrencisi) ile sınav OYS üzerinden otomatik olarak başladı. Sınav süresince hiçbir merkezde sınavın gerçekleşmesini engelleyecek olumsuz bir olay olmadı. Sınav saat 15:30’da otomatik olarak kapandı.
Adaylardan çevrimiçi hazırlanan ATYS Sınav Geribildirim Anketini doldurmaları istendi. 22 aday anketi doldurdu. Sonuçları ekte sunuldu.

Sınav Sonrası
Adayların sınavda işaretledikleri yanıtlara göre notları, verdikleri yanıtlar, sınav istatistikleri sınav sonrası hemen alındı. OYS sisteminden alınan Excel dokümanları isimler kapalı olacak şekilde yeni belgeye düzenlendi. Sorular tek tek zorluk indeksi ve açıklaması, ayırt edicilik indeksi ve açıklaması ile seçeneklere verilen yanıt sayıları ve yüzdeleri olarak yeniden düzenlendi.
14 Haziran 2021 tarihinde saat 14:00’da Sınav Komisyon üyeleri Zoom® üzerinden toplandı. Angoff analizi, sınav sorularının zorluk ve ayırt edicilik indeksine göre analizi, sınav ortalaması ve standart sapmasına ile KR20 iç tutarlılıklar katsayısına göre sınava özgü kesme puanı belirlendi. Belirlenen yöntem ve sonuç için bir ölçme ve değerlendirme uzmanının (Akdeniz Üniversitesi Tıp Fakültesi Tıp Eğitimi Anabilim Dalı Öğretim Üyesi Prof. Dr. M. Kemal Alimoğlu) görüşü alındı. Sınav geribildirimleri hakkında detaylı şekilde konuşuldu.
Sınavda adayların verdikleri yanıtlara göre zorluk ve ayırt edicilik indeksleri Tablo 2’de verildi.

Soru hazırlayan öğretim üyelerine göre 48 soru kolay iken, sınav sonucuna göre 46 soru çok kolay-kolay, 52 soru orta iken 29 soru orta ve 20 soru zor iken 45 soru zor-çok zor olarak belirlendi. Bu da sınavın beklenenden daha zor olduğunu düşündürmektedir.
Sınavın KR20 değeri de %68,466 olup idealden biraz düşük kaldı. Ancak, sınava sadece 23 adayın katılmasının, sınavda sorulan soruların zorluk indeksinin, özellikle ayırt edicilik indeksinin ve iç tutarlılık katsayısının kalitesini bir miktar düşürdüğü düşünülmektedir. 100 puan üzerinden en yüksek puan 67,500, en düşük puan 40,333 olarak belirlendi.
Puan ortalaması ve standart sapması 52,899 ± 6,944, ortancası 52.500 idi. Yapılan tüm değerlendirmeler ile sınava özgü kesme puanı belirlendi. Bu puana göre 21 aday (8 Acil Tıp Uzmanı, 13 son yıl Tıpta Uzmanlık Öğrencisi) sınavdan başarılı oldu, 2 adayın (1 Acil Tıp Uzmanı, 1 son yıl Tıpta Uzmanlık Öğrencisi) ise sınavı tekrarlaması gerekeceği belirlendi. Tüm adaylara sınav sonuç belgeleri e-posta ile bağımsız bir şekilde bildirildi.
Tüm sınav evrakları sınav arşivine alındı.

Gelecek Plan
Acil Tıp Yeterlik Sınavı’na soru hazırlayan eğitimcilere ve yeni adaylara yeniden Çoktan Seçmeli Soru Hazırlama Kursu verilmesi kararlaştırıldı.
Acil Tıp Yeterlik Sınavı’nın 2. Aşaması olan Beceri Değerlendirme (Uygulama) Sınavı’nın, 09- 11 Eylül 2021 tarihinde Antalya’da yapılması planlanmaktadır. Sınavın 2. aşamasında görev yapacak eğitimciler belirlenecek. Sınavın ikinci aşamasında kullanılacak olan senaryoların yazılması süreci devam ediyor. Senaryolar bir ay içinde toplanıp son şekilleri verilecek.
ATYK Açık Kitap Sınavı hazırlıkları da devam ediyor.
2021 Güz Döneminde yapılacak olan ATYS 1. Aşama sınavı için eğitimcilerden yeni soru talebinde de bulunulacak.

Sonuç
ATYK Sınav Komisyonumuzca üçüncüsü yapılan Acil Tıp Yeterlik Sınavı 1. Aşama Bilgi Değerlendirme Sınavının gerek ön hazırlıkları, soruların hazırlanması ve seçilmesi, çevrimiçi sınavın organizasyonu ve sınav sonrası analizlerin geçerliliği ve güvenilirliği ile örnek bir Yeterlik Sınavı olduğu kanaatindeyiz. Sınav Komisyonu olarak emeği geçen herkese teşekkürlerimizi sunuyoruz.
Saygılarımızla,

Acil Tıp Yeterlik Kurulu Sınav Komisyonu
√ Prof. Dr. Cem OKTAY
√ Prof. Dr. Arzu DENİZBAŞI
√ Prof. Dr. Nurdan ACAR
√ Doç. Dr. Rıdvan ATİLLA
√ Doç. Dr. Serpil YAYALCI
√ Dr. Öğr. Üyesi Betül AKBUĞA ÖZEL
√ Dr. Öğr. Üyesi Yusuf Ali ALTUNCI

Ek 1. ATYS 2021 Bahar Sınavı Geribildirim Analizi
Acil Tıp Yeterlik Kurulu’nun 03 Haziran 2021 tarihinde 4 ayrı merkezde yaptığı Acil Tıp Yeterlik Sınavı’nın (ATYS) Genel Değerlendirmesi, Zorluk Seviyesi, Genel Puanı ile Olumlu ve Geliştirilmesi Gereke Özelliklerine ait 22 katılımcının doldurduğu anketin sonuçları aşağıdadır.

Adayların geribildirimlerine göre olumlu özellikler aşağıda verilmiştir

• İnternet üzerinden (online) olması
• Ara yüz kullanımının basit, sınav araçların evrak üzerinden değil elektronik olması
• Board tip zorluk dağılımı olması
• Sınav soruları tek bölüm ya da konu üzerinde ağırlaştırılmamış, uygun şekilde dağıtılmış
• Kaliteli sorular olması
• Klinik pratik ile uyumlu
• Sorular güzel hazırlanmış
• Sorular kaliteli
• Sorularda kelime oyunu yapmadan net olarak istenenin belirtilmesi
• Soruların bilgiyi ölçme yeteneği oldukça etkili
• Olgu soruları açıklayıcı
• Görseller net değerlendiriliyor organizasyon çok başarılı,
• Sorular net
• Soru sayısına göre sürenin yeterli olması
• Soruların seçiciliği
• Adil, Eğitici
• Erişilebilir, hızlı, ücretsiz
• Eğlenceli, motive ediciydi
• Geleceği görmek
• Öncesinde yapılan zamanında bilgilendirmeler
• Organizasyonun yeterli düzeyde olması
• Çoklu lokasyonlar
• Teknolojik açıdan sorunsuz bir altyapısı vardı
• Ferah bir ortamda olması gözetmenin ilgili olması
• Sınav süresince rahat ve konforun üst düzey olması
• Ortamın çok iyi hazırlanması
• Kayıt kolaylığı
• Kendini ölçme ve değerlendirme şansı vermesi
• Acil tıp camiasının asistanlarına ve uzmanlarına sahip çıktığını gösteriyor.
• Kendimizi denememizi sağlıyor.
• Acil tıp uzmanı olmadan önce her asistanın girmesi gereken bir sınav olduğunu düşünüyorum.

Adayların geribildirimlerine göre geliştirilmesi gereken özellikler aşağıda verilmiştir:

• Soru içeriklerinden bazıları kolay anlaşılabilir değildi
• Sınav içeriği daha çok Acil Tıp’a yönelik olmalı
• Soru dağılımı
• Klinik önemi hayatımıza yansımayan tıbbi bilgileri soru değeri olarak karşımızda görmemeli
• Daha etkin duyuru, özellikle anabilim dallarının da duyuru yapması
• Daha erken sınav takvimi duyurusu
• Sonuçların açıklanma tarihine yönelik daha fazla bilgilendirme
• Tek doğrulu sorularda daha çok açıklama içeren seçenekler
• Güncel ve sık karşılaşılan hastalıklar/durumlar ile ilgili soruların sayısı çok azdı
• Görseller büyütülebilmeli
• Görsel biraz daha arttırılabilir
• Görüntüleme ile ilgili sorular nitelik ve nicelik açısından yetersizdi
• EKG sorularının sayısı artırılabilir
• BT ve USG görüntüleri ile daha fazla soru sorulabilir
• Kelime ve olumsuzluk eki üzerinden doğru yanlış sorularının tamamen kaldırılması
• Sınav merkezleri çoğaltılabilir
• Katılımının arttırılması, sınav daha fazla kitleye yaygınlaştırılmalı
• Her yıl asistanlarının girmesi için 4 kademeli olmalı
• Online değil de yazılı olmalı
• Daha erken saatte başlayabilir