Thursday, April 27, 2023

Giving Secure Online Examinations, Quizzes in the World of Artificial Intelligence and Chat BOTs

 

 

To prevent cheating in online exams, it would be useful to first review how students cheat.

The following are some common ways of cheating in online exams:

  • Unreasobale or unlimited Exam duration: Not setting a proper exam duration (start, end, and exam duration settings) can be a problem, even if start and end times are defined in some institutions, as defining an excessively long exam time or an exam that lasts from morning until evening is an invitation and even encouragement to cheat. In addition, the rights of other students who take the same or similar courses are also violated. The solution is to define a realistic and fair exam duration, just like in face-to-face exams, without forgetting the concepts of justice and fairness.
  • Communication groups: Instant sharing of the answers of the solved questions by setting up communication groups can only solve cheating on random questions or questions that are diversified with different values.
  • Sending exam questions to online sites and receiving the answers of the questions by sending them back. This type of cheating can only be solved by sequential questions and preventing the viewing and returning of the question. Also, a fair and reasonable exam duration setting is necessary.
  • Opening a new tab/window or browser next to the internet browser page during the exam and searching for the solutions of the questions on electronic environments on the internet or sending emails to previously agreed persons to solve the question. This possibility can be prevented by setting the exam system's internet browser to kiosk mode through the Secure Browser setting.
  • Same questions and answers for everyone. In this case, sharing the questions and answer choices directly through communication groups is possible. The solution is to have random questions and answer choices for each student.
  • Unlimited Examination Entrance: One or more students who do not expect anything from the course, drop the course, or know for sure that they will fail, entering the exam first and sharing the questions one by one in groups, creating a copy question and answer pool, and then all other students entering the system and marking only the questions and their relevant correct answers. This possibility of cheating can be reduced by limiting the entry time to the exam.
  • Use of open artificial intelligence programs/applications that are available to everyone online or in the form of an application.

After summarizing the most common cheating methods in online exams, the following techniques can be used to minimize these possibilities:

  • The priority is to create a well-planned question pool entirely composed of new questions that are different every year and every term. 
  • In this context, one of the things to do is to create a question pool for each section separately, which is quite diverse, even classified according to difficulty levels, and which produces different results by giving different numerical values ​​to the same difficulty and question set to create an exam pool. Thus, even if similar questions come to students who know each other, communicate, or even sit next to each other, the results will be different because the numerical values ​​of the numbers will be different. Even if they come as similar questions from random questions, at least copying in the first stage will be prevented because the numerical values ​​will be different. 
  • It is essential to set questions as random and as a single question on each page.
  • One of the things to be done is to make sure that the start, end, and duration settings of the exam are made, and the student finishes the exam at the end of the specified time for solving the questions. Once the time settings mentioned are made, the remaining time on the system will be displayed continuously, and the exam will be automatically saved and closed at the end of the time. 
  • One of the ways to prevent cheating, especially in online exams, is to ensure that the questions appear sequentially, not free, one after the other, and only forward, and to prevent going back to previous questions. That is, it is to prevent students from copying the questions, sharing them with someone else, or finding the correct answers somewhere, and then returning to answer them. 
  • Another way is to ensure that the questions and answer options are selected randomly during the exam. Thus, the possibility of similar or the same questions coming to close students who know each other, form a group or communicate is reduced, preventing copying. 
  • Preventing students from opening another application in the background during the exam is another way to prevent cheating. This method, which can be used as a way to prevent students from searching for solutions to questions in another environment by connecting to the internet, is to take the exam in a Secure/Protected Browser mode. That is, the browser that is opened will be in kiosk mode and cover the entire screen, allowing the student to use only the question screen, preventing another browser or tab from being opened. 
  • Ensuring that students enter the exam only in the allowed time at the beginning of the eaxmination, in the first 10 or 15-mins., depending on the situation, and preventing them from entering the exam in the following minutes is a way to prevent cheating. Thus, as soon as the exam starts, all students will enter the exam, and their time will begin. 
  • Another method is to use some special software, sign online course registration requirements and rules for students at the beginning of the term, and install software that does not allow other connections and background applications in their PC/Table/Smartphone during exams. However, there may be cost and hesitation both at the institutional and student level.
  • During the exam, monitoring and controlling the student and their surroundings through multiple cameras is another way of supervision. However, this method will require multiple supervisors to control multiple cameras during the exam, leading to institutional and student-level costs and concerns (such as monitoring personal environments).
  • To prevent the use of open-access artificial intelligence programs online or through applications, questions should be prepared in image format rather than direct text format. Here, questions should be presented as an image with only the question text in text format or even the entire question in image format, with other necessary information provided in a suitable manner for solving the question. This may not be possible for every question, in which case the question should be created using complex watermark patterns or other designs and must be submitted in image format. As current artificial intelligence applications still use version 3.0 or 3.5, they cannot yet accept image or voice inputs. However, in the future, with version 4.0 or 5.0, using different designs in the background (like CAPTCHA) for image-format questions and submitting questions to the system in this way should be considered as a way to minimize cheating.

    Finally, it may not be possible to apply all of these methods simultaneously, but combining appropriate ones will be the most intelligent approach.



  •  

Friday, April 14, 2023

Yapay Zeka ve Chat BOT lar Dünyasında Çevrimiçi Sınav Yapmak

 

 

Online/çevrim içi sınavlarda kopya çekilmesini önleyebilmek için öncelikli olarak  öğrencilerin nasıl kopya çetiklerini bir gözden geçirmemiz faydalı olacaktır.

  • Sınavda bir sınav süresi (başlangı, bitiş ve Sınav süresi ayarı yapılmamış olması. Bu bazı kurumlarda başlangış ve bitiş ayarları yapılmasına rağmen sınav süresi gerçek bir sınav süresi süresinin çok ötesinde sınav süresi tanımlanması sonucu oluşan bir problemdir, aslında bir problem olmayıp ihmal, haksızlığa göz yumulmasıdır. Çünkü süresi çok uzun bir sınavda yada sabah başlayı kaşama kadar süren bir sınavda KOPYAya açık davetiyedir.  Çözümü ise yüz-yüze sınavlarda olduğu gibi gerçekçi ve hakkaniyetli bir sınav süresi tanımlanması olup HAK ve ADALET kavramlarının unutulmamasıdır.
  • Habreleşme grubları kurarak soruları bu grup üzerinden anında paylaşarak çözülen sorunun cevabanı öğrenmek. Bu tür kopayayı sadece Random/Rastgele sorular, soruların farklı değerlerle çeşitlendirilmesi çözebilir. 
  • Online/çevrimi içi sitelere sınavda çıkan soruların yollanarak cevabı yollanan soruların cevaplarının geri dönülerek girlmesidir. Bu tür kopayayı sadece ileri yönlü sorular sorup geri dönülmenin engellenmesi ve sınav süresi ayarı çözebilir.
  • Sınav esnasında internet browser/tarayısı sayfasının yanında yeni bir tab/sekme yada yeni bir tarayısı açarak soruların çözümlerinin elektronik ortamlarda, internette aranması yada soruyu çözmesi için önceden anlaşılan kiş/kişilere mail/e-posta atılması. Bu ihtimal sınav sistemi için kullanılan internet taryıcının kiosk modunda açılması için Secure Browser/Güvenli tarayıcı ile çözülebilir.
  • Soruların ve soruların cevaplarının hep aynı olaması, bu durumda habreleşme grubları üzerinden doğrudan soru ve cevap şıklarının paylaşımı. Bunun çözümü de her öğrenciye soruların ve her sorunun cevap şıklarının ramdom/rastgele çıklmasıdır.
  • Sınava gire öğrencilerden dersten beklentisi olmayan, dersi bırakan yada aldığı dönem kalacağını kesin bilen bir yada bir kaç öğrencinin sınava sınav başlayınca en önce sınava girip soruları tek tek gruplarda paylaşarak hemen bir kopya soru ve cevap havuzu oluşturup daha sonra sisteme diğer kalan 5-10 dk gibi bir sürenin bile yetebileceği bir zaman içinde tüm diğer öğrencilerinde girip sadece soru ve ilgili doğru cevapları işaretelemeleridi. Bu kopya ihtimali de sınava giriş süresinin sınırlandırılmasıdır.
  • Online yada uygulama halinde herkesin kullanımına açık olan yapay zeka proğramlarının kullanımı.
Yukarıda vermeye çalıştığımız Online/çevrim içi sınavlardaki en genel kopya metodlarının özetinden sonra bunları önlemek için aşağıda vereceğimiz tekniklerle bu ihtimaller en aza indirilebilir.
  • Öncelikli olarak her yıl ve her dönem için tamamen farlı yeni sorulardan olşturulan iyi planlanmış bir soru havuzu oluşturulmasıdır. 
  • Bu bağlamda yapılacak şeylerden birisi her bölüm için ayrı ayrı, oldukça çeşitlendirilmiş, hatta zorluk dercelerine göre sınıflandırılmış bir soru havuzu oluşturarak aynı zorluk ve aynı soru öbeğine farklı sayısal değerler vererek farklı sonuçlarını üretileceği bir sınav havuzu oluşturmaktır. Böylece birbirini tanıyan, haberleşen, hatta yayn yana oturan öğrencilere benzer sorular gelmesine rağmen sayıların nümerik/sayısal değerleri farklı olacağı için sonuçlar farklı olacaktır. Sorular benzer sorular olarak gelse bile sayısal değerler farklı olacağı için en azından gene ilk etapta kopya çekilmesi engellenmiş olacaktır.
  • Yapılması gereken şeylerden birisi de mutlaka sınav başlangıç, bitiş ve süre yarlarını mutalak yapılmalı ve soruların çözülebilmesi için belirlenen süre sonunda öğrencinin sınavı bitirmesi sağlanmalıdır. Bu zaten bahsetiğim süre ayarları yapıldığı takride sistem üzerinde kalan süre sürekli göterilerek ve süre sonunda sınav otomatik olarak kaydededilerek  kapanacaktır.
  • Online sınavlarda özellikle kopya önlemenin yollarından birisi öncelikli olarak soruların ardışık olarak ve birbirini takip edecek şekilde sadece ileri yönlü olarak ve geri dönülmesini engelleyecek şekilde öğrencinin karşısına çıkmasını sağlamaktır. Yani öğrencilerin soruları önce kopyalayıp sonra doğru cevaplara ulaştıktan sonra geri dönerek cevaplama yapmlarını engellemektir. 
  • Bir başka yol öğrencilere sınav esnasında soruların ve soruların cevap şıklarının sürekli olarak Random/rastgele olarak seçilmesini sağlamaktır. Böylece yakın öğrencilere yani birbirini tanıyan, grup oluşrurmuş olan, haberleşen öğrencilere benzer soruların ya da aynı soruların gelmesi ihtimalini azaltarak kopyayı engellemektir.
  • Sınav esnasında öğrencilerin arka fonda başka bir uygulama açmalarını önlemektir. Özellikle internet bağlantısı yaparak soruların bir başka ortamda çözümlerini aramalarını önlemenin yolu olarak kullanılabilecek bu metod Korumalı Browzer (Secure Browser) modunda sınav yapmaktır. Yani açılan browser'ın kiosk modunda açılarak ekranı tamamen kaplaması ve arka fona düşürülmesini ebeglleyecek ve böylece öğrenci sadece soru ekranını kullanacak, başka bir browser yada tab açmasını engellenecektir. 
  • Sınav girişinde öğrencilerin sadece müsaade edilen 10 ya da 15 dakikalık belki duruma göre 5 dakikalık sürelerde sınava girmelerini sağlamak ondan sonraki dakikalarda sınava girmelerini engellemektir. Böyelece sınav başladığı anda tüm öğrenciler sınava gireceği için herbirinin süresi başlayacaktır.
  • Online yada uygulama halinde herkesin kullanımına açık olan yapay zeka proğramlarının kullanımının önüne geçile bilmesi için de soruların doğrudan texet fromatında değil resim formatında hazırlanmasıdır. Burada soruların akıllı telefonlar üzerinde OCR/Metin tarayıcı proğraların kullanarak text metnin gene yapay zeka uygulamalrına atılması ihtimali nedeniyle soruların sadece soru öbeğini gene resim formatında verip çözüm için gerekli olan diğer bilgileri bir şekil üzerinde vermektir. Bu her soruda mümkün olmaya bilir. O durumda da soru oluşturulurken arkada fligran vb karışık ince desenler kullanıp resim formatında oluşturulup mutlaka bu formatta (CAPTCHA sitilinde) atılmasıdır.