Наука и здравоохранение, 2026, № 1(28), с. 99-105
EVALUATION OF READABILITY INDICES OF CHATGPT-4 AND GOOGLE GEMINI ABOUT MUSHROOM POISONING: ОЦЕНКА ПОКАЗАТЕЛЕЙ ЧИТАЕМОСТИ CHATGPT-4 И GOOGLE GEMINI В ВОПРОСАХ ОТРАВЛЕНИЯ ГРИБАМИ
CHATGPT-4 ЖӘНЕ GOOGLE GEMINI МОДЕЛЬДЕРІНІҢ САҢЫРАУҚҰЛАҚТАН УЛАНУ ТУРАЛЫ МӘТІНДЕРІНІҢ ОҚЫЛЫМДЫЛЫҚ КӨРСЕТКІШТЕРІН БАҒАЛАУ
Department of Emergency Medicine, Bandırma University Hospital, Balıkesir, Turkey;
Department of Emergency Medicine, Health Science University Antalya Training and Research Hospital, Antalya,Turkey.
Аннотация · Abstract
Aim: Mushroom poisoning is a significant public health concern. artificial intelligence (AI) technologies have shown remarkable success in mushroom classification and poisoning prevention, challenges remain. It is clear that the complexity and computational demands of deep learning models can act as a barrier for interdisciplinary researchers [10]. In this study, we wanted to compare the readability indices of AI programs in mushroom poisoning cases in the literature. Materials and Methods: This study included 100 questions about mushroom poisoning Questions were compiled from publicly available question-and-answer platforms such as the Quaro program and ChatGPT-5 and Gemini-2.5 Pro AI models compared. Before generating the questions, we instructed both AI models to formulate their responses in language appropriate for a general audience with no prior medical knowledge on the topic. The responses generated by the models were recorded. Results: Gemini's content showed a significantly higher Automated Readability Index (ARI) of 9.89 ± 0.9 compared to Open AI's 8.93 ± 0.78, with a p-value of <0.001. Gemini's content had a lower Fog Scale score of 9.9 ± 1.01 compared to Open AI's 11.3 ± 0.98, with a p-value of <0.001. Gemini's Flesch-Kincaid Grade Level was 8.59 ± 0.56, which was higher than Open AI's 7.97 ± 0.12, with a p-value of <0.001. Gemini's Coleman-Liau Index was 13.29 ± 1.27, significantly higher than Open AI's 11.38 ± 1.12, with a p-value of <0.001. Gemini had a higher SMOG index of 8.38 ± 0.78 compared to Open AI's 7.58 ± 1.34, with a p-value of 0.013. Open AI's Forcast readability formula score was 13.02 ± 0.12, compared to Gemini's 11.82 ± 2.04, p=0.006. Conclusion. While some readability metrics like Average Reading Level, Flesch Reading Ease, and Linsear Write Formula showed no significant difference between ChatGPT and Gemini, other indices such as Automated Readability Index, Fog Scale, Flesch-Kincaid Grade Level, Coleman-Liau Index, SMOG index, and Forcast readability formula revealed statistically significant differences, often indicating that Gemini's output tends to be more complex or, in some cases, easier depending on the specific metric. Цель: Отравление грибами представляет собой значимую проблему общественного здравоохранения. Технологии искусственного интеллекта (ИИ) продемонстрировали значительные успехи в классификации грибов и профилактике отравлений, однако сохраняются определённые трудности. Очевидно, что сложность и вычислительные требования моделей глубокого обучения могут являться барьером для междисциплинарных исследователей [10]. В данном исследовании мы хотели сравнить индексы читаемости программ ИИ в случаях отравления грибами, описанных в литературе. Материалы и методы: В исследование были включены 100 вопросов об отравлении грибами. Вопросы были собраны из общедоступных платформ формата «вопрос–ответ», таких как Quora. Были сравнены модели ИИ ChatGPT-5 и Gemini-2.5 Pro. Перед генерацией ответов обеим моделям было дано указание формулировать ответы языком, понятным широкой аудитории без медицинской подготовки. Ответы, сгенерированные моделями, были записаны. Результаты: Контент Gemini продемонстрировал статистически значимо более высокий показатель индекс автоматической читаемости (ARI) — 9,89 ± 0,9 по сравнению с OpenAI — 8,93 ± 0,78 (p < 0,001). При этом показатель Fog Scale у Gemini был ниже (9,9 ± 1,01) по сравнению с OpenAI (11,3 ± 0,98), p < 0,001. Уровень Flesch-Kincaid Grade Level у Gemini составил 8,59 ± 0,56, что выше, чем у OpenAI — 7,97 ± 0,12 (p < 0,001). Индекс Coleman-Liau у Gemini был значительно выше (13,29 ± 1,27) по сравнению с OpenAI (11,38 ± 1,12), p < 0,001. Индекс SMOG также оказался выше у Gemini (8,38 ± 0,78) по сравнению с OpenAI (7,58 ± 1,34), p = 0,013. Показатель по формуле Forcast у OpenAI составил 13,02 ± 0,12, тогда как у Gemini — 11,82 ± 2,04 (p = 0,006). Заключение: Хотя по некоторым показателям читабельности, таким как средний уровень чтения, Flesch Reading Ease и формула Linsear Write, статистически значимых различий между ChatGPT и Gemini не выявлено, другие индексы Automated Readability Index, Fog Scale, Flesch-Kincaid Grade Level, Coleman-Liau Index, SMOG index и Forcast readability formula продемонстрировали статистически значимые различия. В большинстве случаев результаты указывают на то, что тексты Gemini могут быть более сложными либо, в отдельных случаях, более простыми в зависимости от конкретного показателя. Мақсаты: Саңырауқұлақтан улану қоғамдық денсаулық сақтау саласындағы маңызды мәселе болып табылады. Жасанды интеллект (ЖИ) технологиялары саңырауқұлақтарды жіктеу және уланудың алдын алу бағытында айтарлықтай жетістіктер көрсетті, алайда белгілі бір қиындықтар сақталуда. Терең оқыту модельдерінің күрделілігі мен жоғары есептеу талаптары пәнаралық зерттеушілер үшін кедергі болуы мүмкін екені анық [10]. Осы зерттеуде біз әдебиетте сипатталған саңырауқұлақтан улану жағдайлары бойынша ЖИ бағдарламаларының оқылымдылық индекстерін салыстыруды мақсат еттік. Материалдар мен әдістер: Зерттеуге саңырауқұлақтан улану туралы 100 сұрақ енгізілді. Сұрақтар Quora сияқты ашық «сұрақ–жауап» платформаларынан жиналды. ChatGPT-5 және Gemini-2.5 Pro жасанды интеллект модельдері салыстырылды. Жауаптарды генерациялау алдында екі модельге де медициналық білімі жоқ кең аудиторияға түсінікті тілде жауап беру туралы нұсқау берілді. Модельдер ұсынған жауаптар тіркелді. Нәтижелер: Gemini ұсынған контенттің автоматтандырылған оқылымдылық индексі (ARI) 9,89 ± 0,9 болып, OpenAI көрсеткішінен (8,93 ± 0,78) статистикалық тұрғыдан едәуір жоғары болды (p < 0,001). Сонымен қатар, Fog Scale көрсеткіші Gemini-де төмен (9,9 ± 1,01), ал OpenAI-де жоғары (11,3 ± 0,98) болды (p < 0,001). Flesch-Kincaid Grade Level көрсеткіші Gemini-де 8,59 ± 0,56 болып, OpenAI-ден (7,97 ± 0,12) жоғары анықталды (p < 0,001). Coleman-Liau индексі Gemini-де 13,29 ± 1,27 болып, OpenAI көрсеткішінен (11,38 ± 1,12) айтарлықтай жоғары болды (p < 0,001). SMOG индексі де Gemini-де жоғары (8,38 ± 0,78), ал OpenAI-де 7,58 ± 1,34 болды (p = 0,013). Forcast формуласы бойынша OpenAI көрсеткіші 13,02 ± 0,12, ал Gemini-де 11,82 ± 2,04 болды (p = 0,006). Қорытынды: Оқылымдылықтың кейбір көрсеткіштері, атап айтқанда орташа оқу деңгейі, Flesch Reading Ease және Linsear Write формуласы бойынша ChatGPT пен Gemini арасында статистикалық тұрғыдан маңызды айырмашылық анықталмады. Алайда Automated Readability Index, Fog Scale, Flesch-Kincaid Grade Level, Coleman-Liau Index, SMOG индексі және Forcast формуласы бойынша статистикалық тұрғыдан маңызды айырмашылықтар байқалды. Көп жағдайда нәтижелер Gemini мәтіндерінің күрделірек болуы мүмкін екенін, ал кейбір көрсеткіштер бойынша керісінше қарапайым болуы ықтимал екенін көрсетті.
Сведения · Details
- DOI 10.34689/sh.2026.28.1.012
- Журнал · Journal Наука и здравоохранение
- Язык · Language русский
- Цитирования (Crossref) · Citations 0