Чат-боти на основі штучного інтелекту можуть впливати на прийняття рішень у пацієнтів із респіраторними та нереспіраторними алергійними захворюваннями

Анотація

Мета роботи — оцінити потенційний вплив відповідей, згенерованих штучним інтелектом, на прийняття рішень і шляхи медичного догляду в пацієнтів із респіраторними та нереспіраторними алергійними станами.

Матеріали та методи. Дванадцять запитань було надано двом із найпоширеніших чат-ботів на основі штучного інтелекту: ChatGPT-4o та Gemini 2.0 Flash. Половина цих запитань була розроблена на основі аналізу даних Google Trends за останній рік в Україні (жовтень 2023 р. — вересень 2024 р.), інша половина була складена на основі онлайн-опитування практикуючих лікарів, які визначили найчастіші запитання, які ставлять пацієнти під час клінічних консультацій. П’ять експертів незалежно оцінювали відповіді кожного чат-бота за трьома параметрами: точність, правильність і вичерпність, використовуючи шкалу від 0 до 3 (0 = повністю неточно/неправильно/невичерпно, 3 = повністю точно/правильно/вичерпно). Пізніше всі теми були розподілені на два блоки: Прийняття рішень і Обізнаності.

Результати та обговорення. Середні оцінки були такими: ChatGPT отримав (2,08 ± 0,46) бала (точність), (2,07 ± 0,52) бала (правильність) і (2,10 ± 0,57) бала (вичерпність), тоді як Gemini — відповідно (1,97 ± 0,71), (2,00 ± 0,69) та (2,05 ± 0,67) бала. Ці результати вказують на незначну загальну перевагу ChatGPT із найбільшою різницею за точністю (0,11). Статистичний аналіз виявив помірну до високої узгодженість між експертами, що загалом є достатнім для підтвердження результатів.
Аналіз показав, що запитання блоку Прийняття рішень були оцінені для ChatGPT з такими показниками: точність — (2,20 ± 0,52) бала, правильність — (2,17 ± 0,50) бала, вичерпність — (2,26 ± 0,48) бала, для Gemini: точність — (2,00 ± 0,58) бала, правильність — (1,91 ± 0,60) бала, вичерпність — (2,06 ± 0,55) бала. Запитання блоку Обізнаності отримали оцінки для ChatGPT: точність — (1,92 ± 0,60) бала, правильність — (1,92 ± 0,58) бала, вичерпність — (1,88 ± 0,62) бала, для Gemini: точність — (1,88 ± 0,65) бала, правильність — (2,12 ± 0,57) бала, вичерпність — (2,04 ± 0,59) бала.

Висновки. Експерти в нашому дослідженні оцінювали відповіді за 4-бальною шкалою (від 0 до 3 балів). Обидва чат-боти в середньому отримали 2 бали з 3 можливих за всіма параметрами (точність, правильність і вичерпність), що є добрим показником. Проте аналіз чітко показав (що помітно за середнім відхиленням), що діапазон оцінок відповідей Gemini був вищим, ніж у ChatGPT, тобто цей чат-бот давав як більш якісні, так і менш якісні відповіді. Це підвищує ймовірність для того, хто запитує, отримати як погану, так і хорошу відповідь, що є показником гіршої передбачуваності чат-бота.
У блоці Прийняття рішень ChatGPT виявився статистично значущо кращим, але в блоці Обізнаності ChatGPT перевершував лише за точністю відповідей, тоді як, за оцінками експертів, Gemini статистично значущо відповідав повніше та правильніше. ChatGPT стабільно перевершував Gemini в блоці Прийняття рішень, що свідчить про його придатність для завдань, які потребують структурованого прийняття рішень. Натомість Gemini перевершував у блоці Обізнаності, особливо за правильністю та вичерпністю, що вказує на його ефективність для інформаційних запитів.