ChatGPT, вирусный чат-бот, вызвавший опасения учителей и ученых по поводу его способности списывать на эссе и экзаменах, теперь сдал выпускной экзамен Wharton MBA, экзамен на получение медицинской лицензии в США и компоненты экзамена на адвоката.
Профессор Wharton провел исследование, в котором он использовал OpenAI GPT-3, языковую модель, на которой построен ChatGPT, для сдачи итогового экзамена по основному курсу MBA. Он пришел к выводу, что GPT-3 получил бы на экзамене от B до B-.
Профессор Кристиан Тервиш (Christian Terwiesch) обнаружил, что GPT-3 лучше всего справляется с «управлением базовыми операциями и обработкой аналитических вопросов». Для них чат-бот предоставил как правильные ответы, так и отличные объяснения того, почему был выбран ответ. В резюме статьи Тьюриш признал, что GPT-3 ни в коем случае не идеален. Иногда бот допускал ошибки в простых математических расчетах и не мог справиться с более сложными вопросами анализа процессов.
Это исследование еще больше подстегнуло дискуссию, которую сейчас ведут академики в результате продвинутых навыков письма ChatGPT, относительно экзаменационных правил и того, что означает использование ChatGPT в качестве ресурса, а не замены определенных навыков.
Исследователи также проверили ChatGPT на экзамене на получение медицинской лицензии в США (USMLE), который представляет собой экзамен из трех частей, который требуется для получения медицинской лицензии в США всеми выпускниками медицинских вузов. Они обнаружили, что результаты ChatGPT близки к проходному порогу для трех экзаменов и продемонстрировали высокий уровень последовательности и понимания в своих объяснениях.
Исследователи пришли к выводу, что большие языковые модели, такие как ChatGPT, могут помочь в медицинском образовании и принятии решений. В документе говорится, что клиницисты виртуальной клиники под названием Ansible Health уже начали экспериментировать с ChatGPT, помогая в написании задач, таких как составление апелляционных писем и упрощение сложных медицинских отчетов, чтобы помочь пациентам лучше понять свое состояние.
Расширяя свой опыт, ChatGPT добился 50-процентной точности в компоненте экзамена на адвоката с множественным выбором или экзамене на адвоката с несколькими штатами (MBE). Экзамен на адвоката это тест, который выпускники юридических факультетов должны пройти, чтобы официально заниматься юридической практикой, и состоит из трех частей, первой из которых является MBE. Согласно исследованию оценка GPT-3.5, равная 50 процентам, выше, чем базовая скорость угадывания в 25 процентов, которая представляет собой вероятность правильного ответа при случайном выборе из четырех вариантов с множественным выбором. GPT-3.5 достиг среднего уровня прохождения по правонарушениям и доказательствам, которые являются двумя из семи предметных областей. Исследователи пришли к выводу, что благодаря этим результатам большая языковая модель, такая как GPT, сможет «в ближайшем будущем пройти компонент MBE экзамена на адвоката».
Алекс Табаррок, профессор экономики в Университете Джорджа Мейсона, протестировал конкурента GPT Клода ИИ на экзамене GMU по праву и экономике объявив, что ИИ получил «маргинальный балл» на экзамене. Поскольку большие языковые модели, такие как ChatGPT и Claude AI, превосходят многих людей в способности сдавать экзамены высокого уровня без многолетнего обучения и получения ученых степеней, они начинают дестабилизировать измерения, которые мы используем для определения академического успеха.
www.vice.com
Профессор Wharton провел исследование, в котором он использовал OpenAI GPT-3, языковую модель, на которой построен ChatGPT, для сдачи итогового экзамена по основному курсу MBA. Он пришел к выводу, что GPT-3 получил бы на экзамене от B до B-.
Профессор Кристиан Тервиш (Christian Terwiesch) обнаружил, что GPT-3 лучше всего справляется с «управлением базовыми операциями и обработкой аналитических вопросов». Для них чат-бот предоставил как правильные ответы, так и отличные объяснения того, почему был выбран ответ. В резюме статьи Тьюриш признал, что GPT-3 ни в коем случае не идеален. Иногда бот допускал ошибки в простых математических расчетах и не мог справиться с более сложными вопросами анализа процессов.
Это исследование еще больше подстегнуло дискуссию, которую сейчас ведут академики в результате продвинутых навыков письма ChatGPT, относительно экзаменационных правил и того, что означает использование ChatGPT в качестве ресурса, а не замены определенных навыков.
Исследователи также проверили ChatGPT на экзамене на получение медицинской лицензии в США (USMLE), который представляет собой экзамен из трех частей, который требуется для получения медицинской лицензии в США всеми выпускниками медицинских вузов. Они обнаружили, что результаты ChatGPT близки к проходному порогу для трех экзаменов и продемонстрировали высокий уровень последовательности и понимания в своих объяснениях.
Исследователи пришли к выводу, что большие языковые модели, такие как ChatGPT, могут помочь в медицинском образовании и принятии решений. В документе говорится, что клиницисты виртуальной клиники под названием Ansible Health уже начали экспериментировать с ChatGPT, помогая в написании задач, таких как составление апелляционных писем и упрощение сложных медицинских отчетов, чтобы помочь пациентам лучше понять свое состояние.
Расширяя свой опыт, ChatGPT добился 50-процентной точности в компоненте экзамена на адвоката с множественным выбором или экзамене на адвоката с несколькими штатами (MBE). Экзамен на адвоката это тест, который выпускники юридических факультетов должны пройти, чтобы официально заниматься юридической практикой, и состоит из трех частей, первой из которых является MBE. Согласно исследованию оценка GPT-3.5, равная 50 процентам, выше, чем базовая скорость угадывания в 25 процентов, которая представляет собой вероятность правильного ответа при случайном выборе из четырех вариантов с множественным выбором. GPT-3.5 достиг среднего уровня прохождения по правонарушениям и доказательствам, которые являются двумя из семи предметных областей. Исследователи пришли к выводу, что благодаря этим результатам большая языковая модель, такая как GPT, сможет «в ближайшем будущем пройти компонент MBE экзамена на адвоката».
Алекс Табаррок, профессор экономики в Университете Джорджа Мейсона, протестировал конкурента GPT Клода ИИ на экзамене GMU по праву и экономике объявив, что ИИ получил «маргинальный балл» на экзамене. Поскольку большие языковые модели, такие как ChatGPT и Claude AI, превосходят многих людей в способности сдавать экзамены высокого уровня без многолетнего обучения и получения ученых степеней, они начинают дестабилизировать измерения, которые мы используем для определения академического успеха.
ChatGPT Is Passing the Tests Required for Medical Licenses and Business Degrees
GPT-3 would have received a B to B- on an MBA Wharton final exam.
www.vice.com