Согласно новому исследованию, возможности искусственного интеллекта могут быть преувеличены из-за несовершенства тестов.
Исследователи, стоящие за новым исследованием, утверждают, что методы, используемые для оценки возможностей систем искусственного интеллекта, регулярно завышают производительность ИИ и не обладают научной строгостью. В рамках исследования, проведенного учеными Оксфордского института Интернета в сотрудничестве с более чем тремя десятками исследователей из других учреждений, было проанализировано 445 ведущих тестов ИИ, называемых бенчмарками, которые часто используются для измерения производительности моделей ИИ в различных тематических областях. Разработчики и исследователи ИИ используют эти тесты для оценки возможностей моделей и рекламирования технического прогресса, ссылаясь на них для утверждений по различным темам, от производительности программного обеспечения до способности к абстрактному мышлению. Однако в статье, опубликованной во вторник, утверждается, что эти фундаментальные тесты могут быть недостоверными, и ставится под сомнение достоверность многих результатов тестов. Согл...
