“OpenAi каже, що проігнорував занепокоєння своїх експертних тестерів, коли він впровадив оновлення до своєї флагманської моделі штучного інтелекту Chatgpt, яка зробила її надмірно приємною. Компанія оприлюднила оновлення до своєї моделі GPT -4O, яка зробила його “помітно більш сикофантом”, яку він потім відкочив назад через три дні через безпеку, і це заявила в Mane Many Many Filemortem Postmortem Post. Перевірки, а його “внутрішні експерти проводять значний час, взаємодіючи з кожною новою моделлю перед запуском”, що означало, що вона виступила з іншими тестами. У процесі огляду останньої моделі, перш ніж вона стала публічною, OpenAi заявив, що “деякі експертні тестери вказали на те, що поведінка моделі” відчував “трохи вимкнено”, але вирішила запустити “через позитивні сигнали від користувачів, які випробували модель”. ” “Якісні оцінки натякали на щось важливе, і ми повинні були приділяти пильну увагу. Вони набирали сліпого місця в інших наших EVALS та метриках”. Джерело: Сем Альтманброудлі, текстові моделі AI на основі навчання навчаються, отримуючи винагороду за те, що вони дають відповіді, які є точними або оціненими високо їх тренерами. Some rewards are given a heavier weighting, impacting how the model responds.OpenAI said introducing a user feedback reward signal weakened the model’s “primary reward signal, which had been holding sycophancy in check,” which tipped it toward being more obliging.“User feedback in particular can sometimes favor more agreeable responses, likely amplifying the shift we saw,” it added.OpenAI is now checking for suck up answersAfter the updated AI model rolled out, ChatGPT Користувачі поскаржилися в Інтернеті на його тенденцію до душі похвали будь -якої ідеї, яку вона була представлена, як би погано, що призвело до того, що OpenAI поступився в дописі в блозі 29 квітня, що він “був надто лестощим або приємним”. Наприклад, один користувач сказав Chatgpt, що хоче розпочати бізнес, що продає лід через Інтернет, який передбачав продаж звичайної старої води для клієнтів. Джерело: Тім Лекембіїн, його останній післясмертневий, він сказав, що така поведінка з його ШІ може становити ризик, особливо щодо таких питань, як психічне здоров’я. “Люди почали використовувати Chatgpt для глибоких особистих порад – те, що ми не бачили стільки року тому”, – сказав OpenAi. “Коли AI та суспільство співпрацювали, стало зрозуміло, що нам потрібно з великою обережністю ставитися до цього використання”. Пов’язано: Криптові користувачі охолоджуються з AI, що займаються їх портфелями: опитування Компанія заявила, що вона обговорювала ризики сикофанти “на деякий час”, але вона не була чітко позначеною для інтернального тестування, і він не мав специфічних шляхів. Налаштування свого процесу перегляду безпеки на “офіційно розглянути питання про поведінку” і заблокує запуск моделі, якщо вона представляє проблеми. Опенай також визнав, що не оголосило про останню модель, оскільки вона очікувала, що “буде досить тонким оновленням”, яке він пообіцяв змінити. “Немає такого поняття, як” маленький “запуск”, – написала компанія. “Ми спробуємо повідомити навіть про тонкі зміни, які можуть змістовно змінити те, як люди взаємодіють з чатгптом”. ”, – Напишіть: cointelegraph.com
OpenAI каже, що ігнорував занепокоєння своїх експертних тестерів, коли він розгорнув оновлення до своєї флагманської моделі штучного інтелекту Chatgpt, яка зробила її надмірно приємною.
Компанія оприлюднила оновлення до своєї моделі GPT -4O 25 квітня, яка зробила її “помітно більш сикофантичним”, яке потім відкотилося через три дні через проблеми безпеки, заявив OpenAI у публікації в блозі після посмертного дня 2 травня.
Виробник Chatgpt заявив, що його нові моделі проходять перевірку безпеки та поведінки, а “внутрішні експерти витрачають значний час, взаємодіючи з кожною новою моделлю перед запуском”, що означало, щоб виловити проблеми, пропущені іншими тестами.
Під час огляду останньої моделі перед тим, як він став публічним, OpenAi сказав, що “деякі експертні тестери вказали, що поведінка моделі” відчуває себе “трохи вимкнено”, але вирішила запустити “через позитивні сигнали користувачів, які випробували модель”.
“На жаль, це був неправильний дзвінок”, – зізналася компанія. “Якісні оцінки натякали на щось важливе, і ми повинні були приділяти пильну увагу. Вони набирали на сліпому місці в інших наших EVALS та показниках”.
Генеральний директор OpenAI Сем Альтман заявив 27 квітня, що він працює над тим, щоб повернути зміни, що робить чатгпт занадто приємним. Джерело: Сем АльтманЗагалом, текстові моделі AI навчаються, отримуючи винагороду за те, що вони дають відповіді, які є точними або оціненими їх тренерами. Деякі нагороди отримують більш важке зважування, що впливає на те, як реагує на модель.
OpenAi заявив, що введення сигналу винагороди за зворотним зв’язком користувача послабило “Первинний сигнал винагород моделі, який тримає сикофанцію”, який підказав її до більш зобов’язання.
“Зокрема, зворотній зв’язок користувача може сприяти більш приємним відповідям, ймовірно, посилюючи зміну, яку ми побачили”, – додав він.
Зараз OpenAI перевіряє наявність відповідейПісля того, як оновлена модель AI розгорнулася, користувачі Chatgpt поскаржилися в Інтернеті на свою тенденцію до душі похвали будь -якої ідеї, яку вона була представлена, як би погано, що призвело до того, що OpenAI поступився у публікації в блозі 29 квітня, що він “був надто лестощим або приємним”.
Наприклад, один користувач сказав Chatgpt, що хоче розпочати бізнес, який продає лід через Інтернет, який передбачав продаж звичайної старої води для клієнтів для реконструкції.
Джерело: Команда LeckembyВ останньому післясмертному повідомленні він сказав, що така поведінка з його ШІ може створити ризик, особливо щодо таких питань, як психічне здоров’я.
“Люди почали використовувати Chatgpt для глибокої особистої поради – те, чого ми не бачили стільки ж року тому”, – сказав Оплай. “Оскільки AI та суспільство спільно розвивалися, стало зрозуміло, що нам потрібно ставитись до цього випадку з великою ретельністю”.
Пов’язаний: Користувачі Crypto Come з AI, що займається своїми портфелями: опитування
Компанія заявила, що обговорювала ризики з сикофанцією “вже деякий час”, але вона не була чітко позначена для внутрішнього тестування, і вона не мала конкретних способів відстеження сикофанції.
Тепер він буде додати “оцінки сикофенції”, коригуючи процес його перегляду безпеки, щоб “офіційно розглянути питання про поведінку” та заблокувати запуск моделі, якщо вона представляє проблеми.
OpenAi також зізнався, що не оголосило про останню модель, оскільки вона очікувала, що вона “буде досить тонким оновленням”, яке вона пообіцяла змінити.
“Немає такого поняття, як” маленький “запуск”, – написала компанія. “Ми спробуємо повідомити навіть про тонкі зміни, які можуть змістовно змінити те, як люди взаємодіють з Чатгптом”.
AI Eye: Crypto AI Lokens Surge 34%, чому Чатгпт такий поцілунок