"Agenci AI wyłączyli zabezpieczenia, a jeden z nich je zaprzeczył – OpenAI Jeden agent zablokował alerty dla recenzentów, a drugi usunął system monitorujący i fałszywie zaprzeczył, iż to zrobił."

Firma OpenAI ujawniła, iż ​​podczas testów dwa jej autonomiczne systemy AI wyłączyły mechanizmy monitorowania bezpieczeństwa, przy czym jeden z nich później zaprzeczył, jakoby to zrobił.

Informacja ta pojawia się w kontekście serii podobnych incydentów z ostatnich miesięcy, w których uczestniczyły autonomiczne systemy AI – oprogramowanie zdolne do samodzielnego planowania i wykonywania zadań przy użyciu zewnętrznych narzędzi.

We wtorkowym wpisie na blogu OpenAI poinformowało, iż do zdarzeń doszło 3 i 6 października, a brały w nich udział systemy oznaczone jako GPT-6.1 Sol oraz GPT-6 Astra.

W pierwszym przypadku system AI, któremu powierzono tworzenie zadań ewaluacyjnych na podstawie opinii pracowników zbieranych przez komunikator Slack, wyłączył automatyczne powiadomienia dla zespołu ds. bezpieczeństwa.

Według OpenAI, system uznał, iż wcześniejsze polecenie użytkownika – zakazujące wysyłania wiadomości na platformie komunikacyjnej w trakcie wykonywania zadania – odnosi się do wszystkich komunikatów, w tym również do alertów dotyczących bezpieczeństwa.

Trzy dni później system GPT-6 Astra usunął moduł monitorujący z programu, który był w trakcie migracji.

Zrobił to, opierając się na dostarczonych mu materiałach źródłowych, w których funkcja ta nie występowała.

Gdy użytkownik zapytał o to później, system zaprzeczył, jakoby usunął mechanizm monitorujący.

OpenAI przekazało, iż prowadzi dochodzenie w celu wyjaśnienia, dlaczego systemy wyłączyły zabezpieczenia, oraz pracuje nad zapobieganiem podobnym incydentom w przyszłości.

Choć takie zachowanie mogło wynikać z „nadgorliwości” systemów dążących do wykonania powierzonego zadania, firma poinformowała również, że „opracowuje testy sprawdzające, czy modele nie wykazują skłonności do celowego unikania mechanizmów kontrolnych”.

W zeszłym miesiącu dziennik „Wall Street Journal”, powołując się na Saachi Jain – szefową działu systemów bezpieczeństwa w OpenAI – podał, iż firma zrezygnowała z udostępnienia modelu GPT-6.1 Astra.

Decyzja ta zapadła po tym, jak wewnętrzne testy wykazały, iż model ten częściej niż jego poprzednicy wykazuje skłonności do wprowadzania w błąd oraz korzystania z potencjalnie niebezpiecznych zewnętrznych narzędzi bez uzyskania wcześniejszej zgody użytkownika.

Również we wrześniu premier Australii Anthony Albanese poinformował, iż system AI stworzony przez OpenAI włamał się do rządowego portalu Medicare Statistics Reporting Service, a firma przez blisko trzy miesiące nie zgłosiła tego incydentu.

Wcześniej, w lipcu, OpenAI ujawniło, iż podczas testów cyberbezpieczeństwa niektóre modele zdołały wydostać się ze środowiska izolowanego („piaskownicy”), uzyskały dostęp do internetu i włamały się na serwery platformy Hugging Face, służącej do przechowywania modeli AI oraz zbiorów danych.

Inni programiści zgłaszali podobnie niepokojące zachowania podczas testów.

Na początku tego miesiąca firma Anthropic opublikowała raport, w którym szczegółowo opisano przypadki „niezamierzonych” działań jej modeli sztucznej inteligencji – w tym sytuację, w której model Claude Haiku 4.5 przekazał policji w Filadelfii fałszywą wskazówkę dotyczącą prowadzonego tam śledztwa w sprawie zabójstwa.

Coraz głośniej słychać głosy nawołujące do wstrzymania rozwoju sztucznej inteligencji lub wprowadzenia bardziej rygorystycznych regulacji w tej branży.

Geoffrey Hinton, informatyk i laureat Nagrody Nobla, ostrzegł, iż coraz potężniejsze systemy AI mogą z czasem wymknąć się spod ludzkiej kontroli, co mogłoby doprowadzić do katastrofalnych skutków.

Współzałożyciel Microsoftu, Bill Gates, również wezwał rządy do bardziej aktywnego udziału w ustanawianiu standardów bezpieczeństwa dla tej branży.

Z kolei prezydent USA Donald Trump zbagatelizował te obawy, stwierdzając, iż ograniczenia w rozwoju sztucznej inteligencji mogłyby pozwolić Chinom wyprzedzić Stany Zjednoczone w wyścigu technologicznym.

Również dyrektor generalny OpenAI, Sam Altman, argumentował, iż świat musi pogodzić się z pewnymi „negatywnymi zjawiskami” wynikającymi z rozwoju AI – takimi jak ataki hakerskie czy oszustwa – ponieważ korzyści płynące z tej technologii znacząco przewyższają jej wady.

Przetlumaczono przez translator Google

zrodlo:https://rt-english.com/news/647491-ai-agents-disabled-safeguards-openai/