VMTech
Razgovarajmo →

OpenAI uvodi klasifikator slika i mere protiv CSAM sadržaja

OpenAI uvodi klasifikator slika i mere protiv CSAM sadržaja

OpenAI je predstavio klasifikator slika za otkrivanje materijala seksualnog zlostavljanja dece (CSAM), upozorenja i privremene blokade u ChatGPT-u, smernice za programere i alate za organe reda. U ranim testovima sa partnerima klasifikator je označio 48% manje slika, uz isti broj pronađenih zloupotrebljavajućih slika, dok je verovatnoća da označena slika pripada toj kategoriji bila dvostruko veća.

Klasifikator za nove i AI-generisane slike

Novi alat traži vizuelne pokazatelje zlostavljanja i u slikama koje prethodno nisu bile viđene, uključujući slike generisane veštačkom inteligencijom. Rezultat klasifikacije treba da usmeri ljudske pregledaoce u postupanju sa potencijalno štetnim sadržajem, a ne da zameni njihovu procenu.

OpenAI je klasifikator razvio sa organizacijom National Center for Missing and Exploited Children (NCMEC). Odabrane kompanije moći će da ga koriste preko API-ja bez naknade, dok OpenAI sa organizacijama Tech Coalition i ROOST radi na deljenju pristupa alatu.

Manji broj označenih slika uz isti broj pronađenih zloupotrebljavajućih materijala može smanjiti obim ručnog pregleda. Istovremeno, dvostruko veća učestalost zloupotrebljavajućih slika među označenim sadržajem daje preglednim timovima konkretniji prioritet za dalju obradu.

Upozorenja i suspenzije u ChatGPT-u

ChatGPT već blokira CSAM sadržaj i zahteve povezane s njim. Novina su ekrani upozorenja za korisnike koji pokušaju da unesu upite koji seksualizuju decu, uz upućivanje na specijalizovanu podršku radi sprečavanja štetnog ponašanja.

Takav pokušaj može dovesti i do suspenzije naloga u trajanju od 24 sata kao upozorenja. OpenAI navodi da ponovljeni prekršaji mogu rezultirati trajnim uklanjanjem naloga. Poruke i smernice oblikovane su uz organizacije Protect Children i Lucy Faithfull Foundation, kao i uz nezavisnu evaluaciju probnog odvraćajućeg obraćanja koju je sproveo Joel Scanlan sa Univerziteta Tasmanije.

Smernice za programere i podrška istragama

Kompanija objavljuje smernice za programere koji koriste njene alate, sa ciljem da spreče i otkriju CSAM sadržaj i korisnicima omoguće prijavu. U ranim testovima smernice su pomogle delu programera da uvedu alatke za zaštitu dece i registruju se za prijavljivanje CSAM-a NCMEC-u.

Za organe reda OpenAI priprema namenske dodatke, istražne alate i analizu složenih podataka, uz pristup kojim upravljaju administratori programa. Dostupni su i obuka za istražitelje i terenski vodič za upotrebu AI sistema.

U poslovnoj primeni, pitanje upravljanja rizikom dobija dodatnu težinu kada postupanje sa podacima u bezbednosnim timovima otvara temu postupanja sa podacima u bezbednosnim timovima, pa kontrole sadržaja, jasna eskalacija i stručni pregled moraju biti deo procesa od samog početka.

#openai#aisafety#childsafety#contentmoderation
Otvorena analitika
Na sajtu 2 pregleda
min čitanja 3 16.11.2026
Instagram

OpenAI uvodi klasifikator slika i mere protiv CSAM sadržaja

Otvorite objavu na Instagramu ↗