Calmara, koju je razvio startup HeHealth, potiče žene da šalju fotografije genitalija svojih seksualnih partnera i tvrdi da njezina umjetna inteligencija može otkriti prisutnost spolno prenosivih bolesti.
Skeniranje genitalija koje pokreće umjetna inteligencija moglo bi biti sljedeći veliki korak u umjetnoj inteligenciji, kažu Mei Ling Lu i Yudara Kularathne, osnivači HeHealtha.
Patentirano “Vještičarenje”.
Osnivačica i njezin poslovni partner tvrde da njihov “patentirani” “čarobnjak” umjetne inteligencije može analizirati slike muških genitalija kako bi otkrio prisutnost uobičajenih spolno prenosivih infekcija.
Pokrenuta ovog mjeseca, platforma se reklamira kao seksualni wellness alat za žene, potičući ih da predaju “provjere penisa” ili fotografije intimnih dijelova svojih partnera.
Calmara tvrdi da u roku od 60 sekundi njezin algoritam može identificirati prisutnost više od 10 bolesti i infekcija, poput herpesa, sifilisa i HPV-a, s točnošću do 96%.
Poplava kritika
Međutim, Calmara je dočekana salvom kritika zbog pristanka, zabrinutosti za privatnost podataka i mogućnosti da materijal o seksualnom zlostavljanju djece završi na poslužiteljima tvrtke.
“Ne mislim da je rješenje fotografirati tuđe genitalije i dijeliti ih s aplikacijom koja čak nije ni pružatelj zdravstvene skrbi i ne pridržava se istih standarda kojima bi se pridržavala liječnička ordinacija”, kaže Sara Geoghegan, savjetnica Electronic Privacy Information Center, organizacije koja se usredotočuje na pitanja privatnosti potrošača.
tržište od 23 milijarde dolara
Umjetna inteligencija u zdravstvu tržište je vrijedno 23 milijarde dolara, a mnoge tvrtke žure implementirati modele za dijagnostiku, prijeme pacijenata, upravljanje bolnicama i niz drugih namjena.
Calmara je dio eksplozije proizvoda usmjerenih na potrošače koji se temelje na umjetnoj inteligenciji kao što su terapeutski chatbotovi i aplikacije za savjetovanje o zdravlju koje pozivaju AI kao rješenje za širok raspon zdravstvenih problema.
Prošle je godine Nacionalna udruga za poremećaje prehrane uklonila vlastiti chatbot zbog nuđenja štetnih savjeta, poput preporuka za mršavljenje i mjerenje tjelesne masnoće.
Dilema pristanka
“Priroda pristanka je nemoguća u ovom slučaju”, kaže Sara Geoghegan.
Calmara nudi sličan proizvod za muškarce za samotestiranje na spolno prenosive infekcije.
HeHealth je osigurao 1,1 milijun dolara financiranja od vanjskih investitora, rekli su njegovi osnivači. Podaci PitchBooka navode Institut za inovacije i poduzetništvo Singapurskog sveučilišta za menadžment, kalifornijski Plug and Play Tech Center i japanski fond rizičnog kapitala ARKRAY 4U kao investitore u platformu.
Kako je aplikacija razvijena
HeHealth nadalje tvrdi da povezuje korisnike u Sjedinjenim Državama, Singapuru i Indiji sa stručnjacima za seksualno zdravlje u svojim “provjerenim partnerskim klinikama”. Tvrtka tvrdi da njezinu umjetnu inteligenciju pokreće provjereni “vlasnički skup podataka” koji je testiralo više od 30.000 korisnika diljem svijeta.
Ovi podaci sadrže nekoliko tisuća slika – originalnih i sintetičkih – pet bolesti penisa, s originalnim slikama dobivenim od liječnika u Indiji, Šri Lanki, Singapuru, Australiji, SAD-u i Velikoj Britaniji, prema tvrtki.
Nije jasno zašto Calmara tvrdi da identificira prisutnost više od 10 bolesti, kada je model umjetne inteligencije koji koristi uvježban na samo pet. Forbes također nije uspio pronaći dokaze da su model i njegova učinkovitost neovisno pregledani. Korištenje sintetičkih podataka – u ovom slučaju proširenih ili umjetno generiranih slika – problematično je.
Prošle su godine istraživači s Massachusetts Institute of Technology pokazali da se sintetičke slike mogu generirati korištenjem modela teksta i slike poput Stable Diffusion, ali su upozorili da bi oslanjanje na takve biblioteke također moglo pojačati pristranost.
Osim toga, tim HeHealtha navodi da su razvili “prilagođeni web alat za ekstrakciju za preuzimanje slika koje su besplatno dostupne na Internetu, kao i slika iz javnih izvora, uglavnom iz Sjeverne Amerike.
Etička dilema
U slučaju Calmare, “osoba kojoj je aplikacija namijenjena nije osoba čije se slike genitalija dijele, tako da stvarni subjekt ove invazivne prakse nije osoba čiji se pristanak traži”, kaže Geoghegan.
Tu je i pitanje što se događa s fotografijom nakon što je korisnik pošalje. Kada je Calmara pokrenuta, slike su pohranjene na AWS poslužiteljima i čuvane neko vrijeme koje su osnivači odbili podijeliti.
AWS dolazi od Amazon Web Services, usluge računalstva u oblaku koju pruža div Amazon.
Slike će se automatski izbrisati, a ne podaci
Nakon oštre reakcije javnosti, osnivači su promijenili politiku zadržavanja. Slike se sada automatski brišu iz Calmare nakon skeniranja na spolno prenosive bolesti.
HeHealth, s druge strane, pohranjuje korisničke podatke, uključujući slike.
Ali HeHealthova politika privatnosti navodi da se neki podaci o korisnicima dijele s “davateljima usluga i partnerima koji nam pomažu u upravljanju uslugama”.
Forbes je pitao koriste li se slike s platforme za usavršavanje modela umjetne inteligencije. Osnivači su zanijekali da se fotografije dijele, ali su rekli da partnerski liječnici trenutno pregledavaju svaku sliku koju su poslali korisnici, a njihovi se odgovori koriste za ponovno uvježbavanje modela.
Pripadnost medicinskoj službi
Tvrtka nije otkrila tko su ti liječnici niti u kakvom su radnom odnosu s tvrtkom.
U Kaliforniji, HeHealth je povezan s CityHealthom, pretplatničkom zdravstvenom uslugom s lokacijama oko područja San Francisca.
Kathy Chu, glasnogovornica CityHealtha, rekla je da pruža medicinsko savjetovanje pacijentima koji koriste HeHealth.
Pitanje privatnosti podataka
Malo je ovih informacija vidljivo u aplikaciji Camara.
“Site opisuje ‘način duhova’ ili ‘inkognito način rada’, ali mi ne daje dovoljno informacija da kažem koliko štiti privatnost”, kaže Glenn Cohen, profesor na Pravnom fakultetu Harvarda koji se specijalizirao za medicinsku etiku. “Također, ne znam mogu li se neki od podataka, čak i uklanjanje identifikacijskih podataka, sami po sebi ponovno identificirati”, nastavlja.
Čak i ako platforma poput Calmare izbriše slike koje dijele korisnici, ona nastavlja prikupljati taj materijal i stoga može biti podložna određenim zakonima o privatnosti podataka, prema Wendell Bartnicku, partneru u Reed Smithu, odvjetničkoj tvrtki koja savjetuje tvrtke u zdravstvu u kibernetičkom svijetu. sigurnost i privatnost podataka.
Calmara je tvrdila da njezine usluge ne potpadaju pod HIPAA — Zakon o prijenosu i odgovornosti zdravstvenog osiguranja — jer se ne mogu koristiti za identifikaciju bilo koga.
“Ne postoji način da tvrtka kontrolira koje podatke dobiva, a fotografija bi vrlo dobro mogla uključivati nečije lice, što bi se prema nekim državnim zakonima vjerojatno smatralo osobnim podacima”, rekao je Bartnick.
“Hodajuća katastrofa”
Nakon pokretanja Calmare, Carey Lening, istraživač privatnosti i stručnjak za infosec u Castlebridgeu, objavio je detaljnu analizu prakse privatnosti tvrtke, nazvavši je “jednostavno hodajućom katastrofom”.
Nakon što je Forbes kontaktirao Lua za intervju, HeHealth je sa svoje web stranice uklonio popis “elitnih akademskih partnerstava u tijeku”, koji uključuje Sveučilište Južne Kalifornije, TH School of Public Health Chan s Harvarda i Sveučilište Sjeverne Karoline u Chapel Hillu. Sve tri škole rekle su za Forbes da nisu imale partnerstvo ni s HeHealthom ni s Calmarom.
Kularathne je inzistirao Forbesu da on, kao glavni izvršni direktor HeHealtha, doista ima partnerstvo s njima. Kada je Forbes tražio da vidi njegove ugovore sa sveučilištima, Kularathne je rekao da ih ne može dati, navodeći razloge povjerljivosti.
Profesor medicinske etike na Medicinskom fakultetu Harvard Glenn Cohen rekao je da pacijenti imaju pravo znati što se radi sa slikama koje šalju, kako se trenira umjetna inteligencija i kako se njezina točnost razlikuje među različitim demografskim skupinama. “Tko je pregledao algoritam izvan tvrtke i kakva jamstva pouzdanosti mogu pružiti? Kakav je plan tvrtke kada dođe do pogreške?” upitao je.
