Ja ikdienā lietojat iPhone, iPad vai Mac, jūs jau ar to dzīvojat. Apple mašīnmācīšanās Lai gan jūs, iespējams, ne vienmēr to apzināties. Sākot ar fotoattēlu organizēšanu un beidzot ar tastatūras teksta ieteikumiem vai jaunajām Apple Intelligence funkcijām, fonā darbojas īstas digitālās smadzenes, lai viss šķistu maģisks… bet ļoti kontrolēts.
Pēdējos gados Apple ir pārgājis no ļoti slepenas attieksmes pret mākslīgo intelektu uz atvēršanos pasaulei ar Apple Intelligence, Apple mašīnmācīšanās žurnāls, MLX un ļoti pilnīgu ietvaru ekosistēmu izstrādātājiem. Tas viss ar ļoti skaidru ideju: mākslīgajam intelektam jābūt visur, bet jūsu datiem jāpaliek jūsu īpašumā un, kad vien iespējams, tie jāapstrādā ierīcē.
Ko Apple saprot ar mašīnmācīšanos un mākslīgo intelektu?
Apple uzņēmumam Mašīnmācīšanās Runa nav tikai par milzīga modeļa apmācību datu centrā un tā savienošanu ar lietotni. Viņu pieeja balstās uz operētājsistēmas piepildīšanu ar mazām un lielām intelektuālām rutīnām, kas risina ļoti specifiskus uzdevumus: seju atpazīšanu fotoattēlos, paredzēt, kuru lietotni vēlaties atvērt, trokšņu noņemšanu zvana laikā vai iespējama satiksmes negadījuma noteikšanu, izmantojot iPhone vai Apple Watch.
Paralēli uzņēmums ir spēris lēcienu uz Ģeneratīvais AI Ar Apple Intelligence: modeļiem, kas spēj apkopot, pārrakstīt un klasificēt tekstu, ģenerēt ilustrācijām līdzīgus attēlus vai izveidot personalizētus Genmoji, reaģēt ar dabisku valodu un izprast ekrānā redzamā kontekstu. Tas viss nav pieejams kā atsevišķa lietotne, bet... integrēts sistēmā un sadalīts starp dažādām funkcijām.
Vēsturiski Apple ir bijis ļoti slepens attiecībā uz to, ko tas atklāj par savu mākslīgā intelekta darbu, kas tam ir radījis problēmas. piesaistīt pētniecības talantusRakstu publicēšanas aizliegums vai inženieru iespēju dalīties savā progresā bija tiešā pretrunā ar mākslīgā intelekta kopienas akadēmisko kultūru. Tieši tāpēc tika uzsākta… Apple mašīnmācīšanās žurnāls Tas bija būtisks solis ceļā uz to, kā tika komunicēts viņu pētījums.
Šajā tehniskajā emuārā Apple inženieri detalizēti paskaidro, kā viņi izmanto mākslīgo intelektu un mašīnmācīšanos, lai radītu viedākus produktus un, pats galvenais, kā viņi risina sarežģītas problēmas, piemēram, sintētisko attēlu reālismskas tiek izmantoti, lai ātrāk un ar mazāku manuālas marķēšanas piepūli apmācītu neironu tīklus.
Kultūras maiņa ir redzama arī Apple pašreizējā mudināšanā citiem pētniekiem, studentiem un izstrādātājiem sūtīt jautājumus un sniegt atgriezenisko saiti, atverot komunikācijas kanālu, kas iepriekš vienkārši nepastāvēja. Šis solis bija gandrīz obligāts, ja Apple vēlējās turpināt konkurēt tieši aci pret aci vidē, kur Google, OpenAI, Meta vai Microsoft Viņi pastāvīgi publicē un sadarbojas.
Apple Intelligence: jaunais mākslīgā intelekta slānis iPhone, iPad un Mac tālruņos
Apple Intelligence ir nosaukums, ko Apple dod savai vienotajai stratēģijai. Ģeneratīvais mākslīgais intelekts un mašīnmācīšanās integrēts pašā operētājsistēmā. Tas nav atsevišķs modelis vai viena lietotne, bet gan modeļu un rīku kopums, kas atrodas iOS, iPadOS un macOS iekšienē un ir izplatīts visā sistēmā.
Daudzas Apple Intelligence funkcijas izmanto esošās iespējas (vairāk nekā 200 mašīnmācīšanās rutīnas iPhone ierīcēs jau apstrādāja tādus uzdevumus kā fotoattēlu organizēšana vai teksta paredzēšana), taču tagad tās pievieno valodas un attēlu ģenerēšanas modeļi daudz sarežģītāks, īpaši paredzēts ikdienas uzdevumiem.
Galvenais ir tas, kā šīs funkcijas tiek izpildītas. Apple liek uz to visu iespējamo. apstrāde ierīcēModeļi darbojas tieši jūsu iPhone, iPad vai Mac ierīcē ar A17 Pro vai Apple Silicon mikroshēmas (M sērija)Tas izmanto centrālo procesoru, grafisko procesoru un, pats galvenais, neironu dzinēju. Tādā veidā jūsu personas dati ikdienas darbību laikā neatstāj ierīci.
Ja uzdevums ir pārāk prasīgs lokālajai aparatūrai, tiek ņemts vērā sekojošais: Privātā mākoņdatošanaTādā gadījumā ierīce atlasa tikai absolūti nepieciešamos datus, anonīmi nosūta tos uz Apple serveriem, tur palaiž modeli un izmet datus, tos nesaglabājot. Šis privātais mākonis darbojas ar aparatūru ar Apple mikroshēmām un piedāvā uzlabotus drošības audita mehānismus, lai novērstu nesankcionētu piekļuvi.
Turklāt Apple Intelligence var paļauties uz trešo pušu modeļiem, piemēram, OpenAI ChatGPT Ļoti plašu jautājumu vai specializētu tēmu gadījumā, kuras neaptver Apple modeļi, Siri nepārprotami jautā, vai vēlaties nosūtīt informāciju šim ārējam pakalpojumam. Varat to bloķēt, ja vēlaties visu paturēt Apple ekosistēmā.
Galvenās viedās funkcijas lietotājam
Mašīnmācīšanās redzamā seja uzņēmumā Apple ir redzama funkcijās, ko lietojat katru dienu, un daudzas no tām jau ir apvienotas ar Apple Intelligence un uzņēmuma klasiskajām mašīnmācīšanās sistēmām.
Viena no iespaidīgākajām jaunajām funkcijām ir Vizuālais intelektsŠī funkcija, kas pieejama tālruņos iPhone 16, iPhone 16 Pro un iPhone 15 Pro un iPhone 16e, izmantojot darbības pogu. Tā aktivizē kameru, kas pēc tam pāriet režīmā, kurā sistēma analizē saturu, uz kuru koncentrējaties, un piedāvā tādas opcijas kā “Jautāt” vai “Meklēt”. Ja tā redz tekstu, var tikt parādītas arī tādas opcijas kā “Kopsavilkums”, “Tulkot” vai “Nolasīt skaļi”.
Tas ļauj iPhone tālrunim apkopot izdrukātu dokumentu, skaļi nolasīt visu lapu vai tulkot ēdienkarti acumirklī citā valodāTas ir datorredzes, valodas apstrādes un runas sintēzes sajaukums, kas lielākoties tiek izpildīts pašā ierīcē.
the Rakstīšanas rīki Tie ir vēl viens svarīgs komponents. Integrēti daudzās sistēmas lietotnēs un pieejami trešo pušu lietotnēm, kas izmanto kopīgas API, tie ļauj apkopot garus tekstus, pārrakstīt tos citā tonī vai stilā, labot gramatiku un ieteikt ātras atbildes tādos kontekstos kā Mail vai Messages. Šeit noder Apple valodu modeļi un, ja vēlaties, trešo pušu modeļi, piemēram, ChatGPT.
Vizuālajā jomā Apple piedāvā divas attēlu ģenerēšanas funkcijas: Genmoji, kas no teksta aprakstiem izveido pielāgotas emocijzīmes lietošanai pakalpojumā iMessage vai e-pastā, un Attēlu rotaļu laukumsTas ģenerē ilustrācijas dažādos stilos (skices, ilustrācijas vai 3D animācijas), izmantojot vienkāršas instrukcijas. Tie nekonkurē ar nišas pakalpojumiem, piemēram, Midjourney, taču tiem ir priekšrocība, ka tie ir integrēti, bezmaksas un darbojas, stingri ievērojot privātumu.
Vadīšana paziņojumi Arī ziņojumi ir kļuvuši viedāki. Sistēma izmanto klasifikācijas modeļus, lai noteiktu, kuri paziņojumi ir visatbilstošākie, un noteiktu to prioritāti. Tā var saspiest e-pasta ziņojumu un ziņojumu saturu vienā rindā, lai jūs varētu gūt priekšstatu, tos neatverot, un viedāk pielāgot fokusa režīmu atkarībā no konteksta.
Programmā Fotoattēli mašīnmācīšanās tiek izmantota, lai atpazīt sejas, vietas, objektus un ainasIzveidojiet slaidrādes ar naratīvu struktūru un iesakiet atbilstošu mūziku. Pateicoties mākslīgajam intelektam, varat arī meklēt konkrētu brīdi videoklipā, aprakstot notiekošo (“kad meitene nopūš sveces”), kā arī piekļūt papildu rediģēšanas rīkiem, piemēram, nevēlamu fona elementu noņemšanai ar vienu pieskārienu.
Siri pārveidots: vairāk konteksta, vairāk mākslīgā intelekta un savienojums ar ārējiem modeļiem
Siri ir viens no Apple produktiem, kurā mašīnmācīšanās ietekme un tās jaunākā evolūcija ir visievērojamākā. Sākotnējais asistents, kas tika iegādāts 2010. gadā pēc DARPA finansētu projektu īstenošanas, balstījās uz balss atpazīšanas tehnoloģijām, piemēram, Nuance tehnoloģijām, un uz sistēmām, kas ir mazāk sarežģītas nekā mūsdienu neironu tīklu modeļi.
Laika gaitā Apple sāka izmantot dziļi neironu tīkli, n-grammas un citi ierīcē iebūvēti modeļi lai uzlabotu valodas izpratni un runas atpazīšanu. Šie uzlabojumi bija tik nozīmīgi, ka, pēc Edija Kjū teiktā, precizitātes lēciens piespieda komandu atkārtot testus, ja nu gadījumā radās aprēķina kļūda.
Tomēr revolūcija nāca līdz ar arhitektūru transformatori Popularizēts ar slaveno 2017. gada rakstu “Uzmanība ir viss, kas jums nepieciešams” (“Attention is All You Need”), kas ir mūsdienu ģeneratīvā mākslīgā intelekta un tādu modeļu kā OpenAI pamats. Lai gan ChatGPT kļuva visuresošs, daudzi uzskatīja, ka Apple ir atpalicis bez tieša ekvivalenta.
Uzņēmuma atbilde ir bijusi pārveidot Siri par Apple Intelligence publisko seju. Tagad asistentam ir Jauna saskarne Tas izgaismo visu iPhone rāmi, to var izmantot gan rakstot tekstu, gan ar balsi, un daudz labāk saprot personisko kontekstu: kalendāra tikšanās, e-pastus, ekrāna saturu, nesen saņemtos ziņojumus utt.
Sākot ar jaunajām sistēmas versijām, Siri varēs kontrolējiet lietotnes tā, it kā jūs būtu jūs patsTas apvieno sarežģītas darbības un konsultējas ar dažādiem iekšējiem informācijas avotiem. Un, ja nepieciešama ārēja informācija vai ļoti atvērta argumentācija, tas darbosies kā vārteja uz trešo pušu modeļiem, piemēram, ChatGPT, vienmēr lūdzot atļauju pirms datu nosūtīšanas.
Mašīnmācīšanās ietvari izstrādātājiem
Viss, ko redz gala lietotājs, balstās uz jaudīgu mašīnmācīšanās ietvaru ekosistēmu, ko Apple nodod izstrādātāju un entuziastu rokās. Ierīcēs iebūvētās mašīnmācīšanās komanda piedāvā rīki Apple Intelligence un pielāgotu modeļu integrēšanai lietotnēs un projektos, ne vienmēr paļaujoties uz mākoņpakalpojumiem.
Stūrakmens ir Kodols ML, mašīnmācīšanās modeļu palaišanas ietvars Apple ierīcēs. Modeļi ir iepakoti .mlmodel formātā, tos var lejupielādēt gatavus no developer.apple.com vai no Apple oficiālās Hugging Face vietnes, vai arī konvertēt no citiem formātiem (TensorFlow, PyTorch utt.), izmantojot Core ML rīkus Python valodā.
Core ML automātiski optimizē modeļus Apple aparatūrai, samazinot izmēru un uzlabojot veiktspēju, un var apvienot šīs optimizācijas ar manuālām izmaiņām. Xcode izstrādātāji var pārbaudīt modeļa arhitektūru, skatīt veiktspējas rādītājus un pat ģenerēt stingri tipizētu Swift kodu lai tos droši integrētu jūsu lietotnēs.
Izpildes laikā Core ML sadala darba slodzi starp centrālo procesoru, grafisko procesoru un neironu dzinēju, lai panāktu ātru un energoefektīvu secinājumu izdarīšanu, vienlaikus saglabājot privātumu, visu darbinot lokāli. Sarežģītos lietošanas gadījumos to var papildināt ar MPSGraph un Metal Compute lai programmētu pielāgotus GPU kodolus vai ar API BNNS grafiks no Accelerate ietvara, kas tagad ietver BNNSDraphBuilder mašīnmācīšanās grafiku veidošanai centrālajā procesorā ar zemu latentumu.
Tiem, kas vēlas apmācīt savus modeļus, neizejot no ekosistēmas, Apple piedāvā Izveidot MLLietotnes un platformas kombinācija, kas paredzēta attēlu klasifikācijas, objektu noteikšanas, teksta analīzes vai skaņas klasifikācijas modeļu apmācībai, izmantojot Swift. Tā izmanto pārneses mācīšanās metodes un integrējas ar Xcode, vienkāršojot modeļu apmācības, novērtēšanas un eksportēšanas ciklu tieši uz .mlmodel failu.
Specifiskas API: redze, valoda, skaņa un balss
Papildus Core ML, Apple uztur vairākus specializētus ietvarus, kas balstīti uz mašīnmācīšanos, kas palīdz risināt ļoti specifiskas problēmas, izstrādātājam neizstrādājot modeli no nulles.
Pirmais ir VīzijaDatorredzes API nodrošina attēlu klasifikāciju, objektu noteikšanu ar ierobežojošiem lodziņiem, sejas atpazīšanu, OCR, cilvēku vai fona segmentāciju un cilvēka pozas novērtēšanu. Jaunākās versijas ietver tādus uzlabojumus kā... uzlabota dokumentu atpazīšana vai traipu noteikšana uz objektīva, kas ir ļoti noderīga, lai brīdinātu lietotāju par nepieciešamību tīrīt kameru, ja kaut kas izskatās izplūdis.
Dabiskajai valodai ir ietvars Dabiskā valodaTas piedāvā valodas identifikāciju, tokenizāciju, gramatikas tagu pievienošanu, entītiju atpazīšanu, noskaņojuma analīzi, lematizāciju un iegulšanas ģenerēšanu. Tas viss, kad vien iespējams, darbojas ierīcē, padarot to par ideālu izvēli lietotnes, kurām ir jāanalizē teksti privāti nenosūtot datus uz serveri.
Mašīntulkošana tiek veikta, izmantojot sistēmu TulkojumsKamēr Skaņas analīze Tas reāllaikā nosaka un klasificē skaņas (no suņu riešanas un trauksmes signāliem līdz mūzikas stundām), izmantojot Core mašīnmācīšanās modeļus. Tāpat kā pārējie Apple API, audio apstrādi var veikt lokāli, kas ir svarīgi drošības vai novērošanas kontekstā.
Balss jomā Apple ir sistēma Runa, specializējoties atpazīšanā un transkripcijā. API iekļaušana Runas analizators Tas nodrošina ātrāku un elastīgāku runas pārveidošanu tekstā, īpaši gari audio ieraksti vai ar tālu novietotu mikrofonuTā ir svarīga sastāvdaļa diktēšanas lietotnēm, ierakstītām sanāksmēm vai tiešraides subtitriem.
Visus šos ietvarus var apvienot savā starpā un ar pielāgotiem modeļiem, kas izveidoti, izmantojot Create ML, vai konvertēti, izmantojot Core ML Tools, tādējādi izveidojot ļoti saskaņotu mākslīgā intelekta ekosistēmu operētājsistēmās iOS, iPadOS, macOS, watchOS un tvOS.
Foundation Models un MLX: lēciens mērogošanā Apple Silicon vidē
Līdz ar iOS 26 parādīšanos Apple ir spēris svarīgu soli, iekļaujot a Pamatu modeļu struktūra tieši sistēmā. Tie ir lieli valodu modeļi, kas ir optimizēti un precīzi pielāgoti ikdienas uzdevumiem: apkopošanai, galvenās informācijas ieguvei, klasificēšanai, strukturētu atbilžu ģenerēšanai vai drošam darbam ar personas datiem.
Šie modeļi darbojas perfekti ierīcē Ja iespējams, tas nozīmē, ka, piemēram, varat pieprasīt gara teksta kopsavilkumu vai galveno datu izvilkšanu no dokumenta, neko neizejot no jūsu iPhone vai Mac. Turklāt tos var integrēt ar reāllaika datiem, izmantojot "rīku izsaukumus", kas ļauj modelim veikt darbības (atvērt lietotni, izveidot citātu, veikt vaicājumu lokālajā datubāzē) un citēt uzticamus avotus.
Pētniecībai un eksperimentiem Apple ir laidis klajā MLXMLX ir atvērtā pirmkoda bibliotēka skaitliskajiem aprēķiniem un mašīnmācībai, kas īpaši izstrādāta, lai izmantotu Apple Silicon potenciālu. MLX ļauj jums noregulēt, apmācīt un palaist nākamās paaudzes modeļus Mac ierīcēs ar M mikroshēmām, tostarp lielie valodu modeļi (LLM) ko var palaist ar vienkāršu komandrindas izsaukumu.
Apple Silicon vienotā atmiņas arhitektūra ļauj centrālajam procesoram (CPU) un grafiskajam procesoram (GPU) darboties paralēli vienā buferī, ievērojami vienkāršojot datu pārvaldību un palielinot apmācības un secinājumu veikšanas veiktspēju. MLX ir pieejams šādās valodās: Python, Swift, C++ un citas valodasun to papildina atbalsts, ko Apple ir pievienojis tādiem populāriem ietvariem kā PyTorch vai JAX, izmantojot Metal.
Mākslīgā intelekta pētniekiem un entuziastiem Apple uztur aktīvus resursus vietnē developer.apple.com un savās GitHub krātuvēs, kur publicē modeļus, konvertēšanas rīkus, koda paraugus un tehniskus rakstus. Tas iezīmē būtiskas pārmaiņas salīdzinājumā ar laiku, kad praktiski nekas no tā pētījumiem netika publiskots.
Konfidencialitāte, privātais mākonis un saistība ar citiem mākslīgā intelekta modeļiem
Viens no Apple pieejas mākslīgajam intelektam un mašīnmācībai pīlāriem ir PrivātumaUzņēmums uzstāj, ka modeļiem ir jāzina jūsu personiskā informācija, lai tā būtu patiesi noderīga, taču tas nenozīmē, ka viņi to apkopos vai izmantos ārpus jūsu kontroles.
Ierīcē iebūvētā apstrāde ar arvien jaudīgākām un specializētākām mikroshēmām ļauj iPhone vai Mac veikt lietas, kurām vēl pirms dažiem gadiem bija nepieciešams liels serveris. Tas nozīmē zemāka latentuma, darbība bezsaistē un nulles atkarība Trešās puses nodrošina daudzas inteliģentas funkcijas. Nesūtot datus uz mākoņkrātuvi, tiek samazināts noplūžu un juridisku problēmu risks.
Kad Apple ir jāizmanto lielāki modeļi, kas ērti neietilpst ierīcē, tas ķeras pie sava Privātā mākoņdatošanaIdeja ir tāda, ka serveri nezina, kas jūs esat vai ko jūs apstrādājat; tie vienkārši saņem anonīmu datu partiju, palaiž modeli un atgriež rezultātu, neko nesaglabājot. Turklāt šie serveri darbojas ar aparatūru, kurā ir Apple mikroshēmas, un tiem ir atvērtas audita sistēmas, lai drošības eksperti varētu tos pārskatīt.
Trešo pušu integrācija, piemēram, vienošanās ar OpenAI par ChatGPT izmantošanu konkrētos gadījumos, vienmēr tiek veikta, izmantojot Siri vai sistēmas rīkus, skaidri jautājot, vai vēlaties nosūtīt informāciju. Pat ja tā, tas nav nepieciešams. izveidot kontu vietnē ChatGPT lai izmantotu pamatfunkcijas, lai gan varat to saistīt, ja vēlaties piekļūt sarežģītākiem rīkiem.
Apple plāno nākotnē šajā shēmā integrēt arī citus modeļus: sākot no alternatīvām, piemēram, Google Gemini, līdz atvērtiem modeļiem, piemēram, Llama. Ideja ir tāda, ka Siri un Apple Intelligence darbosies kā "orkestrācijas slānis" pār šiem modeļiem, saglabājot konsekventu pieredzi un, cik vien iespējams, uzņēmuma privātuma standartus.
Lietošanas gadījumi produktos un profesionālajā attīstībā
Ikdienas lietošanā mašīnmācīšanās Apple atspoguļojas tik dažādās funkcijās kā sadursmju noteikšana no iPhone un Apple Watch, paredzamā teksta ievade uz tastatūras, fotoattēlu programmatūras uzlabošana, Apple Music ieteikumi vai populāru galamērķu ieteikumi lietotnē Maps noteiktā laikā.
Uzņēmumiem un izstrādātājiem Apple mašīnmācīšanās ekosistēma paver durvis uz plašu projektu klāstu: attēlu klasifikācija produktu katalogiem, lokālās ieteikumu sistēmas, automātiska dokumentu analīze, iekšējie sarunu asistenti, aģenti, kas automatizē ikdienas procesus, vai akustisko notikumu noteikšana reāllaikā.
Specializētas firmas, piemēram, Q2BSTUDIO Viņi izmanto tādas tehnoloģijas kā Core ML, Create ML, Vision, Natural Language un SoundAnalysis, lai radītu pielāgotus risinājumus, kā arī integrē mākoņinfrastruktūras (AWS, Azure), ja nepieciešama mākoņapstrāde vai hibrīdie risinājumi. Viņi arī apvieno šos modeļus ar rīkiem no biznesa analītika un Power BI lai prognozes pārvērstu par praktiski īstenojamiem lēmumiem.
Vēl viens bieži uzdots jautājums ir, vai ir vērts to izmantot. MacBook mašīnmācīšanās vajadzībāmDaudzi lietotāji novērtē akumulatora darbības laiku, pārnesamību un kopējo lietošanas pieredzi, salīdzinot ar lielgabarīta Windows klēpjdatoriem. Tomēr ļoti lieliem modeļiem praktiskākas joprojām ir atsevišķas darbstacijas vai mākonis. Mac datori ar M mikroshēmu Tie ir demonstrējuši ļoti stabilu sniegumu maziem vai vidējiem apmācību uzņēmumiem, lokālai izstrādei, prototipu veidošanai un optimizētu modeļu darbībai ar MLX vai Core ML.
Potenciālie trūkumi, salīdzinot ar Linux vai Windows, parasti ir saistīti ar specifisku bibliotēku saderību vai faktu, ka daži rīki galvenokārt ir paredzēti NVIDIA GPU, taču Apple atbalsts, izmantojot Metal un ML pašu ekosistēmu, ir diezgan ātri samazinājis šo plaisu.
Viss šis tehnoloģiju tīkls, sākot no maziem ierīču modeļiem līdz Apple Intelligence un privātajai mākoņdatošanai, rada priekšstatu, kurā Apple mākslīgais intelekts iekļūst gandrīz katrā sistēmas stūrī lai padarītu pieredzi vienmērīgāku, personalizētāku un vienlaikus drošāku, ar mērķi, lai gan lietotāji, gan izstrādātāji varētu paļauties uz mašīnmācīšanos, neatsakoties no privātuma vai necīnoties ar pārmērīgu sarežģītību.
