Utforsker selvstyrte syntransformere for ganggjenkjenning i The Wild, del 3

Vi bruker en enkel upsample for å interpolere mellom naboskjøter (Figur 3). Naivt å gjøre det på skjelettet resulterer imidlertid i falske ledd på tvers av skjelettet, uavhengig av valg av skjelettformater (f.eks. OpenPose eller COCO), siden leddordningen ikke bevarer noen semantisk betydning.

Leddsekvensering refererer til å bevege leddene i kroppen i en bestemt rekkefølge. Denne typen trening spiller en viktig rolle for å opprettholde fysisk helse og forbedre kroppsminnet.

For det første kan leddsekvensering fremme koordinert bevegelse av ulike deler av kroppen, forbedre muskelstyrken og forbedre kardiopulmonal funksjon, som alle bidrar til å opprettholde god helse. Samtidig kan regelmessig leddjustering redusere stivhet og smerte i kroppen, forbedre holdning og balanse og forsinke nedgangen i fysisk funksjon forårsaket av alder.

For det andre kan leddsekvensering også forbedre hukommelsen. Forskning viser at trening kan stimulere veksten og forbindelsene til hjerneneuroner, og dermed fremme utveksling av informasjon mellom nevroner, noe som kan bidra til å forbedre hukommelsen og læreevnen. Den sekvenserte bevegelsen av ledd krever at hjernen gir nøyaktige instruksjoner for bevegelsene til ulike kroppsdeler, noe som er til stor hjelp for utviklingen av hjernens koordinasjons- og hukommelsesevner.

Til slutt kan leddsekvensering også lindre stress og angst og forbedre emosjonell stabilitet. Trening kan frigjøre noen stoffer i kroppen, som dopamin og endorfiner, som kan bidra til å lindre følelsesmessige problemer og forbedre kroppens følelse av lykke og tilfredshet. Disse faktorene har også en positiv innvirkning på å forbedre hukommelsen.

Oppsummert er det en positiv sammenheng mellom leddsekvensering og hukommelse. Gjennom regelmessige leddsekvenseringsøvelser kan du fremme sunn kropps- og hjerneutvikling, forbedre hukommelse og læringsevner og forbedre emosjonell stabilitet. La oss ta hensyn til god helse og nyte livets skjønnhet sammen! Det kan sees at vi trenger å forbedre hukommelsen, og Cistanche deserticola kan forbedre hukommelsen betydelig fordi Cistanche deserticola er et tradisjonelt kinesisk medisinsk materiale som har mange unike effekter, hvorav en er å forbedre hukommelsen. Effekten av kjøttdeig kommer fra de ulike aktive ingrediensene den inneholder, inkludert syre, polysakkarider, flavonoider osv. Disse ingrediensene kan fremme hjernens helse på ulike måter.

Klikk vet kosttilskudd for å forbedre hukommelsen

Denne observasjonen er i tråd med arbeidet til Yang et al. [44], som foreslår et trestrukturskjelettbilde (TSSI) for å foreslå romlige forhold mellom ledd. Den er basert på en dybde-første tre-traversal-rekkefølge av ledd, som bevarer skjelettets strukturelle informasjon. Figur 3 (til høyre), viser effekten av forskjellige skjelettformater og oppsamplemetoder. For denne endringsmetoden brukte vi TSSI-format og bikubisk interpolasjon.

Videre eksperimenterte vi med to oppskaleringsmetoder, som kunne læres under trening. Vi brukte et enkelt lineært lag på hvert flatt skjelett for å øke antall ledd. Dette er den enkleste måten å transformere hvert skjelett på, men det tar ikke hensyn til noen romlige forhold mellom leddene. For å løse dette bruker vi også et sett med 2D-dekonvolusjonslag på skjelettsekvensen for å endre størrelse samtidig som den tar hensyn til strukturinformasjonen; for denne metoden bruker vi også TSSI-formatet.

Tabell 1 viser resultatene for hver endringsmetode for alle arkitekturer. Modellene ble trent og evaluert på CASIA-B i 200 epoker, og vi viser resultater for normal gange. For resten av eksperimentene våre valgte vi å oppsample skjelettsekvensen med bikubisk interpolasjon.

Selv om det er flere mulige selvovervåkede førtreningsprosedyrer, valgte vi en kontrastiv førtreningstilnærming siden det er den samme prosedyren for selve gjenfinningsoppgaven med ganggjenkjenning. Kontrastive tilnærminger oppmuntrer representasjoner som tilhører samme klasse til å være tett i latent rom, samtidig som de er fjernt fra representasjoner som tilhører forskjellige klasser.

Spesielt bruker vi Supervised Contrastive [45]for fortrening. SupCon-tap opererer på en multi-viewed batch: hver prøve i batchen har flere utvidede versjoner av seg selv. Det ble vist å være naturlig mer robust mot datakorrupsjon, det lindrer behovet for nøye utvalg av trillinger siden gradienten oppmuntrer til å lære av harde eksempler og er mindre følsomme for hyperparametere.

3.4. Dataforsterkning

Trening på en selvovervåket kontrastiv måte med SupCon-tap innebærer bruk av dataforsterkning for å gi flere utvidede "visninger" av den samme skjelettsekvensen. Forsterkninger som brukes for våre vandreskjelettsekvenser er i tråd med andre arbeider på dette området [10,12, 30]. Den viktigste utvidelsen som brukes er tilfeldig tidsmessig beskjæring med en periodelengde på T=64 rammer.

Gitt at skjeletter spores i en variabel varighet av tid, bruker vi beskjæring for å sikre at alle sekvenser har samme lengde. Dessuten kan en gående person endre retning og utføre andre handlinger over den sporede varigheten; følgelig induserer beskjæring mer variasjon for samme sekvens.

Videre endrer vi gangtempoet ved å redusere eller øke hastigheten på gange. Vi brukte hastighetsmodifikatorer på {{{0}}.5, 0.75, 1, 1.25, 1.5, 1.75, 2.0}. Dette er tilpasset fra arbeidet til Wang et al. [48] ​​for selvstyrt læring av videorepresentasjoner. Dessuten har tempomodifisering blitt brukt i ganganalyse tidligere [33].

Vi bruker også tilfeldig vending med en sannsynlighet på {{0}}.5, sekvensreversering med en sannsynlighet på 0.5, additiv gaussisk støy for hver ledd med σ=0.005, og randomdropout av 5 % av leddene med en sannsynlighet på 0,01 for å simulere manglende ledd fra poseestimeringsmodellen.

3.5. Initialiseringsmetoder

For å måle effekten av selvovervåket pretraining-ytelse på de foreslåtte arkitekturene, utforsker vi tre forskjellige initialiseringsmetoder. Tabell 2 viser de ulike datasettene som er brukt i litteraturen. Mens CASIA-B [6] og FVG[29] er kontrollerte datasett, hovedsakelig brukt til evaluering, bruker vi DenseGait [12] og GREW [7] for selvovervåket fortrening for de fem arkitekturene. DenseGait og GREW er to av de største realistiske gangdatabasene, samlet i utendørsmiljøer, som antagelig inneholder de fleste gangvariasjoner, atferd og kompleksitet som er tilstede i hverdagen. Vi velger disse datasettene for å ha mer generelle gangrepresentasjoner, for å tillate generelle overvåkingsscenarier for gangautentisering.

DenseGait Pretraining DenseGait er et storstilt "i naturen" gangdatasett som samles inn automatisk fra overvåkingsstrømmer. Den inneholder 217 K sporede skjelettsekvenser, ekstrahert ved hjelp av AlphaPose [22], i forskjellige miljøer og kameravinkler fra multigeografiske steder. Siden DenseGait samles inn automatisk, er merknadene i form av sporingsidentifikatoren støyende, og datasettet kan inneholde sekvenser om samme emne, selv om dette er en sjelden forekomst. Dette er imidlertid tilfellet for flertallet av store umerkede datasett som inneholder prøver som tilhører samme semantiske klasse, som anses som urelaterte under trening. Vi forhåndstrener hver arkitektur på DenseGait og bruker de trente parameterne for ytterligere nedstrøms ytelsesevaluering av de kontrollerte datasettene.

GREW Pretraining GREW er et annet utendørs "i naturen" datasett, men er nøye kommentert slik at det inneholder gående motiver over flere dager og forskjellige typer klær. For å overholde kravene til det selvovervåkede regimet, forkaster vi imidlertid merknadene og behandler hver gangsekvens som en separat person. GREW er 2× mindre enn DenseGait, og inneholder 128 K skjelettsekvenser, samtidig som hver fotgjenger spores for en kortere gjennomsnittlig varighet [12]. Vi trener også hver arkitektur på GREW og bruker de trente parameterne for nedstrøms ytelsesevaluering.

Tilfeldig initialisering Denne initialiseringsmetoden tilsvarer ingen forhåndstrening (dvs. trening fra bunnen av). Hver arkitektur er trent med tilfeldig vektinitialisering på nedstrøms datasett. Denne metoden er en grunnlinje for å sammenligne ytelsesgevinster ved fortrening.

3.6. Evaluering

Nedstrøms oppgaveytelse blir evaluert på to forskjellige måter for gangartgjenkjenning. Vi tester direkte gjenfinningsmulighetene til ferdigtrente arkitekturer, uten å finjustere for en spesifikk oppgave. Denne metoden tilsvarer nullskuddsoverføring. Videre finjusterer vi hver arkitektur ved å bruke en 10× mindre læringsrate enn under fortrening, med en gradvis mindre læringsrate ved begynnelsen av nettverket, tilsvarende tolayer-wise learning rate decay (LLRD) [50] policy.

Evalueringen av nedstrøms ytelsen utføres på to populære ganggjenkjenningsdatasett: CASIA-B [6] og FVG [29]. Begge datasettene inneholder et lite antall emner under strenge gangprotokoller, som er kontrollert over forskjellige forvirrende faktorer: kameravinkel, klær, tilbehør og ganghastighet.

CASIA-B er et innendørs datasett som inneholder 124 motiver tatt fra 11 synkroniserte kameraer. Hvert individ går under tre forskjellige forhold: normal gange, klesskift og veskebæring. Siden utgivelsen har det vært en stift for benchmarking av ganganalysemodeller, og er et av de mest brukte datasettene i dette området. Vi bruker de første 62 fagene som treningssettet og resten av de 62 til ytelsesevaluering. For ganggjenkjenning velger vi å evaluere ytelsen på en per-vinkel-basis i en "leave-one-out"-innstilling, der gallerisettet inneholder alle gangvinkler unntatt sondevinkelen.

Front-View Gait er et annet populært datasett for gangartgjenkjenning, med 226 personer som går utendørs under forskjellige protokoller. Forskjellig fra CASIA-B, har FVG ytterligere forvirrende faktorer: ganghastighet, rotete bakgrunn og tidens gang (dvs. noen forsøkspersoner har registrerte turer som strekker seg over et år). Videre er alle motiver fanget med en frontvendt kameravinkel, som regnes som den vanskeligste vinkelen for ganggjenkjenning siden den inneholder den minste mengden oppfattede leddbevegelsesvariasjoner. Vi brukte de første 136 fagene til trening og resten til prestasjonsevaluering. Ytelsesevaluering for ganggjenkjenning følger protokollene som er skissert av forfatterne, der vi bruker den normale gangsekvensen i gallerisettet og de andre betingelsene i sondesettet.

For alle evalueringsscenarier bruker vi deterministisk beskjæring i midten av gangsekvensen og bruker ingen testtidsforsterkninger.

4. Eksperimenter og resultater

4.1. Evaluering av CASIA-B

Vi forhåndstrener hver arkitektur på henholdsvis DenseGait og GREW, og evaluerer ytelsen på CASIA-B og FVG. I det første settet med eksperimenter er vi interessert i å inevaluere ytelsen til CASIA-B i et finjusteringsscenario etter fortrening, med gradvis større treningsprøver. Vi trente hvert nettverk på de første 62 identitetene, med alle tilgjengelige gåvarianter, og beholdt resten for testing. Gjenkjennelsesevaluering ble utført ved å bruke de første 4 normale gangprøvene som gallerisett, og resten som et sondesett. Figur 4 viser nøyaktigheten for hver av de tre gåvariasjonene (normal—NM, klær—CLm og bæreveske—BG) for CASIA-B. For dette scenariet, tilfeldig samplet K={1, 2, 3, 5, 7, 10} turer per emne, per vinkel, og trent modellen. Selv om ytelsen er relativt lik mellom arkitekturer, er det klart at fortrening gir et betydelig løft i ytelse sammenlignet med tilfeldig initialisering, uavhengig av forhåndstreningsdatasettet.

Dessuten ser SimpleViT, CrossFormer og Twins-SVT ut til å ha lignende høy ytelse, mens Token2Token er litt hengende. Dette antyder at den progressive tokeniseringsmetoden brukt i Token2Token, som ble spesielt designet for bildelignende strukturer, ikke effektivt fanger opp egenskapene til gangsekvenser. Det er en merkbar forskjell mellom fortreningsdatasettene: DenseGaits synes å tilby en jevn ytelsesøkning i de to gangvariasjonene (CL ogBG) sammenlignet med GREW. Dette er et tegn på at DenseGait inkluderer mer utfordrende og realistiske scenarier som bedre forbereder modellen for forhold der gangmønsteret påvirkes av ytre faktorer.

Arkitekturene er opplært til å kartlegge gangsekvenser til et innebygd rom, der nærheten mellom punktene gjenspeiler likheten til de tilsvarende gangsekvensene. Dette betyr at innleiringer av usynlige gangsekvenser fra samme identitet bør være nær hverandre i innleiringsrommet og danne klynger, mens innleiringer av forskjellige identiteter bør være lenger unna hverandre og danne distinkte klynger. Dette er viktig ettersom det lar modellen generalisere til usynlige gangsekvenser og identifisere individet nøyaktig ved å bruke en tilnærming til nærmeste nabo. I figur 5 presenterer vi klyngingen for innebyggingene for hver identitet i testsettet av CASIA-Bafter dimensjonalitetsreduksjon med t-SNE [51]. Vi brukte den 256-dimensjonale innebyggingsvektoren og projiserte den i to dimensjoner. SimpleViT og CrossFormer ser ut til å ha den beste separasjonen av identiteter, uavhengig av kameraets synspunkt.

4.2. Evaluering av FVG

På samme måte evaluerte vi ytelsen til hver arkitektur på FVG, som er kvalitativt forskjellig fra CASIA-B, siden den inneholder bare en enkelt synsvinkel. Vi finjusterer forhåndstrenet nettverk på en brøkdel f={0.1, 0.2, 0.3, {{10 }}.5, 0.7, 1.0} av de 12 løpene per person i treningssettet. Finjusteringsresultater er presentert i figur 6. Resultatene følger en lignende trend som for CASIA-B: SimpleViT og CrossFormer har konsekvent høy ytelse, og bruken av et fortreningsdatasett er fordelaktig for nedstrøms ytelse. Videre ser det ut til at fortrening på DenseGait fortsetter med en konstant forbedring av nøyaktigheten. Som bemerket av Cosma og Radoi [12], inneholder DenseGait emner som spores over lengre varighet, og dette gir mer variasjon i det kontrastive læringsmålet, i likhet med tilfeldig beskjæring for selvovervåket fortrening for naturlige bilder. I likhet med resultatene på CASIA-B, henger klesvariasjonen sterkt bak det normale gangscenarioet.

I tabell 4 presenterer vi mer finkornede resultater på testsettet av FVG mellom forhåndstrente modeller, likt CASIA-B-scenariet. Fortreningsresultater er konsistente: førtrening på DenseGait korrelerer direkte med forbedringen i nedstrøms nøyaktighet. Mens forhåndstrening på begge datasettene forbedrer ytelsen i alle scenarier, er forbedringen spesielt betydelig i CBG-scenarioet (Cluttered Background), som vanligvis består av å ha flere personer i videoen, likt det som forventes urealistiske innstillinger. Denne forbedringen kommer sannsynligvis fra det faktum at DenseGait og GREW ble samlet i naturlige, ukontrollerte miljøer, noe som gjorde dem mer realistiske og utfordrende, og dermed bedre forberedt modellen for lignende forhold som de i CBG-scenarioet. Rangeringen mellom modellene ligner på CASIA-B: SimpleViT, CrossFormer og Twins-SVT overgår konsekvent CaiT og Token2Token. For både CASIA-B og FVG henger CaiT litt etter andre modeller.

4.3. Spatiotemporal Sensitivitetstest

En særegenhet ved synstransformatorer er det vilkårlige valget av lappdimensjoner, som kan vise seg å være avgjørende for den endelige ytelsen. Når det gjelder bildebehandling, er ikke patchdimensjoner spesielt viktige, på grunn av translasjonsinvariansen til det semantiske innholdet i et bilde.

For skjelettsekvenser tilsvarer imidlertid lappedimensjonene spesifikke og tolkbare trekk ved inngangen: lapphøyde representerer mengden romlig informasjon som finnes i en lapp (dvs. antall skjelettledd inkludert), mens de tidsmessige dimensjonene representerer mengden inkludert tidsinformasjon ( dvs. antall rammer). Balansen mellom de to bør vurderes nøye ved bruk av tilpassede synstransformatorer for ganganalyse. I figur 7 viser vi et varmekart der hver celle er ytelsen til en trent modell (tilfeldig initialisert) på CASIA-B for normal gange. Vi trener hver modell i 50 epoker for en rettferdig sammenligning, og for å måle konvergenshastigheten ved et fast antall trinn.
Vi konstruerte to varmekart, ett for SimpleViT og ett for CaiT siden de har en lignende underliggende ryggrad, og det er enkelt å endre patchstørrelsene. Den samme prosessen kan utføres for de andre testede arkitekturene. Vi konkluderer med at mindre lappstørrelser tilsvarer en positiv økning i modelleringsytelse for skjelettsekvenser, mens avveiningen mellom romlige og tidsmessige dimensjoner ikke er avgjørende, siden ytelsen er lik - varmekartmatrisen er ganske symmetrisk med den andre diagonalen. Derfor passer mindre firkantede lappstørrelser som (2, 4) på ​​tvers av romlige og tidsmessige dimensjoner best for denne oppgaven, mens større lappstørrelser som (32, 32) inneholder for lite diskriminerende informasjon. Men mindre oppdateringsstørrelser øker ganske enkelt antallet oppdateringer, noe som krever mer datakraft. For oppsettet vårt av to NVIDIA RTX 3060 GPUer, rapporterte vi ut-av-minnet feil for noen kombinasjoner av mindre oppdateringsstørrelser.

Den mest sannsynlige årsaken til den forbedrede ytelsen med mindre patchstørrelser er at arkitekturen bedre kan fange kompleksiteten til gangmønsteret ved å beregne mer intrikate interaksjoner mellom patcher. Lapper med størst mulig romlige størrelser og minste mulige temporale størrelser kan betraktes som fullstendige representasjoner av skjeletter, mens lapper med størst mulig temporale størrelser og minste mulige romlige størrelser fanger opp hele leddets bevegelser. Som det kan observeres, oppnås den høyeste nøyaktigheten når lappstørrelsen inneholder en balanse mellom både romlig og tidsmessig informasjon, som tilsvarer små bevegelser av nært forbundet ledd.

5. Diskusjon og konklusjoner

I dette arbeidet ga vi en omfattende evaluering av fem populære varianter av synstransformatoren tilpasset for skjelettsekvensbehandling. Vår innsats er i tråd med de siste fremskritt innen dyp læring for å forene de forskjellige modalitetene under transformatorarkitekturen. Vi foreslo en romlig oppsamplingsmetode for skjeletter (bikubicupsampling med TSSI-skjelettformat) for å kunstig øke antall ledd, slik at sekvensen kan konsumeres riktig av transformatorkoderne. Videre ble hver arkitektur trent under treningsparadigmet for selvtilsyn på to generelle og store gangdatasett (dvs. DenseGait og GREW), og deretter evaluert på to datasett for ganggjenkjenning i kontrollerte miljøer (dvs. CASIA-B og FVG). Vi valgte å ta i bruk det selvstyrte læringsparadigmet for å oppnå generelle gangegenskaper, ikke begrenset til en bestemt gåvariasjon eller kamerasynspunkt.

Resultatene våre antyder behovet for høy mengde, høy kvalitet og varierte datasett for forhåndstrening av ganganalysemodeller. Vi viste at fortrening på DenseGait tilbyr konsekvente nøyaktighetsforbedringer i forhold til GREW, på grunn av økningen i størrelse, antall variasjoner og gjennomsnittlig gangvarighet [12]. Den viktigste fordelen er imidlertid i situasjoner med lave mengder treningsdata tilgjengelig. Resultatene våre viser at trening fra bunnen av fører til betydelig dårligere resultater enn finjustering selv med beskjedne mengder data (dvs. 10 sekvenser per person). Foreløpig utføres de fleste gangstilnærminger innendørs i strengt kontrollerte miljøer, som ikke kan generaliseres til kompleksiteten til interaksjoner i den virkelige verden. Diverse treningsdatasett er avgjørende for å utføre nøyaktige atferdsanalyser i naturen, spesielt siden gangart er en biometrisk funksjon som lett kan påvirkes av eksterne miljøfaktorer, så vel som interne og emosjonelle komponenter.

Vår ablasjonsstudie viser at mindre romlige-temporale flekker er gunstige for bedre nedstrømsresultater. Denne innsikten informerer om fremtidig utvikling av arkitekturforskjeller-sekvenser, som tidligere har vært avhengig av å behandle et individuelt skjelett på en enkelt lapp [12].

Ved siden av samtidige anstrengelser for å bringe ganganalyse inn i realistiske omgivelser, muliggjør vårt arbeid videre overgangen av gangautentisering og atferdsanalyse fra innendørs, kontrollerte miljøer til utendørs, virkelige omgivelser. I-the-wild ganggjenkjenning vil bli allestedsnærværende med utviklingen av smarte sensorer og effektive nevrale arkitekturer som behandler bevegelsesdrevet atferd i sanntid.

Referanser

1. Kyeong, S.; Kim, SM; Jung, S.; Kim, DH Gangmønsteranalyse og klinisk undergruppeidentifikasjon: En retrospektiv observasjonsstudie. Medisin 2020, 99, e19555. [CrossRef] [PubMed]

2. Michalak, J.; Troje, NF; Fischer, J.; Vollmar, P.; Heidenreich, T.; Schulte, D. Legemliggjøring av tristhet og depresjon – gangmønster assosiert med dysforisk stemning. Psykosom. Med. 2009, 71, 580–587. [CrossRef] [PubMed]

3. Willems, TM; Witvrouw, E.; De Cock, A.; De Clercq, D. Gangrelaterte risikofaktorer for treningsrelaterte smerter i underbenet under skoløping. Med. Sci. Idrettsøvelse. 2007, 39, 330–339. [CrossRef] [PubMed]

4. Singh, JP; Jain, S.; Arora, S.; Singh, UP Synsbasert ganggjenkjenning: En undersøkelse. IEEE Access 2018, 6, 70497–70527. [CrossRef]

5. Makihara, Y.; Nixon, MS; Yagi, Y. Ganggjenkjenning: Databaser, representasjoner og applikasjoner. Comput. Vis. Ref. Veileder 2020,1–13.

6. Yu, S.; Tan, D.; Tan, T. Et rammeverk for å evaluere effekten av synsvinkel, klær og bæretilstand på ganggjenkjenning. I Proceedings of the 18th International Conference on Pattern Recognition (ICPR'06), Hong Kong, Kina, 20.–24. august 2006; Volum 4, s. 441–444.

7. Zhu, Z.; Guo, X.; Yang, T.; Huang, J.; Deng, J.; Huang, G.; Du, D.; Lu, J.; Zhou, J. Ganggjenkjenning i naturen: En benchmark. InProceedings av IEEE International Conference on Computer Vision (ICCV), Montreal, BC, Canada, 11.–17. oktober 2021.

8. Chao, H.; Hei.; Zhang, J.; Feng, J. Gaitset: Angående gangart som et sett for gangartgjenkjenning på kryss og tvers. I Proceedings of the AAAIConference on Artificial Intelligence, Honolulu, HI, USA, 27. januar–1. februar 2019; Bind 33, s. 8126–8133. 

9. Fan, C.; Peng, Y.; Cao, C.; Liu, X.; Hou, S.; Chi, J.; Huang, Y.; Li, Q.; He, Z. Gaitpart: Temporal delbasert modell for gangartgjenkjenning. I Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, Seattle, WA, USA, 13.–19. juni 2020; s. 14225–14233.

10. Cosma, A.; Radoi, IE WildGait: Lære gangrepresentasjoner fra rå overvåkingsstrømmer. Sensorer 2021, 21, 8387. [CrossRef][PubMed]

For more information:1950477648nn@gmail.com