Dierlijke vocalisaties bieden waardevolle inzichten in de natuurlijke wereld en fungeren als krachtige biologische instrumenten waarmee onderzoekers verschillende aspecten vanhet leven van dieren kunnen onderzoeken. Het vakgebied bioakoestiek is steeds belangrijker geworden in biodiversiteitsmonitoring en -behoud, wat helpt bij soortidentificatie en bij het beoordelen van populatietrends en de gezondheid van ecosystemen 2,3,4. Dit onderzoeksgebied draagt ook bij aan ons begrip van diergedrag, bijvoorbeeld bij communicatie en habitatgebruik 5,6. Meer recentelijk is aangetoond dat het een veelbelovende benadering is voor het beoordelen van dierenwelzijn 7,8.
Een van de belangrijkste voordelen van het gebruik van akoestische analyse als onderzoeksinstrument zijn de recente technologische ontwikkelingen in autonome opname-units (ARU's), waarmee onderzoekers dierlijke vocalisaties gedurende langere tijd niet-invasief en op afstand kunnen monitoren, een techniek die bekend staat als passieve akoestische monitoring (PAM)9. Dit heeft het mogelijk gemaakt om gegevens van cryptische soorten te verzamelen zonder menselijke tussenkomst10,11. Bovendien zijn ARU's kosteneffectief en minimaliseren ze de noodzaak van getrainde onderzoekers om inhet veld te zijn. Een studie naar de cryptische Europese nachtzwaluw (Caprimulgus europaeus) toonde deze voordelen aan en ontdekte dat het gebruik van ARU's significant effectiever was dan menselijke waarnemers bij het detecteren van de soort12. Grootschalige bioakoestiekstudies worden steeds populairder omdat ze inzicht kunnen geven in een reeks ecologische en gedragsmatige aspecten, en ze zijn ook zeer toepasbaar en goed geschikt voor veldstudies. Toch betekent het feit dat ARU's lange tijd draaien dat onderzoekers onvermijdelijk geconfronteerd worden met de uitdaging om enorme hoeveelheden akoestischedata efficiënt en betrouwbaar te verwerken.
Meer recentelijk zijn onderzoekers begonnen met het combineren van PAM met automatische herkenningstools om soorten binnen grote datasets te detecteren, waardoor de algehele verwerking van data wordt verbeterd en versneld. Deze technieken herkennen en classificeren soorten automatisch op basis van vocalisatietype13, vaak met behulp van machine learning- en deep learning-modellen zoals kunstmatige neurale netwerken, die deafgelopen jaren aan populariteit hebben gewonnen. De betrouwbaarheid van automatische herkenningssoftware is vaak superieur aan handmatige methoden voor soortdetectie, zoals aangetoond in studies naar de vocalisaties van de Reuzenpanda (Ailuropoda melanoleuca) 15 en Maleisische kikkersoorten16. Belangrijk is dat een van de belangrijkste drijfveren achter de adoptie van deze benaderingen de verwerkingssnelheid is, vooral omdat het volume akoestische data dat via PAM wordt gegenereerd blijftgroeien met 13. Handmatige analyse van grote akoestische datasets is inefficiënt en onpraktisch op grote schaal, maar geautomatiseerde herkenningstools kunnen opnames verwerken in een fractie van de tijd die een menselijke waarnemer nodig heeft. Zo meldde een studie dat 257 uur handmatig visueel scannen gelijk was aan 1 uur verwerkingstijd met behulp van BirdNET (machine learning-gebaseerd vogelgeluidsherkenningsmodel)17.
Dit op machine learning gebaseerde model voor vogelgeluidsherkenning is zo'n hulpmiddel dat recentelijk aan populariteit heeft gewonnen vanwege zijn gebruik in ornithologie en andere akoestiekstudies; het is een toegankelijke geautomatiseerde software voor vogelsoortidentificatie die gebaseerd is op een deep learning-model18,19. De meeste studies tot nu toe hebben het op machine learning gebaseerde vogelgeluidsherkenningsmodel gebruikt om soortenlijsten voor een bepaald gebied te genereren, en met menselijke validatie is aangetoond dat 89% van de soorten in een gemeenschap wordt gedetecteerd, terwijl er minder dan een kwart van de tijd nodig is die alleen visueel scannengebruikt. Dit op machine learning gebaseerde vogelgeluidsherkenningsmodel is ook aangetoond effectief de aanwezigheid van een specifieke doelsoort in een gebied te identificeren, zoals de Euraziatische Roerdomp (Botaurus stellaris), met een slagingspercentagevan 93,7% van 20. Dit model heeft echter vaak een hoger slagingspercentage in combinatie met handmatige validatie en is nog niet betrouwbaar als volledig automatisch detectieinstrument21. Er zijn ook andere uitdagingen om rekening mee te houden volgens Wood en Kahl21 met betrekking tot de productie van unitless voorspellingen.
De machine learning-detectormodule kent elke gedetecteerde vogelvocalisatie een kwantitatieve betrouwbaarheidsscore toe tussen 0 en 1, die aangeeft hoe zeker de software is dat het gedetecteerde geluid correct is geïdentificeerd als een bepaalde soort 18,19,21. Precisie, gedefinieerd als het aandeel detecties dat echt positief is (d.w.z. correcte identificaties), is een belangrijke maatstaf die door deze score22 wordt beïnvloed. Daardoor kan een hogere betrouwbaarheidsscore minder detecties opleveren, maar met een hogere precisie, maar toch missdetecties, vooral in lawaaierige omgevingen, en een lagere score kan meer detecties opleveren met minder zekere precisie22,23. De relatie tussen de betrouwbaarheidsscores en precisie is complex; vaak wordt vastgesteld dat sommige hoge betrouwbaarheidsscores vals-positieven kunnen zijn, bijvoorbeeld op locaties met veel achtergrondgeluid, of bij soorten die waarschijnlijk andere soorten vocalisaties nabootsen23,24. Vanwege de variabiliteit in precisie tussen soorten en locaties is het mogelijk om tijdens het configuratieproces individuele betrouwbaarheidsdrempels toe te kennen aan elke vogelsoort, waarbij alleen detecties met scores boven die drempel worden gelabeld. Een hoge universele betrouwbaarheidsscore kan worden toegepast op alle soorten en locaties, maar dit verhoogt vaak het aantal valse negatieven (gemiste identificaties)22,25,26, terwijl het aantal vals-positieven per soort varieert en met milieuverschillen tussen opnames.
Verschillende studies en best-practice richtlijnen beschrijven verschillende methoden om een optimale betrouwbaarheidsscore drempel te bepalen waarop de machine learning detectormodule voor specifieke soorten en studielocaties kan worden uitgevoerd, waardoor detecties met meer vertrouwen als echte positieven worden geaccepteerd 21,24,26,27,28 . Een benadering houdt in dat F-scores worden berekend over een reeks betrouwbaarheidsdrempels en de drempel wordt geselecteerd die de F-score maximaliseert, waarbij zowel precisie als recall29,30 in balans worden gebracht. Een alternatieve benadering, die kanskalibratie mogelijk maakt, houdt in dat een willekeurige subset van voorspellingen handmatig wordt gevalideerd en een logistische regressie wordt aangepast om een relatie vast te stellen tussen de binaire validatie-uitkomst (waar/onwaar-detectie) en de bijbehorende betrouwbaarheidsscore21. Deze methode kan vervolgens worden gebruikt om contextspecifieke drempels te bepalen, die kunnen worden aangepast over soorten en omgevingsomstandigheden (bijv. variërend achtergrondgeluid)19. Dergelijke methoden zijn toegepast in passieve akoestische monitoringstudies bij Yucatán zwarte brulapen (Alouatta pigra), grijze wolven (Canis lupus) en coyotes (C. latrans)27,28.
Het doel van dit methodenartikel is om een schaalbare methodologie te demonstreren en te valideren voor het nauwkeurig en betrouwbaar extraheren van soortspecifieke vocale data uit grote akoestische datasets met behulp van het machine learning-gebaseerde vogelgeluidsherkenningsmodel binnen de Raven Pro-bio-acoustics analysesoftware (ver 1.6)19,31. Deze aanpak omvat de berekening van passende betrouwbaarheidsscoredrempels volgens de21 best practice-richtlijnen van Wood en Kahl. Hoewel deze richtlijnen21 een uitgebreid kader bieden voor het toepassen van vertrouwensscores binnen het op machine learning gebaseerde vogelgeluidsherkenningsmodel19, worden ze voornamelijk gepresenteerd als best practice-aanbevelingen. Weinig studies hebben deze procedures operationeel gemaakt binnen verspreide ARU-studiesystemen onder realistische monitoringsbeperkingen, waarbij akoestische omstandigheden en achtergrondgeluid ruimtelijk variëren22. Dit protocol (Figuur 1) is bijzonder geschikt voor grootschalige passieve akoestische monitoringstudies met meerdere locaties, variabele akoestische omgevingen of doelsoorten met hoge misclassificatiepercentages. Bovendien is de implementatie van deze richtlijnen binnen de bioakoestische analysesoftware (ver 1.6)19,31, een toegankelijker en gebruiksvriendelijker platform vergeleken met codeeromgevingen32,33, nog niet eerder aangetoond.

Figuur 1: Schematische weergave van de gehele workflow. Klik hier om een grotere versie van deze figuur te bekijken.
Om deze kloof te dichten, passen we het protocol toe en valideren we het met behulp van grootschalige datasets die zijn opgenomen met AudioMoths - ARUs (ver 1.2.0)34,35, over een divers scala aan habitats. Onze focale soort, de Europese roodborst (Erithacus rubecula), vertoont een hoge zangvariabiliteit en structurele complexiteit36,37, en toonde in de eerste pilotanalyses een vatbaarheid voor verkeerde identificatie. Door soort- en locatie-specifieke betrouwbaarheidsdrempels toe te passen op de op machine learning gebaseerde vogelgeluidsherkenningsmodelconfiguratie binnen de bioakoestische analysesoftware19,31, evalueren we het protocol onder wisselende akoestische omstandigheden, waarbij we verschillende achtergrondgeluidsniveaus en soortassemblages meenemen, en tonen we aan dat het aanpassen van drempeloptimalisatie de detectieprecisie aanzienlijk kan verbeteren ten opzichte van standaardinstellingen. Deze aanpak is ontworpen om uiteindelijk toegankelijke, gestroomlijnde en efficiënte toepassing van het op machine learning gebaseerde vogelgeluidsherkenningsmodel19 in grootschalige PAM-studies te faciliteren, met minimale codering.