تجزیه و تحلیل رفتاری مبتنی بر یادگیری عمیق ، ردیابی جوندگان با دقت بالا را امکان پذیر می کند و قادر به عملکرد بهتر از راه حل های تجاری است

برای مطالعه عملکرد مغز ، تحقیقات بالینی به شدت به نظارت بر حیوانات و تجزیه و تحلیل های بعدی رفتار متکی است. سیستم عامل های تجاری با ارائه ردیابی دقیق حیوانات ، تجزیه و تحلیل رفتاری نیمه با توان بالا را فعال کرده اند ، اما آنها اغلب با تجزیه و تحلیل رفتارهای مرتبط با اخلاق مبارزه می کنند و از انعطاف پذیری برای سازگاری با محیط های آزمایش متغیر برخوردار نیستند. در دو سال گذشته ، پیشرفت های اساسی در یادگیری عمیق و دید ماشین به محققان این امکان را داده است که تجزیه و تحلیل رفتاری را به طور کامل به دست خودشان برسانند. در اینجا ، ما به طور مستقیم عملکرد سیستم عامل های تجاری موجود (Ethovision XT14 ، Noldus ؛ TSE Multi Conditioning Systems) را با حاشیه نویسی انسانی تأیید شده مقایسه می کنیم. برای این منظور ، ما مجموعه ای از فیلم ها را ارائه می دهیم - با دقت توسط چندین رأی دهنده انسانی - از سه آزمایش رفتاری که به طور گسترده استفاده می شود (میدان باز ، بالا به علاوه پیچ و خم ، تست شنا اجباری). با استفاده از این داده ها ، ما نشان می دهیم که با ترکیب ردیابی حرکت مبتنی بر یادگیری عمیق (Deeplabcut) با تجزیه و تحلیل ساده ، می توانیم حیوانات را در طیف وسیعی از تست های رفتاری کلاسیک با دقت مشابه یا حتی بیشتر از راه حل های رفتاری تجاری ردیابی کنیم. علاوه بر این ، ما داده های ردیابی را از Deeplabcut با رویکردهای یادگیری ماشین نظارت شده تحت نظارت قرار می دهیم. این ترکیب به ما امکان می دهد رفتارهای اخلاقی مرتبط با دقت مشابه با انسان ، استاندارد طلای فعلی را بدست آوریم ، بنابراین از راه حل های تجاری بهتر است. علاوه بر این ، رویکرد یادگیری ماشین حاصل ، تغییرات را هم در داخل حاشیه نویسی انسان از بین می برد. به طور خلاصه ، رویکرد ما به بهبود کیفیت و صحت داده های رفتاری کمک می کند ، و از سیستم های تجاری در کسری از هزینه بهتر عمل می کند.

مقدمه

تجزیه و تحلیل دقیق رفتار جوندگان هنگام ارزیابی اثربخشی درمانی در تحقیقات بالینی از اهمیت بالایی برخوردار است. توسعه سریع ابزارهای جدید و مداخلات مولکولی در جوندگان و همچنین تعداد فزاینده ای از خطوط موش تراریخته موجود ، نیاز به تشخیص دقیق و کارآمد رفتار جوندگان را افزایش می دهد [1-3]. به طور معمول ، تجزیه و تحلیل رفتاری برای ردیابی مسیر حرکت یک حیوان یا اندازه گیری زمان صرف شده در مناطق خاص از عرصه های آزمایش ، به تجهیزات تجاری متکی است. راه حل های تجاری معمولاً از ردیابی ویدیویی یا شبکه های پرتو مادون قرمز استفاده می کنند ، و یا به عنوان بسته های نرم افزاری مستقل (Ethovision ، Anymaze) در دسترس هستند ، یا با سخت افزار یکپارچه شده اند تا دستگاه های تجزیه و تحلیل رفتاری همه در یک ایجاد کنند (به عنوان مثال TSE Systems ، Campdenسازها ، همکاران پزشکی). چنین سیستمهایی محققان را قادر به انجام غربالگری رفتاری نیمه با توان بالا کرده اند [4،5]. با این حال ، این راه حل های تجاری نه تنها بسیار گران قیمت هستند ، بلکه توانایی تعریف انعطاف پذیر و نمره رفتارهای خاص مورد علاقه را نیز ندارند. علاوه بر این ، آنها به راحتی نمی توانند متناسب با نیازهای آزمایشی سازگار شوند. حتی از نظر مشکل ساز ، آنها اغلب رفتارهای اخلاقی را با حساسیت بسیار ضعیف اندازه گیری می کنند. در نتیجه ، گلزنی انسان هنگام به ثمر رساندن رفتارهای اخلاقی ، استاندارد طلا باقی مانده است. با این حال ، حاشیه نویسی انسان نه تنها بیش از حد وقت گیر است ، بلکه با تغییرپذیری داخل و بین المللی نیز مانع می شود. به عنوان مثال ، حاشیه نویسی های انسانی هنگام انجام کارهای تکراری خسته می شوند و عملکرد آنها ممکن است نه تنها بین روزها بلکه ساعت به ساعت متفاوت باشد [6]. علاوه بر این ، پیچیدگی رفتار حیوانات می تواند حاشیه نویسی را تحت الشعاع قرار دهد ، و تفاوت های ظریف در تعریف رفتارهای پیچیده می تواند باعث افزایش بیشتر تنوع بین حاشیه نویسان انسان شود و منجر به قابلیت اطمینان بین همسایه شود [7،8].

به تازگی ، پیشرفت های عمده در یادگیری ماشین به اولین توصیفات تجزیه و تحلیل های بدون نظارت از رفتار منجر شده است ، که نشان دهنده پیچیدگی زمانی و ساختاری خیره کننده رفتار جوندگان است [9-13]. با این حال ، این تحلیل های پیشرفته برای بسیاری از آزمایشگاه های زیست شناسی و تحقیقات رفتاری برای ایجاد چالش برانگیز است ، که احتمالاً توضیح می دهد که چرا آنها هنوز توسط جامعه تحقیقات رفتاری به طور گسترده ای اجرا نشده اند. اجرای ظریف و در دسترس یادگیری عمیق برای ردیابی حرکت و تخمین Pose Deeplabcut (DLC) ، یک بسته نرم افزاری منبع باز است که به سرعت در سراسر جهان در حال پخش است [14،15]. بر خلاف سیستم های تجاری ، DLC به کاربر اجازه می دهد تا نقاط خاص مورد علاقه (به عنوان مثال قطعات خاص بدن) را تعریف و ردیابی کند. با توجه به این افزایش سطح جزئیات و انعطاف پذیری ، ما آزمایش کردیم که آیا DLC می تواند برای جایگزینی بسته های ردیابی تجاری موجود استفاده شود ، و اینکه آیا می توان از آن برای دستیابی به دقت انسان هنگام به ثمر رساندن رفتارهای پیچیده و اخلاقی استفاده کرد. ردیابی و تجزیه و تحلیل رفتار در تعداد زیادی از تست های رفتاری برای جوندگان انجام می شود. در این گزارش ، ما روی سه مورد از محبوب ترین روشهای رفتاری که بطور معمول در تحقیقات بالینی مورد استفاده قرار می گیرند ، تمرکز می کنیم: آزمون میدانی باز [16،17] ؛پیچ و خم به علاوه [18،19] ؛و تست شنا اجباری [20-22]. جستجو در PubMed نشان داد که این آزمایشات تا به امروز در بیش از 10000 مقاله تحقیقاتی با افزایش مداوم در دهه گذشته مورد استفاده قرار گرفته است (شکل S1). با وجود این واقعیت که میزان اطلاعاتی که به طور بالقوه می تواند از مشاهده رفتار در این آزمایشات جمع آوری شود ، تقریباً بی حد و حصر است [9،10] ، چندین رفتار اخلاقی خاص وظیفه مشخص شده است [23،24]. غوطه وری سر در پیچ و خم به علاوه [19،25] ؛پرورش در تست میدان باز [26-29] ؛و شناور در آزمایش شنا اجباری [30،31] فقط سه نمونه از رفتارهای اخلاقی مرتبط با حالات عاطفی و بیماری است [32،33]. به عنوان مثال ، کاهش اکتشاف (پرورش/غوطه وری سر) نشانگر اضطراب است [29] ، و شناور در آزمایش شنا اجباری با رفتارهای تطبیقی استرس در آغوش گرفته شده است [34،35] ، اگرچه اغلب برای غربالگری فعالیت ضد افسردگی مورد استفاده قرار می گیرد. داروهای جدید [36،37]. بنابراین ، قادر به نمره دادن دقیق و گزارش این رفتارها ، یک لایه مهم از اطلاعات را به مسیر اصلی حرکت حیوان اضافه می کند.

در این کار ما با دقت روش مبتنی بر DLC خود را به سیستم عامل های تجاری مقایسه می کنیم (نرم افزار ردیابی ویدیو Ethovision XT14 از نولدوس ، و سیستم چند تهویه مطبوع "همه در یک" از سیستم های TSE) و به رفتار دارای رتبه بندی شده توسط چندین حاشیه نویسی انسانی (استاندارد طلا). این مقایسه برای این زمینه ارزشمند است زیرا در حال حاضر ارزیابی کاملی از قابلیت اطمینان سیستم عامل های مختلف تجاری وجود ندارد.

مواد و روش ها

حیوانات

موش های C57BL/6J (C57BL/6JRJ) (نر ، 2. 5 ماهگی) از ژانویر (فرانسه) به دست آمد. موش ها در یک مرکز کنترل دما و رطوبت در یک چرخه نور 12 ساعته معکوس (چراغ روشن در ساعت 08:15 صبح) در قفسهای تهویه جداگانه (Sealsafe Plus ، Tecniplast ، آلمان) با مواد غذایی نگهداری شدند (M/R Haltung Extrudat، Provimi Kliba SA ، سوئیس ، گربه# 3436) و Ad Libitum. قفس حاوی بستر تراشه چوب (Lignocel Select ، J. Rettenmaier & Söhne ، آلمان) مواد لانه سازی (کاغذ بافتی) و یک پناهگاه پلاستیکی شفاف قرمز است. موش ها در گروه های 5 در هر قفس قرار گرفتند و برای آزمایش در زمان 2. 5-4 ماهه مورد استفاده قرار گرفتند. به همه موش ها حداقل 2 هفته داده شد تا قبل از آزمایش با چرخه نور و شرایط محیطی سازگار شوند. برای هر آزمایش ، از موشهای همان سن در کلیه گروههای آزمایشی استفاده شد تا اثرات مخدوش سن را رد کنند. تمام آزمایشات در مرحله فعال (تاریک) حیوانات از 12-5 بعد از ظهر انجام شد. موش ها به منظور استاندارد سازی محیط خود و جلوگیری از مزاحمت در محاصره ها در حین آزمایش ، 24 ساعت قبل از آزمایش رفتاری قرار داشتند [38،39]. تمام مراحل مطابق با مقررات کانتون سوئیس برای آزمایش حیوانات انجام شد و تحت مجوز 155/2015 تصویب شد.

آزمون میدانی باز (OFT)

آزمایش میدان باز در داخل اتاقهای عایق بندی شده و تهویه چند تهویه مطبوع (TSE Systems Ltd ، آلمان) انجام شد. عرصه میدان باز (45 سانتی متر × 45 سانتی متر × 40 سانتی متر [L × W × H]) از چهار دیوار پلکسی گلاس شفاف و یک کف PVC خاکستری روشن تشکیل شده است. حیوانات در زیر چهار چراغ زرد به همان اندازه (4 لوکس در کف میدان باز) با 65 دسی بل سر و صدای سفید که از طریق بلندگوهای هر جعبه پخش می شود ، مورد آزمایش قرار گرفتند. یک نور مادون قرمز جعبه ها را روشن می کند تا از یک دوربین مادون قرمز برای ضبط تست ها استفاده شود. قبل از آزمایش هر حیوان ، کل عرصه میدان باز با استفاده از مواد شوینده 10 میلی لیتر در لیتر (برای ، دکتر Schnell AG) تمیز شد. اتاقی که محفظه های چند تهویه مطبوع با چراغ های LED قرمز (637 نانومتر) روشن شد. حیوانات توسط دم از خانه خود خارج شدند و مستقیماً در مرکز میدان باز قرار گرفتند. درهای محفظه تهویه پس از آن به سرعت بسته شد. ردیابی/ضبط توسط سیستم چند تهویه مطبوع پس از اولین شکست پرتو شبکه حرکتی آغاز شد ، در حالی که فیلم های این آزمون از زمان بسته شدن درهای جعبه (تقریباً 3-5 ثانیه پس از شکست پرتو اول) مورد تجزیه و تحلیل قرار گرفت. تمام تست های میدانی باز 10 دقیقه بود. فاصله ، زمان در مرکز ، عقب های پشتیبانی شده و عقب پشتیبانی نشده در OFT ثبت شد.

Elevated Plus Maze (EPM)₂پیچ و خم به علاوه بالا از PVC خاکستری ساخته شده است ، با بازوهای 65. 5 سانتی متر × 5. 5 سانتی متر (L × W) ، 61. 5 سانتی متر افزایش یافته است. قبل از آزمایش هر حیوان ، کل پیچ و خم به علاوه بالا با استفاده از 70 ٪ ETOH در ساعت تمیز شد

O. اتاق مسکونی به علاوه پیچ و خم با دو لامپ کوچک متصل به سقف روشن شد ، آنها تنظیم شدند تا بازوهای باز تقریباً 19-21 لوکس باشد. یک پرده خاموشی اتاق را از هم جدا کرد تا نور از روی صفحه نمایش شرایط نور در اتاق را تغییر ندهد و بنابراین می توان آن را توسط حیوان دید. حیوانات توسط دم از خانه خود خارج شدند و با استفاده از یک جعبه شروع کوچک ، مستقیماً در مرکز EPM قرار گرفتند. ردیابی/ضبط به طور خودکار توسط Ethovision XT14 (پس از شرایط شروع: نقطه مرکز در عرصه به مدت 2 ثانیه) و در ابتدای فیلم در Deeplabcut آغاز شد. تمام تست های پیچ و خم به علاوه 10 دقیقه طول کشید. فاصله ، سرعت ، زمان در منطقه (بازوهای باز/بسته + مرکز) و غوطه وری در EPM ثبت شد.

تست شنا اجباری (FST)

حیوانات قبل از آزمایش فوری اجباری شنا در آب 17. 9-18. 1 درجه سانتیگراد به مدت 6 دقیقه از اتاق مستعمره به اتاق برگزاری منتقل شدند. شنا اجباری در یک لیوان پلاستیکی (قطر 20 سانتی متر ، عمق 25 سانتی متر ، پر از 17 سانتی متر انجام شد تا هیچ موشی نتواند کف ظرف را با دم خود لمس کند یا فرار کند). ردیابی/ضبط به طور خودکار توسط Ethovision XT14 آغاز شد زیرا ماوس با آب تماس برقرار کرد. لیوان تمیز شد و کمی قبل از هر شنا ، آب تغییر کرد. چراغ های LED قرمز سربار (637 نانومتر ، برای موش ها نامرئی) هر دو اتاق نگهدارنده و آزمایش را کم نور روشن کردند. نوارهای LED مادون قرمز یک جعبه سفید POM-C را روی آن روشن می کردند که لیوان قرار داده شده است. فاصله ، سرعت و شناور در FST ثبت شد.

Noldus Ethovision

Ethovision XT14 برای به دست آوردن همه فیلم های اجباری شنا و بالا به علاوه فیلم های پیچ و خم و تجزیه و تحلیل همه فیلم های میدانی باز استفاده شد. از تنظیمات خودکار تشخیص حیوانات برای همه آزمایشات استفاده شد ، تنظیم جزئی این تنظیمات با استفاده از کشویی تنظیم دقیق در تنظیمات خودکار تشخیص حیوانات انجام شد تا اطمینان حاصل شود که حیوانات در کل عرصه ردیابی می شوند. ما اطمینان حاصل کردیم که یک منحنی ردیابی صاف وجود دارد و قبل از انجام تجزیه و تحلیل ، نقطه مرکزی حیوان پایدار مانده است.

Deeplabcut (DLC)

(الف) نقاط استاندارد مورد علاقه برای ردیابی حیوان استفاده می شود.(B ، C ، D) نقاط مورد علاقه برای ردیابی حیوان در میدان باز (B) ، پیچ و خم به علاوه بالا (C) و آزمایش شنا اجباری (D).

سیستم چند تهویه مطبوع

حرکات با استفاده از یک شبکه پرتو مادون قرمز ردیابی شد. برای اندازه گیری پرورش ، یک شبکه پرتو اضافی 6. 5 سانتی متر بالاتر از شبکه حرکتی بالا رفته است. 50 ٪ مرکزی (1012. 5 سانتی متر 2) به عنوان مرکز عرصه تعریف شد. برای تشخیص خودکار پشتیبانی از عقب های پشتیبانی نشده ، ما منطقه ای را که موش ها نمی توانند عقب پشتیبانی شده انجام دهند ، تعیین کردیم. بنابراین ، تمام عقب ها در فاصله 12. 5 سانتی متر دیوارها ، عقب های پشتیبانی شده در نظر گرفته می شدند ، در حالی که عقب در بقیه میدان عقب های پشتیبانی نشده در نظر گرفته می شدند. پرورش به عنوان قطع پرتوی در محور z برای حداقل 150 میلی ثانیه تعریف شد. اگر عقب دیگری در 150 میلی ثانیه از عقب اولیه گزارش شده باشد ، آن را به عنوان بخشی از عقب اولیه شمارش می کرد.

X and Y coordinates of tracked points as determined with DLC, were imported into R Studio (v 3.6.1) and processed with custom scripts (https://github.com/ETHZ-INS/DLCAnalyzer). Values of points with low likelihood (>تجزیه و تحلیل مختصات DLC

0. 95) با استفاده از بسته R "imputeTS" (v 2. 7) حذف و درونیابی شدند. سرعت و شتاب هر نقطه با ادغام موقعیت حیوانات در طول زمان تعیین شد. نقاط مورد علاقه مربوط به عرصه ها ردیابی شدند و مختصات xy میانه برای تعریف عرصه ها در سیلیکون استفاده شد. نسبت تبدیل پیکسل به سانتی متر برای هر ویدیو با مقایسه حجم عرصه در سیلیکو در px 2 با اندازه اندازه گیری شده عرصه در سانتی متر مربع تعیین شد. مناطق مورد علاقه از تعاریف عرصه با استفاده از توابع مقیاس چند ضلعی محاسبه شد. ما 6 منطقه را در OFT تعریف کردیم: مرکز (ضریب مقیاس = 0. 5)، حاشیه (ضریب مقیاس = 0. 8) و 4 گوشه (ضریب مقیاس = 0. 2، در مرکز گوشه ها). و 3 ناحیه در EPM (بازوهای باز، بازوهای بسته و مرکز). ادغام مرکز بدن در کل ویدیو برای محاسبه معیارهایی مانند مسافت کل، میانگین سرعت و زمان در منطقه برای هر ماوس استفاده شد. علاوه بر این، یک قطع سرعت (5 سانتی متر بر ثانیه) برای تعیین زمان و مدت زمان حرکت یک حیوان و سرعت متوسط آن در حین حرکت تنظیم شد. زمان شناور در FST با تجزیه و تحلیل نرخ تغییر ناحیه چند ضلعی که از اتصال مرکز سر، پایه انتهایی، bcl و bcr تشکیل شده است، تعیین شد (شکل 1). هر زمان که این نرخ تغییر (هموارسازی شده با میانگین نورد بیش از 5 ± فریم) کمتر از یک برش از پیش تعیین شده (15 px 2 / فریم) بود، حیوان شناور در نظر گرفته می شد. فرورفتن سر در EPM با مشاهده این که آیا نقاط "بینی" و "مرکز سر" خارج از میدان EPM هستند یا خیر، به دست می آیند.

بازنمایی اسکلت با زمان حل شده

یک نمایش اسکلتی ثابت موقعیت و جهت از مختصات ردیابی شده DLC در هر فریم ایجاد شد. فاصله بین جفت های نقطه ردیابی از پیش تعیین شده، زوایای بین جفت های بردار از پیش تعیین شده و مساحت چندضلعی های از پیش تعیین شده در هر فریم محاسبه شد. نمایش اسکلتی حاصل در مجموع شامل 10 فاصله، 6 زاویه و 4 ناحیه بود. علاوه بر این، دو متغیر بولی برای بررسی اینکه آیا نقاط (در این مورد مرکز بینی و سر) در داخل عرصه هستند یا نه، گنجانده شده است.

این نمایش اسکلتی برای ایجاد توالی کوتاه از اسکلت در فواصل زمانی از پیش تعیین شده استفاده شد. در این حالت ، یک دوره ادغام 15 فریم پوند انتخاب شد. داده های اسکلتی از هر یک از این فواصل زمانی به یک وکتور توالی اسکلت طولانی تر برای هر فریم مسطح می شوند. وکتورهای توالی اسکلت حاصل در یک ماتریس توالی اسکلت ترکیب شدند که یک توالی کوتاه از اسکلت 15 فریم ± برای هر فریم با محوریت قاب را توصیف می کند.

رویکرد یادگیری ماشین

به منظور ایجاد یک مجموعه داده های آموزشی ، 20 فیلم از OFT به صورت دستی برچسب گذاری شده اند (با استفاده از آن از طریق یادداشتگر ویدیو [40]) ، نشانگر شروع و جبران رفتارهای منتخب است. رفتارهای دارای برچسب شامل "عقب پشتیبانی شده" ، "عقب پشتیبانی نشده" و به طور پیش فرض "هیچ" است. فیلم ها توسط سه رأی دهنده مستقل برچسب گذاری شدند. این مجموعه از داده های برچسب زدن برای آموزش چندین شبکه عصبی برای طبقه بندی رفتارهای انتخاب شده استفاده شد (به داده های برچسب زدن می توانید در اینجا دسترسی پیدا کنید: https://github.com/ethz-ins/dlcanalyzer/data. همه فیلم ها را می توان در اینجا یافت:https://zenodo.org/record/3608658). برای هر ویدیوی دارای برچسب از 19 فیلم دیگر برای آموزش یک شبکه عصبی استفاده شد. سپس این مدل در ویدیوی منفرد که در مجموعه آموزش گنجانده نشده است ، به صورت متقاطع اعتبار داده شد. این فرآیند با داده های برچسب زدن به هر رأی دهندگان تکرار شد و در نتیجه 60 مدل و اعتبار سنجی متقابل انجام شد. از بسته R برای Tensorflow و Keras برای یادگیری ماشین استفاده شد. داده های آموزش و آزمایش در فیلم ها با استفاده از یک روش Z-Score (X-میانگین (X) / SD (X)) در پارامترهای غیر بولی نرمال شدند. داده های آموزش قبل از آموزش به طور تصادفی تغییر یافت. یک مدل پی در پی با دو لایه پنهان آموزش داده شد (شکل ورودی: n = 682 ، L1: لایه متراکم ، n = 256 ، نرخ ترک تحصیل = 0. 4 ، فعال سازی = 'relu' ؛ l2: لایه متراکم ، n = 128 ، نرخ ترک تحصیل = 0. 3، فعال سازی = 'relu' ؛ و یک لایه خروجی با: 4 گره ، فعال سازی = 'softmax'). این شبکه برای 10 دوره با اندازه دسته ای از 32 آموزش داده شد. بهینه ساز "RMSProp" ، از عملکرد از دست دادن "رده بندی_کروسنتروپی" و "دقت" استفاده شد. دقت در مجموعه اعتبار سنجی متقاطع بر اساس قاب تعیین شد. با این حال ، برای از بین بردن اشتباهات یک فریم ، طبقه بندی نهایی در یک دوره 5 فریم یکپارچه شد.

تحلیل آماری

داده ها برای نرمال بودن مورد آزمایش قرار گرفت و تمام مقایسه بین مجموعه داده های توزیع شده به طور عادی حاوی دو گروه مستقل با استفاده از آزمون های T بدون زوج (2 دم) انجام شد در حالی که تمام مقایسه ها بین بیش از دو گروه با استفاده از ANOVA یک طرفه به منظور شناسایی اثرات گروهی انجام شد. اثرات اصلی قابل توجهی که پس از آن با تست های تعقیبی انجام شد (آزمون مقایسه چندگانه توکی). ما همچنین ضریب تغییر (CV) را به منظور نشان دادن پراکندگی داده های اطراف میانگین گزارش می دهیم.

نتایج

هدف ما مقایسه عملکرد ردیابی DLC با راه حل های تجاری با استفاده از Three از محبوب ترین تست های رفتاری جوندگان در تحقیقات اساسی علوم اعصاب: تست میدان باز ، پیچ و خم به علاوه بالا و آزمایش شنا اجباری. ردیابی قوی پیش از این با استفاده از DLC [14] و سایر نرم افزار ردیابی منبع باز (به عنوان مثال EZTRACK) [41] نشان داده شده بود ، بنابراین ما ردیابی DLC را در عرصه هایی ایجاد کردیم که با سیستم های تجاری که به طور معمول در آزمایشگاه خود استفاده می کنیم سازگار است. ما هنگام ردیابی موش در هر آزمون ، نقاط مورد علاقه استاندارد را برچسب گذاری کردیم (شکل 1A). برچسب های مربوط به عرصه ها از اهمیت ویژه ای برخوردار هستند (شکل 1b ، c ، d) ، زیرا آنها محاسبه همه پارامترهای استاندارد (به عنوان مثال زمان در مرکز ، مسافت طی شده) از مختصات قاب به فریم از هر نقطه را امکان پذیر می کنندعلاقه.

(الف) شماتیک که گردش کار مقایسه بین سیستم ها را نشان می دهد.(B ، C) فاصله و زمان در مرکز همانطور که توسط Deeplabcut (با تجزیه و تحلیل تعقیبی) ، Ethovision XT14 و سیستم چند تهویه TSE (TSE) گزارش شده است.(D ، E) تجزیه و تحلیل همبستگی عملکرد سیستم های مختلف. داده ها به عنوان میانگین خطای استاندارد میانگین بیان شده است. رنگ ها حیوانات فردی را نشان می دهند و در تکنیک های تجزیه و تحلیل برای مقایسه مستقیم سازگار هستند (20 نفر) **** = P

تجزیه و تحلیل FST و EPM با استفاده از سیستم تهویه مطبوع TSE نمی تواند به ثمر برسد ، زیرا دستگاه EPM/FST با تنظیم "همه در یک" سازگار نیست. بنابراین ما فیلم هایی از 29 موش را انجام دادیم که موش FST و 24 را انجام می دهند که EPM را با استفاده از Ethovision انجام می دهند ، که بعداً با استفاده از DLC مورد تجزیه و تحلیل قرار گرفتند. با استفاده از DLC و Ethovision XT14 ، ما تفاوت معنی داری در مورد مسافت طی شده در FST یا EPM (فاصله CV در شنا = 23. 71 ٪ (DLC) ، 26. 76 ٪ (Ethovision) ، فاصله CV در EPM = 32. 75 (DLC) ، 32. 74 (Ethovision (Ethovision) مشاهده نکردیم.) یا زمان در مناطق (زمان CV در باز در EPM = 59. 88 (DLC) ، 58. 79 (Ethovision). زمان CV در EPM = 37. 66 (DLC) ، 36. 26 (Ethovision). زمان CV در مرکز EPM = 55 (DLC) ، 56. 73 (Ethovision)) (شکل 3).

(الف) شماتیک که گردش کار مقایسه بین سیستم ها را نشان می دهد.(B ، D ، F ، H) پارامترهای ردیابی اساسی در تست شنا اجباری و پیچ و خم به علاوه بالا که توسط هر دو Deeplabcut (با تجزیه و تحلیل تعقیبی) گزارش شده است و Ethovision XT14 گزارش شده است.(C ، E ، G ، I) همبستگی بین نمرات دو سیستم. داده ها به عنوان میانگین خطای استاندارد میانگین بیان شده است. رنگ ها حیوانات فردی را نشان می دهند و در تکنیک های تجزیه و تحلیل برای مقایسه سازگار هستند (FST n = 29 ، EPM n = 24) *= p<0.0001, CV head dips= R1:50.71 %, R2:46.38 %, R3:45.54 %, DLC:47.03 %, Ethovision:28.33%), with differences between all groups and EthoVision (Tukey’s multiple comparisons test, q = 10.96(R1),11.50(R2),10.83(R3), 9.60 (DLC) df = 20, p <0.0001), but no differences between human annotation and DLC. The difference in head dips is likely the result of different parametric definitions of the behavior which is addressed in more detail in the discussion.

با ارائه شواهدی مبنی بر اینکه DLC می تواند توابع ردیابی اساسی را به طور مشابه با بسته های نرم افزاری/سخت افزاری تجاری انجام دهد ، ما در مرحله بعد سعی کردیم با استفاده از مختصات برای هر DataPoint که توسط DLC ردیابی شده است ، رفتارهای اخلاقی را به دست آوریم. برای ایجاد بهترین "حقیقت زمینی" ، سه حاشیه نویسی انسانی به صورت دستی رفتار شناور را در مجموعه ای از 10 فیلم آزمایشی اجباری شنا به دست آوردند. اگر سرعت تغییر چند ضلعی تشکیل شده با پیوستن به مرکز مرکز ، پایگاه ، BCL و BCR (شکل 1A و شکل 4B) کمتر از 15 پیکسل مربع بین فریم ها باشد ، حیوانات شناور در نظر گرفته می شدند. با استفاده از همان فیلم ها ، ما توانستیم رفتار شناور را به طور دقیق شناسایی کنیم (شکل 4). علاوه بر این ، ما این را با ماژول "فعالیت" برای Ethovision XT14 مقایسه می کنیم ، که می تواند برای نمره رفتار شناور استفاده شود (شکل 4). ما تفاوت معنی داری در شناور زمان مشاهده نکردیم ، در حالی که Ethovision ارتباط بهتری با امتیاز دهی دستی نسبت به DLC نشان می دهد. تفاوت بین DLC و Ethovision به احتمال زیاد به دلیل سطوح مختلف بهینه سازی و رویکردهای مختلف برای طبقه بندی حرکت است ، در حالی که Ethovision با مقایسه تغییرات در قاب سطح پیکسل به قاب ، و DLC فقط با استفاده از اطلاعات جمع آوری شده از مختصات ردیابی شده مقایسه می شود. در EPM ، DIP های سر نیز با استفاده از DLC و Ethovision ثبت شد (شکل 4). در اینجا ما اثرات گروهی قابل توجهی را دیدیم (ANOVA یک طرفه ، F (4،20) = 23. 82 ، P

شکل 4. مقایسه ای از غرق شناور و سر ، دو رفتار اساسی اخلاق گزارش شده در تست شنا اجباری/بالا به علاوه پیچ و خم.

(الف) شماتیک گردش کار برای مقایسه بین سیستم ها..(D ، E) شناور در تست شنا اجباری و غرق شدن سر در پیچ و خم به علاوه افزایش یافته توسط 3 حاشیه نویسی انسانی (Rater 1-3) ، Deeplabcut (با تجزیه و تحلیل پس از تعقیب) و ماژول تشخیص رفتاری Ethovision XT14.(F ، G) تجزیه و تحلیل همبستگی برای مقایسه بین رویکردها. داده ها به عنوان میانگین خطای استاندارد میانگین بیان شده است. رنگ ها حیوانات فردی را نشان می دهند و در تکنیک های تجزیه و تحلیل برای مقایسه سازگار هستند (FST n = 10 ، EPM n = 5) **** = p

تا کنون ، ما نشان داده ایم که می توان از پارامترهای تعریف شده دستی برای تعیین خودکار رفتارهای متمایز بر اساس معیارهای از پیش تعریف شده سفارشی و تجزیه و تحلیل ساده پس از تعقیب داده های ردیابی تولید شده توسط DLC استفاده کرد. با این حال ، ما دریافتیم که استفاده از این رویکرد برای رفتارهای پیچیده تر کار فشرده ، خودسرانه و نادرست بود (داده ها نشان داده نشده است). بنابراین ما از یادگیری ماشین نظارت شده برای تشخیص رفتارهای پیچیده در آزمون میدانی باز استفاده کردیم. ما از مختصات برای هر DataPoint ردیابی شده توسط DLC برای بازسازی یک چرخش و نمایش اسکلتی متغیر مکان از حیوان استفاده کردیم (شکل S3). ما سپس یک شبکه عصبی مصنوعی کوچک (2 لایه ، L1 = 256 نورون ، L2 = 128 نورون ، کاملاً متصل) را آموزش دادیم تا توالی های کوتاه از بازنمایی اسکلتی را در طول دوره های عقب های پشتیبانی شده و پشتیبانی نشده تشخیص دهیم. ما روی پرورش در میدان باز متمرکز شدیم زیرا عقب های پشتیبانی نشده و پشتیبانی نشده حرکات بسیار مشابهی هستند (هر دو شامل ایستادن روی پاهای عقب) هستند که به طور خودکار نمره دادن دشوار است [29]. باز هم ، ما 3 حاشیه نویسی داشتیم که 20 فیلم (10 دقیقه طول) به دست آوردیم تا حقیقت زمین را برای پرورش فرکانس تنظیم کنیم و شروع و جبران دقیق هر رفتار را حاشیه نویسی کنیم. ما از داده های هر حاشیه نویسی برای آموزش 20 طبقه بندی رفتار استفاده کردیم. برای عبور از عملکرد طبقه بندی ، ما هر طبقه بندی کننده را در 19 فیلم آموزش دادیم و سپس روی ویدیوی باقیمانده آزمایش کردیم. این به ما اجازه می دهد تا عملکرد طبقه بندی کننده را ارزیابی کرده و همبستگی با حاشیه نویسی انسان را محاسبه کنیم. به طور کلی طبقه بندی کننده های رفتار ما به دقت قاب به فریم 3 ± 86 ٪ رسیدند (شکل S4). تفاوت معنی داری بین هر یک از محققان انسانی (R1-3) یا طبقه بندی کننده های یادگیری ماشین که با استفاده از داده های خود آموزش داده شده (MLR1-3) در امتیاز دهی به عقب های پشتیبانی شده مشاهده نشده است (CV = 16. 41 ٪ (R1) ، 16. 04 ٪ (R2) ، 19. 04 ٪ (R3) ، 15. 75 ٪ (MLR1) ، 16. 85 ٪ (MLR2) ، 17. 23 ٪ (MLR3) یا REAR های پشتیبانی نشده CV = 50. 33 ٪ (R1) ، 48. 86 ٪ (R2) ، 45. 84 ٪ (R3) ، 47. 76 ٪.

شکل 5. مقایسه ای از امتیاز دهی پیچیده رفتاری بین رأی دهندگان انسانی ، طبقه بندی کننده های یادگیری ماشین و راه حل های تجاری در دسترس.<0.05,**=p>(الف) شماتیک گردش کار..(TSE).(D ، E) تجزیه و تحلیل همبستگی برای مقایسه. داده ها به عنوان میانگین خطای استاندارد میانگین بیان شده است. رنگ ها حیوانات فردی را نشان می دهند و در بین تکنیک های تجزیه و تحلیل برای مقایسه سازگار هستند (20 نفر).*= P<0.001,****=p>0. 01 ، *** = P

0. 0001

بحث

این گزارش نشان می دهد که ردیابی ویدیویی Deeplabcut (DLC) همراه با تجزیه و تحلیل ساده پس از تعقیب می تواند داده های رفتاری و همچنین - اگر بهتر از - راه حل های تجاری باشد. با افزودن رویکردهای یادگیری ماشین نظارت شده ، از داده های ردیابی به دست آمده از DLC نیز می توان برای دستیابی به دقت انسانی (استاندارد طلا) هنگام به ثمر رساندن رفتارهای پیچیده ، اخلاقی مرتبط ، استفاده کرد ، بنابراین از سیستم های تجاری در کسری از هزینه بهتر عمل می کند.

به دست آوردن رفتارهای پیچیده اخلاقی با دقت مانند انسان ، گامی مهم به جلو در تجزیه و تحلیل رفتار است. تلاش های قبلی برای نمره دادن به طور خودکار رفتارهای اخلاقی باعث کاهش تنوع داخل رحم و افزایش توان عمل شده است ، اما با هزینه دقت. طبقه بندی کننده های یادگیری ماشین که در اینجا مورد استفاده قرار می گیرد ، قادر به کاهش تنوع داخل رحمی با از بین بردن عواملی مانند خستگی یا تعصب انسانی هستند ، در حالی که به طور دقیق به ثمر می رسند (به طور مشابه با یک محقق انسانی). این نه تنها باعث صرفه جویی در وقت می شود بلکه پول نیز می تواند از رویکردهای مشابه برای نمره هر تعداد رفتارهای بدون هزینه استفاده شود. مهمتر از همه ، در یک آزمایشگاه معین ، این رویکرد اجازه می دهد تا با دقت انسان به ثمر برسد ، در حالی که از تغییرپذیری بین گروهی که در طول زمان تغییر می کند ، جلوگیری می کند.

در مورد امتیازدهی انسانی، حاشیه نویسان ما در همان زمان آموزش دیدند و قبل از شروع به امتیازدهی ویدیوها، درباره اینکه هر رفتاری چه چیزی را تشکیل می دهد، به توافق رسیدند. این احتمالاً تنوع بین ارزیاب را که می تواند از تفاوت در تعاریف رفتارها (حتی در یک آزمایشگاه معین) ناشی شود، کاهش داد. به علاوه، رفتارهای گزارش شده در اینجا در زمان واقعی امتیازدهی نشدند، که برچسب گذاری فریم به فریم را فعال کرد. این مزیت نسبت به امتیازدهی زنده، به ویژه در مورد رفتارهای سریع یا پیچیده دارد. با هم، این عوامل احتمالاً توضیح می دهند که چرا همبستگی های امتیازدهی بین حاشیه نویس ما بیشتر از برخی از مواردی است که قبلاً گزارش شده اند (تقریباً r=0. 96 به جای r=0. 90 برای شناور [8،42]). اگر چه برچسب زدن به صورت پست با این سطح از دقت زمان بر است (تقریباً 1 ساعت در هر ویدیوی 10 دقیقه ای)، پس از آموزش DLC و طبقه بندی کننده های یادگیری ماشین، دیگر نیازی به امتیازدهی دستی نیست، بنابراین زمان و تلاش کلی مورد نیاز به شدت کاهش می یابد. برای نمره دقیق رفتارمزایای برچسب گذاری پس هک به طبقه بندی کننده های یادگیری ماشین منتقل می شود، که برچسب گذاری با کیفیت بالاتر را تولید می کنند. در واقع، طبقه بندی کننده های یادگیری ماشینی اغلب رفتارهای حیوانات را با دقت بیشتری نسبت به انسان ها نمره گذاری می کنند که معمولاً هنگام نمره دهی رفتار در زمان واقعی، رفتارها را از قلم می اندازند. علاوه بر این، انسان ها اغلب در امتیاز دادن به رفتارهایی که به صورت متوالی سریع رخ می دهند شکست می خورند (شکل S4) برای v. s. مقایسه امتیازدهی رفتاری پس از آن). ما همچنین سعی کردیم از این رویکرد یادگیری ماشینی برای رفتار نظافت استفاده کنیم، اما فرکانس پایین رویدادهای نظافت (تقریباً 30-20 رویداد) در مجموعه داده آموزشی ما منجر به داده های آموزشی ناکافی شد و بنابراین این رفتار از تجزیه و تحلیل ما حذف شد. مهم است که تاکید شود که سیستم های تجاری اجازه می دهند پارامترهای تجزیه و تحلیل (به درجات مختلف) را تغییر دهند. برای اهداف این گزارش، ما سعی کردیم تا حد امکان از تنظیمات پیش فرض/پیشنهاد شده استفاده کنیم و تقریباً زمان مساوی را در راه اندازی همه سیستم ها صرف کردیم، بنابراین مقایسه قابل توجهی ارائه دادیم و در عین حال اذعان کردیم که عملکرد هر سیستمی هنوز هم می تواند بهبود یابد. در محدوده).

داده های ارائه شده در اینجا نشان می دهد که برای پارامترهای ساده (مانند مسافت طی شده و زمان در مناطق) ، به نظر می رسد اختلافات زیادی بین مقادیر گزارش شده توسط شبکه های پرتو مادون قرمز و بسته های نرم افزاری ردیابی ویدیویی وجود دارد (شکل 2،5). مسافت دقیق طی شده از نظر فنی در اکثر آزمایشات از اهمیت ویژه ای برخوردار نیست ، اما توانایی مقایسه نتایج در آزمایشگاه ها را محدود می کند. با توجه به وضعیت فناوری فعلی ، هیچ دلیلی وجود ندارد که این مقدار نباید دقیق باشد ، به خصوص که همبستگی ضعیف تر و گسترش گسترده تر داده های جمع آوری شده با استفاده از شبکه پرتو مادون قرمز می تواند تفسیر نتایج را تغییر دهد و به طور بالقوه به معنای عدم کشف فنوتیپ ها است. این احتمالاً نتیجه فاکتورهای مخدوش استفاده از یک شبکه پرتو بر خلاف ردیابی ویدیویی (تکنیک های تخمین پرتوهای نامشخص/تکنیک های تخمین مرکز بدن) است. علاوه بر این ، تعداد و گسترش تیرها دقت را تعیین می کند و پس از ساخت شبکه ، این ویژگی ها به راحتی نمی توانند متناسب با نیازهای کاربر تغییر کنند. عرصه های تخصصی نفوذپذیری مادون قرمز نیز باید در ترکیب با شبکه پرتو استفاده شود که باعث می شود تعداد امکانات آزمایش بیشتر شود.

بسته های تجزیه و تحلیل ویدئویی مانند Ethovision نیز محدودیت هایی دارند ، به عنوان مثال Ethovision مستلزم تعریف عرصه آزمون قبل از تجزیه و تحلیل است. پس از تعریف عرصه تست ، این دیگر انعطاف پذیر نیست ، به این معنی که اگر دستگاه در حین تمیز کردن کمی جابجا شود ، باید دقیقاً به جایی که هنگام تعریف عرصه بود ، برگردانده شود. اگرچه به نظر می رسد فقط یک مسئله جزئی است ، اما این می تواند میزان زمان لازم برای نمره دادن فیلم هایی را که در آن دوربین/عرصه کمی حرکت می کند ، به شدت افزایش دهد. از آنجا که DLC عرصه را تشخیص می دهد ، در برابر این حرکات جزئی غیرقابل نفوذ است و کالیبراسیون عرصه همیشه بدون در نظر گرفتن اندازه اشیاء موجود در این فیلم بهینه است و باعث می شود هنگام استفاده از تنظیمات برای چندین آزمایش ، مستعد خطاها باشد. DLC همچنین می تواند هنگام کار در شرایط اخلاقی بیشتر در عرصه هایی با مواد بستر/پیش زمینه متغیر ، مفید باشد ، جایی که راه حل های تجاری احتمالاً حتی بیشتر نیز تلاش می کنند ، در حالی که قدرت رویکردهای یادگیری عمیق به انعطاف پذیری عضلات آنها خواهد رسید.

یکی دیگر از مزایای کلیدی استفاده از DeepLabCut این است که انعطاف پذیری ردیابی را افزایش می دهد، که کاربر را قادر می سازد تا پارامترهای دقیق مورد نظر خود را بدون محدودیت های غیر ضروری یا دیوارهای پرداختی بسیاری از سیستم های تجاری تعریف و ثبت کند. به عنوان مثال، تجزیه و تحلیل "هد شیب" یا "پرورش" نیاز به خرید یک ماژول اضافی از EthoVision دارد. علاوه بر این، با تعریف هر ویژگی، می توان دقیقاً آنچه را که اندازه گیری می شود، دانست. بسته های تجاری اغلب توضیح می دهند که چگونه پارامترهای خود را تعریف می کنند، اما اغلب این تعاریف بین راه حل های تجاری مختلف سازگار نیستند و نمی توان آنها را تغییر داد. این تفاوت در تعاریف دلیلی است که EthoVision در مقایسه با محققین انسانی، افت سر را بسیار ضعیف ارزیابی می کند (شکل 4). به نظر می رسد EthoVision شیب سر را به عنوان ورود بینی به ناحیه فرورفتگی سر، که درست خارج از نواحی بازوی باز قرار دارد، تعریف می کند. حرکت بینی به داخل "ناحیه فرو رفتن سر" پیش نیازی برای فرو رفتن سر است، اما هر حرکت بینی به این ناحیه منجر به فرو رفتن سر نمی شود. بیشتر ناظران انسانی فقط زمانی سرش را به دست می آورند که حیوان واقعاً سر خود را روی کناره های پیچ و خم فرو می برد، انگار که حیوان به زمین نگاه می کند. این اختلاف به این معنی است که ناظران انسانی رفتار کاملا متفاوتی را گزارش خواهند کرد. علاوه بر این، تعریف سیستم TSE از پرورش نیز نسبت به تعریفی که می توان با استفاده از داده های ردیابی از DLC تولید کرد، انعطاف پذیرتر است. از آنجایی که سیستم TSE به شبکه پرتو مادون قرمز متکی است، نمی تواند بین رفتارهای مختلفی که ممکن است این پرتوها را بشکند تمایز قائل شود و بنابراین نادرست است. همانطور که در شکل 5 مشاهده می شود، می توان آن را تنظیم کرد تا گزارش دقیقی از پرورش بدون پشتیبانی ارائه دهد، اما این به قیمت شناسایی سایر رفتارها، در این مورد، پرورش پشتیبانی شده است. گروه های دیگر نیز ممکن است به رفتارهای متفاوتی مانند کشش یا آراستگی علاقه مند باشند. EthoVision می تواند این رفتارها را با درجاتی از دقت [43]، پس از خرید ماژول تشخیص رفتار شناسایی کند. سیستم تهویه چندگانه TSE نمی تواند هیچ یک از این رفتارها را تشخیص دهد زیرا هنگام استفاده از شبکه پرتو مادون قرمز برای ردیابی، تعریف آنها دشوار است. DLC می تواند برای شناسایی هر یک از این رفتارها با ردیابی چند نقطه ای ساده (برای تشخیص کشش) یا با استفاده از یک رویکرد یادگیری ماشینی مانند آنچه در بالا برای تشخیص عقب استفاده می شود (برای رفتارهای پیچیده تر مانند نظافت) استفاده شود.

از آنجا که تجزیه و تحلیل رفتاری بیشتر به سمت ردیابی ویدیویی حرکت می کند ، برخلاف اتکا به شبکه های پرتو ، تحولات اخیر در رویکردهای شناسایی رفتاری بدون نظارت ، افق آنچه قبلاً ممکن بود ممکن بود ممکن شده باشد ، گسترش یافته است. رویکردهایی که بر شناسایی بدون نظارت و جداسازی الگوهای رفتاری متمرکز شده اند ، شروع به نشان دادن پیچیدگی و غنای واقعی رفتار حیوانات می کنند [9،10،13] ، با این حال تفسیر یافته ها از تکنیک های یادگیری ماشین بدون نظارت دشوارتر است. اگرچه چشمگیر است ، اجرای و استفاده از بسیاری از این رویکردهای تشخیص رفتار بدون نظارت از دسترس بسیاری از آزمایشگاههای علوم پایه است که فاقد برنامه نویسی لازم و دانش یادگیری ماشین هستند. بنابراین ، استفاده/انتشار گسترده از تکنیک های جدید برش احتمالاً به عنوان بخشی از راه حل های نرم افزاری/سخت افزار کاربر پسند به تجاری سازی آنها بستگی دارد. در مقابل ، رویکردهای مبتنی بر یادگیری عمیق/بینایی مبتنی بر دستگاه و رویکردهای شناسایی رفتاری مانند مواردی که در اینجا با استفاده از Deeplabcut نشان داده شده است ، در حال حاضر زمینه علوم اعصاب رفتاری را در دست می گیرند. در این اولین مقایسه منظم و سر به سر ، ما نشان می دهیم که آنها آماده مستقر در این زمینه هستند و ضمن انعطاف پذیری و مقرون به صرفه بودن ، دقت و دقت بالایی را ارائه می دهند.

بودجه و افشای

این پروژه توسط ETH Zurich (JB و BFG) ، Grant Project ETH ETH-20-1 (JB و BFG) ، SNSF کمک های مالی 310030_172889/1 (JB) و CRSII5-173721 (BFG) ، Forschungskredit of Proschungskredit ofدانشگاه زوریخ FK-15-035 (JB) ، مرکز علوم داده سوئیس C17-18 ، (BFG) ، ونتوبل-بنیانگذاری (JB) ، بنیاد Novartis برای تحقیقات بیولوژیکی پزشکی (JB) ، بنیانگذاری EMDO (JB) ، بنیاد Olga Mayenfisch (JB) و بنیاد بتی و دیوید کوچر برای تحقیقات مغز (JB) و دو پروژه مرکز علوم اعصاب زوریخ به آکسفورد/مک گیل/زوریخ (JB و BFG) کمک می کند.

نویسندگان هیچ تضاد منافع را اعلام نمی کنند.

کمک های نویسنده

مفهوم سازی ، سیستم عامل ، LVZ ، JB ؛روش شناسی ، OS ، LVZ ، CS ، FA ؛تحقیقات ، سیستم عامل ، CS ، FA ؛نوشتن - پیش نویس اصلی ، سیستم عامل ، LVZ ، JB ؛نوشتن - بررسی و ویرایش ، OS ، LVZ ، BG ، JB ؛کسب بودجه ، JB ، BFG ؛منابع ، JB ؛نظارت ، سیستم عامل ، LVZ ، BFG ، JB.

تصدیق