بهترین کتابها را برای تئوری و کاربرد یادگیری تقویت پیدا کنید

متیو فیلیپس 23 اکتبر 2022

یادگیری تقویت (RL) پس از پیشرفت های DeepMind با DQN و Alphago در طی یک دهه گذشته رونق گرفته است.

بنابراین بهترین کتابها برای یادگیری یادگیری تقویت چیست؟این تا حدودی به آنچه می خواهید بستگی دارد. گزینه های زیادی وجود دارد ، تفاوت بین آنها دشوار است.

در اینجا لیستی از جوانب مثبت و منفی 9 از بهترین گزینه ها آورده شده است. هر بررسی:

1. پیشینه نظری چقدر ارائه شده است
2. چه مقدار کد شامل می شود
3. چه تعداد برنامه کاربردی گنجانده شده است
4. سطح دسترسی
5. پوشش موضوع چقدر کامل است

ما بر یادگیری تقویت به عنوان زیرزمینی از یادگیری ماشین (به جای رفتار حیوانات) تمرکز می کنیم.

1) یادگیری تقویت: مقدمه - ساتون و بارتو (2018)

قیمت نسخه چاپی: 65 دلار |آنلاین رایگان: بله - پیوند منبع |لینک آمازون

این شاید کتاب یادگیری کلاسیک تقویت کننده باشد. اگر می خواهید مقدمه ای برای تئوری داشته باشید ، این مکان برای رفتن است. این کتاب ذکر شده در این زمینه است.

این کتاب توسط چهره های نمادین در زمینه Rich Rich Sutton و Andrew Barto نوشته شده است. نام های Sutton و Barto اکنون تقریباً مترادف با یادگیری تقویت هستند.

این یک متن مرجع فوق العاده برای یادگیری تقویت است. محدودیت های این کتاب این است که کاملاً نظری است. خواندن از طریق پوشش برای پوشش چالش برانگیز است و هیچ کد موجود در آن وجود ندارد. در بخش پایانی "مرزها" ، برخی از برنامه ها مورد بحث قرار می گیرد ، اما فقط به روش محدود. اگر به دنبال یک رویکرد یا برنامه های کاربردی دستی هستید ، این برای شما نیست.

نظریه: 10/10 |برنامه نویسی: 0/10 |برنامه ها: 3/10 |قابلیت دسترسی: 4/10 |پوشش: 9/10

2) الگوریتم های یادگیری تقویت - CSABA Szepesvari (2010)

قیمت نسخه چاپی: 34. 99 دلار |آنلاین رایگان: بله - پیوند منبع |لینک آمازون لینک آمازون

این یک کتاب کوتاه و مشت است. این مشکلات یادگیری تقویت کننده و الگوریتم ها را برای حل آنها تشریح می کند.

نویسنده هدف این است که این کتاب مختصر باشد ، و در عین حال ایده های اصلی اساسی الگوریتم های پیشرفته را در بر می گیرد.

این یک کتاب کاملاً نظری است - هیچ کد وجود ندارد ، و سعی نمی کند بگوید چرا یادگیری تقویت کننده مفید است. این مانند یک نسخه مختصر از کارهای کلاسیک Sutton و Barto است که با تمرکز بر اصول.

نظریه: 8/10 |برنامه نویسی: 0/10 |برنامه ها: 0/10 |قابلیت دسترسی: 5/10 |پوشش: 5/10

3) برنامه نویسی عصب ی-دینامیک - Bertsekas و Tsitsiklis (1996)

قیمت نسخه چاپی: 69. 00 دلار |آنلاین رایگان: بدون |لینک آمازون

برنامه نویسی عصبی-پویا قدیمی ترین کتاب در این لیست است. اگر به دنبال کتاب اصلی یادگیری تقویت هستید ، این همان است. در ابتدا که در سال 1996 منتشر شد ، قبل از انفجار ، پنجره ای را به این زمینه ارائه می دهد.

نویسندگان - Dimitri Bertsekas و John Tsitsiklis - هر دو استاد علوم کامپیوتر در MIT هستند.

جدیدترین نسخه ای که می توانیم پیدا کنیم در سال 1996 منتشر شد ، بنابراین پیشرفت های الگوریتمی اخیر مانند DQN و Alphago گنجانده نشده است. با این حال ، این هنوز یک پایه نظری محکم برای اصول یادگیری تقویت است.

نظریه: 8/10 |برنامه نویسی: 0/10 |برنامه ها: 0/10 |قابلیت دسترسی: 5/10 |پوشش: 5/10

4) یادگیری تقویت: کاربردهای صنعتی عوامل هوشمند - Phil Winder (2020)

قیمت نسخه چاپی: 33. 60 دلار |آنلاین رایگان: بدون |لینک آمازون

کتاب فیل ویندر در جایی بین تئوری و کاربرد قرار دارد. دامنه محتوای تحت پوشش مشابه Sutton و Barto است ، اما با تمرکز کاربردی به جای تمرکز نظری. همچنین به طور مشابه با Sutton و Barto ، در اینجا هیچ کد وجود ندارد. الگوریتم ها در شبه کد در کنار یک مثال عملی نشان داده شده است.

Winder یک مشاوره هوش مصنوعی را اجرا می کند ، و می توانید بگویید که او این الگوریتم ها را در تنظیمات مربوط به تجارت اعمال کرده است. به خوبی نشان داده شده است ، و برنامه ها مشخص است.

این بیشتر برای کسی که مایل به درک برنامه های یادگیری تقویت شده است و به طور عمیق درک می کند که چگونه ممکن است استفاده شود ، مهم است. این کمتر در دسترس است ، و نه برای کسانی که به دنبال اجرای مستقیم الگوریتم ها هستند.

نظریه: 7/10 |برنامه نویسی: 0/10 |برنامه ها: 8/10 |قابلیت دسترسی: 4/10 |پوشش: 8/10

5) یادگیری تقویت عمیق - ماکسیم لاپان (2020)

قیمت نسخه چاپی: 54. 99 دلار |آنلاین رایگان: بدون |لینک آمازون

اگر به دنبال این هستید که دستان خود را کثیف کنید و چیزی را در دنیای واقعی بسازید ، این کتاب برای شماست.

ماکسیم لاپان یک پزشک یادگیری تقویت است نه یک دانشگاهی. و این رویکرد عملی در کتاب در Spades به وجود می آید. برنامه های عملی موجود در کتاب عبارتند از: تجارت سهام ، چت بابات ، ناوبری وب و روباتیک.

این کد در پایتون و به طور خاص Pytorch نوشته شده است ، با طیف وسیعی از کتابخانه های دیگر مسئله ، پوشش داده شده است. در حالی که تمریناتی برای تکمیل وجود ندارد ، کد در کتاب و به صورت آنلاین برای همه الگوریتم های مورد بحث در دسترس است.

نظریه: 4/10 |برنامه نویسی: 7/10 |برنامه ها: 8/10 |قابلیت دسترسی: 3/10 |پوشش: 5/10

6) تسلط به یادگیری تقویت با پایتون - ENES BILGIN (2020)

قیمت نسخه چاپی: 46. 99 دلار |آنلاین رایگان: بدون |لینک آمازون

این یکی دیگر از کتابهای یادگیری تقویت کننده ، برنامه نویسی و برنامه های کاربردی است. پیشینه نظری مورد نیاز خود را با نمونه های عملی که در پایتون نوشته شده است ، پیدا خواهید کرد.

نقش Enes Bilgin به عنوان یک مهندس هوش مصنوعی در مایکروسافت و دانشمند تحقیقاتی در آمازون این کتاب را به یک لنز بسیار کاربردی و کاربردی قرض می دهد. این تئوری هنوز در اینجا است ، اما تمرکز روی ریاضیات نیست.

این کتاب با بخشی از برنامه ها به پایان می رسد ، با موضوعات تحت پوشش مدیریت زنجیره تأمین ، سیستم های خودمختار ، بازاریابی ، امور مالی و شهرهای هوشمند. برای هر یک ، کد داده می شود و از آن عبور می کند.

به طور کلی این یک روش بسیار کاربردی برای عمیق شدن در برنامه های یادگیری تقویت در پایتون است.

نظریه: 4/10 |برنامه نویسی: 6/10 |برنامه ها: 8/10 |قابلیت دسترسی: 5/10 |پوشش: 7/10

7) یادگیری تقویت شده با پایتون - Taweh Beysolow II (2019)

قیمت نسخه چاپی: 34. 99 دلار |آنلاین رایگان: بدون |لینک آمازون

همانطور که از عنوان نشان می دهد ، این یک کتاب کاربردی تر است. با استفاده از OpenAi Gym ، روی بسته های پایتون Tensorflow و Keras تمرکز دارد. کد تعبیه شده در سراسر و به صورت آنلاین در دسترس است.

این کتاب بر روی برنامه ها متمرکز است ، اگرچه برنامه ها بیشتر روی بازی ها و سایر مؤلفه های بدنسازی OpenAi متمرکز هستند. در اینجا در مورد برنامه های دنیای واقعی بسیار کمتر خواهید یافت.

پوشش هر الگوریتم حداقل و مختصر است. این کتاب پایه های نظری را بدون اینکه در آنها دچار مشکل شود ، پوشش می دهد. این آنها را تا حدی مورد نیاز برای استفاده از آنها ، نه برای تبدیل شدن به یک محقق یادگیری تقویت ، پوشش می دهد.

نظریه: 4/10 |برنامه نویسی: 8/10 |برنامه ها: 5/10 |قابلیت دسترسی: 7/10 |پوشش: 5/10

8) استفاده از یادگیری تقویت بر روی داده های دنیای واقعی با نمونه های عملی در پایتون - فیلیپ آزبورن ، کاجال سینگ ، متیو تیلور (2022)

قیمت نسخه چاپی: 62. 75 دلار |آنلاین رایگان: بدون |لینک آمازون

این یک کتاب متمرکز و کاربردی است. این امر قبل از غواصی در برنامه های عملی ، یادگیری تقویت و یادگیری عمیق را بررسی می کند.

نویسندگان دانشگاهی از دانشگاه های منچستر ، آکسفورد و آلبرتا هستند. با این حال ، این کتاب با تمرکز بسیار عملی تر از آنچه ممکن است از دانشگاه انتظار داشته باشید خوانده شده است. مروری بر برنامه های واقعی شرکت ها ، از شرکت های شیمیایی گرفته تا خلاصه متن ، با راهنماهایی برای اجرای اولین نوت بوک های شما وجود دارد.

در حدود 100 صفحه ، کوتاه و شیرین است و به عنوان مقدمه ای شسته و رفته برای کسانی که متمرکز بر برنامه های یادگیری تقویت کننده عملی هستند ، خدمت می کند.

نظریه: 4/10 |برنامه نویسی: 4/10 |برنامه ها: 8/10 |قابلیت دسترسی: 8/10 |پوشش: 3/10

9) پروژه های یادگیری تقویت کروس - Giuseppe Ciaburro (2018)

قیمت نسخه چاپی: 52. 81 دلار |آنلاین رایگان: بدون |لینک آمازون

این کتاب صریحاً متمرکز بر پروژه است. این کتاب پس از یک مقدمه مختصر در تئوری یادگیری تقویت ، 9 برنامه کاربردی یادگیری تقویت و اجرای آنها در کروس های بسته پایتون را طی می کند. این پروژه ها از مدل سازی مکانیکی گرفته تا پیش بینی قیمت بازار سهام و مسیریابی وسیله نقلیه تحویل است.

نویسنده ، جوزپه سیابرورو ، پیشینه ای در مهندسی یادگیری ماشین دارد. محدودیت کتاب این است که صرفاً روی کروها متمرکز شده است ، و به اندازه سایر کتابها به جزئیات نمی پردازد. اگر این بسته ای است که شما می خواهید از آن استفاده کنید ، این ممکن است مکانی عالی برای شروع باشد.

نظریه: 3/10 |برنامه نویسی: 6/10 |برنامه ها: 5/10 |قابلیت دسترسی: 5/10 |پوشش: 2/10

آیا ما یک منبع عالی را در اینجا از دست داده ایم؟اگر چنین است ، در matthew@joindeltaacademy. com در تماس باشید.

اگر این موضوع را مفید پیدا کردید ، با عضویت در لیست پستی ، با آخرین وبلاگ های ما به روز باشید. و اگر به یک کتاب انگیزشی اضافی نیاز دارید تا با RL که کتاب ها نمی توانند تهیه کنند ، برای یادگیری AI ، دوره های زنده ما را بررسی کنید. آنها از زمین طراحی شده اند تا حد ممکن انگیزه داشته باشند.