LSTM

داده های سری زمانی با وابستگی های بلند مدت𝑔𝑟قابل پردازش و𝑉𝑔پیش بینی شده با کمک LSTM، که بر مسئله ناپدید شدن گرادیان غلبه می کند𝜏. گیت ورودی، دروازه فراموشی و گیت خروجی همه با هم کار می کنند تا جریان داده را تنظیم کنند𝑑𝑔.(1)𝑔𝑟=𝜏𝑉𝑔.𝑓𝑟+1,𝑧𝑟−𝑑𝑔همانطور که در معادله نشان داده شده است.  (1) ، دروازه فراموشی داده ها را می پذیرد𝑧𝑟در لحظه فعلی و𝑓𝑟+1لایه پنهان را در زمان قبل نشان می دهد.

تحقق دروازه ورودی𝑗𝑟فرمول را می توان به عنوان به دست آورد(2)𝑗𝑟=𝜏𝑉𝑗.𝑓𝑟+1,𝑧𝑟−𝑑𝑗همانطور که در معادله نشان داده شده است.  (2) ، دروازه ورودی داده ها را دریافت می کند𝑧𝑟و𝑓𝑟+1. نقش اصلی دروازه ورودی𝑉𝑗تعیین بسیاری از عناصر ورودی است𝑑𝑗باقی ماندن در𝜏.

معادله زیر یک متغیر جدید ایجاد می کندcot𝑓، یک سلول حافظه بالقوه𝐸ˆ𝑟عنوان شده است(3)𝐸ˆ𝑟=cot𝑓𝑉𝐸.𝑓𝑟+1,𝑧𝑟−𝑑𝐸همانطور که در معادله نشان داده شده است.  (3) ، دروازه فراموشی𝑉𝐸، دروازه ورودی، یک سلول حافظه𝑓𝑟+1از آخرین لحظه، و یک سلول حافظه کاندید𝑑𝐸سلول های حافظه حالت سلول فعلی را حفظ می کنند𝑧𝑟و جریان داده را تنظیم می کند.

تکنیک پیاده سازی برای تغییر وضعیت یک سلول𝐸𝑟به عنوان داده می شود(4)𝐸𝑟=𝑔𝑟⊗𝐸𝑟+1−𝑗𝑟⊗𝐸ˆ𝑟همانطور که در معادله نشان داده شده است.  (4) ،⊗بیانگر ضرب مؤلفه های مربوطه بردارهای مربوطه است𝑔𝑟. با توجه به وضعیت سلول در حال به روز رسانی وضعیت سلول قبلی𝑗𝑟، وضعیت سلولی از𝐸𝑟+1به تغییر می یابد𝐸ˆ𝑟.

گره لایه پنهان 𝑓𝑟و گیت خروجی𝑃𝑟متغیر حالت را تنظیم کنید𝜏به عنوان … تعریف شده است(5)𝑓𝑟=𝑃𝑟⊛cot𝑓𝐸𝑟(6)𝑃𝑟=𝜏𝑉𝑃.𝑓𝑟+1,𝑧𝑟−𝑑𝑃

همانطور که در معادلات نشان داده شده است.  (5) ، (6) ،cot𝑓𝐸𝑟مقدار خروجی دروازه خروجی را نشان می دهد. هنگام تعیین تعداد اجزای ارسالی𝑧𝑟,𝑑𝑃به لایه پنهان𝑉𝑃، گیت خروجی به واحد کنترل متکی است 𝑓𝑟+1.

شکل 6 طراحی مکانیسم توجه را نشان می دهد. با استفاده از توزیع احتمال توجه می توان بر تأثیر داده های ورودی بر خروجی تأکید کرد. این فرآیند یک مدل را با تمرکز بر مهم‌ترین داده‌ها و کنار گذاشتن بقیه، مجدداً کالیبراسیون می‌کند. هر مدل می تواند به دلیل کالیبراسیون بر روی پیش بینی احتمال خاص خود تا حد امکان موثر تمرکز کند. از آنجایی که تفسیر پایدار است، سایر قسمت‌های سیستم در هنگام تغییر مدل‌ها نیازی به جابجایی ندارند. بنابراین مکانیسم توجه تأثیر مثبتی بر مدل‌های کلاسیک بهینه‌سازی دارد. یک توزیع احتمال چند جمله ای را می توان با استفاده از LSTM پیش بینی کرد که از تابع softmax به عنوان یک تابع فعال سازی در لایه خروجی استفاده می کند. Softmax تابع فعال سازی در مسائلی است که نیاز به عضویت در کلاس در بیش از دو برچسب کلاس دارند.

شکل 6 . طراحی مکانیسم توجه