RELAXATION OF CONTIGUITY CONSTRAINT IN VARIED-SIZE WINDOW ATTENTION IN VISION TRANSFORMERS

Authors

I. Naumeyko
Kharkiv National University of Radio Electronics, Ukraine
D. Lukashov
Kharkiv National University of Radio Electronics, Ukraine

Abstract

Метою цієї роботи є дослідження можливості подальшої релаксації обмежень у структурі вікон Swin трансформерів із введенням поняття змінного розміру вікна. Ця робота пропонує повністю відійти від вікон та зняти обмеження на те, що механізм самоуваги має бути застосовано між елементами, що знаходяться у неперервному вікні. Вибір елементів між якими має застосовуватись механізм самоуваги пропонується віддати на навчання основному трансформеру, а не окремій мережі.

Author Biographies

I. Naumeyko, Kharkiv National University of Radio Electronics

каф. ПМ

D. Lukashov, Kharkiv National University of Radio Electronics

Department of Applied Mathematics


Радіоелектроніка та молодь у XXI столітті. Т. 7 : Конференція "Комп’ютерний зір, системний аналіз та математичне моделювання": матеріали 28-го Міжнар. молодіж. форуму, 16–18 квіт. 2024 р.

Pages

157-158

Published

August 12, 2024

Details about this monograph

ISBN-13 (15)

978-966-659-397-2