Инструмент Nightshade не дает нейросетям использовать изображения для обучения

Группа учёных из Университета Чикаго представила исследование о технике «загрязнения» данных Nightshade, направленной на нарушение процесса обучения ИИ-моделей. Инструмент был создан для защиты работ визуальных художников и издателей от их использования в процессе обучения ИИ.

Инструмент с открытым исходным кодом, названный «ядовитой капсулой» (poison pill), изменяет изображения незаметно для человеческого глаза и нарушает процесс обучения ИИ-модели. Многие модели производства изображений, за исключением моделей от Adobe и Getty Images, используют наборы данных, извлеченные из интернета без разрешения авторов. Так пишет Securitylab.

Многие исследователи опираются на украденные из интернета данные, что вызывает этические опасения. Такой подход позволил создать мощные модели, такие как Stable Diffusion. Некоторые исследовательские учреждения считают, что извлечение данных должно сохраняться как справедливое использование в обучении ИИ.

Однако команда Nightshade утверждает, что коммерческое и исследовательское использование – две разные вещи. Специалисты надеются, что их технология заставит компании ИИ лицензировать наборы данных изображений. По словам учёных, цель инструмента – сбалансировать отношения между обучающимися моделями и создателями контента.

Nightshade создан на основе уже созданного Университетом Чикаго инструмента Glaze для изменения цифрового искусства таким образом, чтобы запутать ИИ. На практике Nightshade может изменить изображение так, что ИИ будет видеть кошку вместо собаки. Исследователи провели тесты и обнаружили, что после поглощения моделью сотнями «загрязненных» изображений, она начинает генерировать искаженные изображения собак.

Защита от такой техники загрязнения данных может стать вызовом для разработчиков ИИ. И хотя исследователи признают, что их инструмент может быть использован со злым умыслом, основная цель работы – вернуть власть художникам.

Развитие таких технологий, как Nightshade, может вызвать гонку вооружений между исследователями и компаниями в сфере ИИ. Но для многих художников важно, чтобы их работы не использовались без их разрешения. Примечательно, что после новостей о создании Nightshade в социальных сетях начались дискуссии между художниками и сторонниками ИИ.

Стоит отметить, что Nightshade не повлияет на уже существующие модели, поскольку компании и исследователи уже давно использовали исходные «незагрязнённые» изображения. Но новые художественные стили и фотографии актуальных событий могут пострадать от новой техники, если она станет широко использоваться.