Разработать концепцию (алгоритм) работы системы с применением ИИ

3 000 руб. за проект
04 мая 2021, 21:58 • 3 отклика • 45 просмотров
Проект: система автоматизированного тестирования пользовательского интерфейса (UI) мобильных и веб-приложений

Основная идея: система сравнивает 2 изображения (скриншота) страницы сайта/приложения. Один из скриншотов сделан с продуктовой среды и является эталонным, второй с тестового окружения. Система подсказывает пользователю (выделяет рамками) отличия тестовой страницы от эталонной (например, на странице пропала кнопка, не прогрузилась иконка и тд).

Аналоги:
https://applitools.com/
https://habr.com/ru/company/tinkoff/blog/429054/
https://github.com/Visual-Regression-Tracker/Visual-Regression-Tracker

Сложность заключается в том, что на сайте и в приложении есть динамический контент, который часто меняется, потому использование только OpenCV для сравнения изображений не подойдет.

Абстрактный пример динамического контента:


Место для баннера. Картинка баннера может быть разной, но размер, расположение на странице, точки слайдера, стрелки - всегда одинаковы.




Здесь аналогично. Картинка, название товара, цена, скидка - они могут меняться и быть разными, а кнопка покупки, шрифты, иконки рейтинга, размер товарной карусели и карточек - одинаковый.


Примеры дефектов, которые должны быть обнаружены системой:

  1. Пропал элемент/блок на странице/экране (пропала кнопка, иконка, блок с баннерами, цена и тд)
  2. Картинки (пропала картинка, не прогрузилась и тд)
  3. Элементы пересекаются (кнопка наехала на блок, текст перекрывает кнопку и тд)
  4. Стили элементов (изменился шрифт, размер, цвет и тд)
  5. В тексте можно сделать проверки на опечатки/отсутствие пробелов между словами и тд
Возможно список расширится.

Необходимо разработать подробный концепт решения задачи, обязательно с применением ИИ (например, нейронных сетей).

+ нужна будет консультация по предложенному решению

Например, если это нейронная сеть, какая НС? Что подается на вход? Что получается на выходе? Что НС делает? Если на вход подается изображение, то какое (вся страница, по элементам и тд).

Срок решения: как можно скорее, до 10 мая включительно. После 10 мая допустимы мелкие правки, доработки.

О цене договоримся, поставила минимальную.