Программа на Unity для распознавания мяуканья в реальном времени

10 000 руб. за проект
19 сентября 2024, 01:16 • 9 откликов • 96 просмотров
Требуется написать программу на Unity под Android, которая будет читать звук с микрофона и в реальном времени определять, "слышит" ли она кошачье мяуканье.

Есть 2 разных датасета, можно использовать их, можно найти свой

Можно использовать 2 подхода:

1) Есть открытый проект, который позволяет использовать модели TenzerFlow Lite внутри Unity:
https://github.com/asus4/tf-lite-unity-sample
Соответственно, вы можете обучить модель отдельно и использовать её внутри Unity. Но проблема этого способа - получить спектрограмму звука с микрофона в таком же формате, как она получалась при обучении. Если решить это, то отлично, способ подходит.

2) Сделать нейросеть на C# внутри Unity, там же её обучить и использовать
Для этого способа уже есть проект - в нём реализована нейросеть, запись звука и разложение на спектограмму, однако желаемый результат не достигается. Возможно дело в реализации нейросети. Этот проект могу предоставить, как основу, или же вы можете сделать с нуля.

Основные направления такие. Если вы придумаете какой-то другой способ - без проблем, главное, чтобы решалась задача