Система распознавания эмоций в реальном времени с использованием Apach

Я разработала систему для обработки речевых данных в режиме реального времени. Для этого я создала конвейер для поступления данных в реальном времени с использованием Apache Kafka, предварительно обработала речевые данные с помощью MFCC и библиотеки librosa для извлечения признаков для распознавания эмоций, разработал модель глубокого обучения (CNN) с использованием PyTorch для распознавания эмоций в реальном времени. Также я использовала Python-клиент Kafka для получения аудиопотоков из топика Kafka и выполнения распознавания эмоций в реальном времени. Реализовала функцию аудиоподсказки для отображения обнаруженной эмоции в реальном времени. Развернула систему на облачном провайдере (AWS) для масштабируемости и надежности. Построила веб-интерфейсную панель для визуализации результатов распознавания эмоций в реальном времени с использованием Ruby on Rails.

A REAL-TIME EMOTION RECOGNITION SYSTEM USING APACHE KAFKA Spring 2023

• 
  Designed and implemented a real-time data ingestion pipeline using Apache Kafka for processing speech data.
  
  
  
  


• 
  Preprocessed speech data using MFCCs and librosa to extract features for emotion recognition.
  
  
  
  


• 
  Developed a deep learning model (CNN) using PyTorch for real-time emotion recognition.
  
  
  
  


• 
  Used the Kafka Python client to consume audio streams from a Kafka topic and perform real-time emotion recognition.
  
  
  
  


• 
  Implemented an audio prompt feature to reflect the detected emotion in real time.
  
  
  
  


• 
  Deployed the system to a cloud provider (AWS) for scalability and reliability.
  
  
  
  


• 
  Built a web-based dashboard to visualize real-time emotion recognition results (Ruby on Rails).