Telegram-парсер с расширенной фильтрацией сообщений

Цена договорная
25 января 2025, 16:53 • 13 откликов • 92 просмотра
Цели приложения
  1. Автоматизировать парсинг сообщений из заданных Telegram-чатов.
  2. Фильтровать сообщения по ключевым словам, а также синонимам и словам с похожим значением.
Основные функции 1. Парсинг чатов
  • Подключение к открытым и закрытым Telegram-чатам через API.
  • Сбор сообщений с учетом следующих параметров:
    • Текст сообщения.
    • ID отправителя.
    • Время и дата сообщения.
    • Ссылка на сообщение (если доступно).
  • Работа с закрытыми чатами через авторизованный Telegram-аккаунт.
  • Хранение собранных данных в базе данных или выгрузка в файлы (JSON/CSV).
2. Расширенная фильтрация сообщений
  • Поиск сообщений по ключевым словам.
  • Фильтрация сообщений по словам-синонимам и словам с похожим значением:
    • Подключение NLP-библиотеки для работы с семантическим анализом.
    • Использование предобученных моделей (например, Word2Vec, FastText, BERT).
    • Настройка коэффициента схожести (например, 70% соответствия).
  • Работа с мультиязычными текстами (например, поддержка русского и английского).
  • Настройка "белого" и "черного" списка слов (включение или исключение определенных слов и фраз).
Технические параметры
  1. Фильтрация на основе NLP
    • Библиотеки:
      • spaCy или NLTK — для работы с текстами и поиска синонимов.
      • gensim (Word2Vec, FastText) или Hugging Face Transformers (BERT) — для семантического анализа.
    • Настройка порога схожести:
      • Значение от 0 до 1 (например, 0.7 для поиска похожих слов).
  2. Язык разработки
    • Python.
  3. Интерфейс пользователя
    • Веб-панель для управления:
      • Добавление новых ключевых слов и синонимов.
      • Настройка порога схожести.
      • Просмотр логов парсинга.
      • Добавление чатов
Поделиться