MUFU

MUFU — система для автоматизации создания образовательного видеоконтента с использованием различных AI API (например, Ollama API, LlamaCPP API и YandexGPT API). Проект предназначен для извлечения текста из документов, его упрощения, генерации визуального и аудиоконтента, а затем компоновки финального видео.

Структура проекта

• app/ – Основные модули для обработки контента:

  • extract_text.py – Извлечение текста из PDF и других документов.
  • simplify_text.py – Упрощение и адаптация текста для видеоконтента.
  • split_scenes.py – Разделение текста на отдельные "сцены" или смысловые блоки.
  • generate_image.py – Генерация визуальных иллюстраций.
  • generate_voice.py – Озвучка текста.
  • compose_video.py – Компоновка видео из сгенерированных сцен.
  • model_selector.py – Выбор оптимальной модели для обработки контента.
  • assistant_manager.py – Управление AI-ассистентом и организатор цикла саморазвития.
  • logger.py и utils.py – Вспомогательные функции и логирование процессов.

• inputs/ – Входные документы (например, PDF файлы).

• outputs/ – Результирующие файлы, такие как сгенерированные видео.

• tests/ – Тестовая инфраструктура для проверки работоспособности модулей.

• explainings/ – Документация и дополнительные материалы:

  • PROJECT_DOCUMENTATION.md – Общая документация проекта.
  • PLAN-FACT-CHECKER.md – Система контроля выполнения задач.
  • prompts.md – Промпты и шаблоны для работы с AI моделями.
  • TODO.md – Текущие задачи, планы развития и распоряжения.

• setup_environment.ps1 – Скрипт для настройки окружения.

• requirements.txt – Указание зависимостей проекта.

• .env.example – Пример файла с переменными окружения.

• main.py – Основной входной скрипт для запуска пайплайна.

Запуск проекта

1. Установка зависимостей:

   Выполните команду:

   pip install -r requirements.txt

2. Настройка окружения:

   Скопируйте файл .env.example в .env и заполните необходимые переменные.

3. Запуск основного модуля:

   Запустите main.py для генерации финального видео:

   python main.py

Документация и планы развития

• Документация проекта: Ознакомьтесь с PROJECT_DOCUMENTATION.md для общего описания проекта и архитектуры.
• План-факт чекер: Текущее состояние задач можно отслеживать в PLAN-FACT-CHECKER.md.
• Промпты и шаблоны: Детали по использованию промптов находятся в prompts.md.
• TODO и планы: Текущие задачи, распоряжения и рекомендации по развитию описаны в TODO.md.

Цель проекта

Проект ориентирован на создание эффективного инструмента, который:

• Автоматически преобразует сложные документы в доступный видеоформат.
• Интегрирует разные виды контента (текст, изображение, аудио) с учетом особенностей языковой обработки.
• Обеспечивает прозрачность процессов и контроль качества посредством системы логирования и план-факт чекера.