📢 Neue Veröffentlichung für Win & Mac Desktop, Feedback willkommen [Dokumentation ist etwas veraltet, wird kontinuierlich aktualisiert]
Krillin AI ist eine All-in-One-Lösung für die Lokalisierung und Verbesserung von Audio und Video. Dieses einfache, aber leistungsstarke Tool vereint Videoübersetzung, Synchronisation und Sprachklonung und unterstützt die Ausgabe in Hoch- und Querformat, um auf allen gängigen Plattformen (Bilibili, Xiaohongshu, Douyin, Video-Nummer, Kuaishou, YouTube, TikTok usw.) perfekt präsentiert zu werden. Mit einem End-to-End-Workflow kann Krillin AI mit nur wenigen Klicks Rohmaterial in ansprechende, plattformübergreifende Inhalte umwandeln.
🎯 Ein-Klick-Start: Keine komplexe Umgebungsinstallation erforderlich, Abhängigkeiten werden automatisch installiert, sofort einsatzbereit, neue Desktop-Version für mehr Benutzerfreundlichkeit!
📥 Videoerfassung: Unterstützt yt-dlp-Downloads oder lokale Datei-Uploads
📜 Präzise Erkennung: Hochgenaue Spracherkennung basierend auf Whisper
🧠 Intelligente Segmentierung: Verwendung von LLM zur Untertitelsegmentierung und -ausrichtung
🔄 Terminologieersetzung: Ein-Klick-Ersetzung von Fachbegriffen
🌍 Professionelle Übersetzung: Basierend auf LLM, absatzweise Übersetzung mit semantischer Kohärenz
🎙️ Synchronisationsklon: Bietet ausgewählte Stimmen von CosyVoice oder benutzerdefinierte Stimmklonung
🎬 Videozusammenstellung: Automatische Verarbeitung von Hoch- und Querformatvideos sowie Untertitelanordnung
Das folgende Bild zeigt die Ergebnisse eines 46-minütigen lokalen Videos, das importiert und nach einem Klick auf die Schaltfläche zur Generierung der Untertiteldatei ohne manuelle Anpassungen in die Zeitleiste eingefügt wurde. Keine Auslassungen, Überlappungen, natürliche Satztrennung und die Übersetzungsqualität ist ebenfalls sehr hoch.
subtitle_translation.mp4 |
tts.mp4 |
agi.mp4 |
Die lokalen Modelle in der folgenden Tabelle unterstützen alle die automatische Installation von ausführbaren Dateien + Modell-Dateien, du musst nur auswählen, der Rest wird von KrillinAI für dich vorbereitet.
Dienstquelle | Unterstützte Plattformen | Modelloptionen | Lokal/Cloud | Anmerkungen |
---|---|---|---|---|
OpenAI Whisper | Alle Plattformen | - | Cloud | Schnell und effektiv |
FasterWhisper | Windows/Linux | tiny /medium /large-v2 (empfohlen medium+) |
Lokal | Noch schneller, keine Cloud-Kosten |
WhisperKit | macOS (nur M-Serie Chips) | large-v2 |
Lokal | Native Optimierung für Apple-Chips |
Alibaba Cloud ASR | Alle Plattformen | - | Cloud | Vermeidung von Netzwerkproblemen in Festlandchina |
✅ Kompatibel mit allen Cloud-/Lokal-Diensten für große Sprachmodelle, die den OpenAI API-Spezifikationen entsprechen, einschließlich, aber nicht beschränkt auf:
- OpenAI
- DeepSeek
- Tongyi Qianwen
- Lokal bereitgestellte Open-Source-Modelle
- Andere API-Dienste, die mit OpenAI-Format kompatibel sind
Eingabesprachen: Chinesisch, Englisch, Japanisch, Deutsch, Türkisch, Koreanisch, Russisch, Malaiisch (wird kontinuierlich erweitert)
Übersetzungssprachen: Englisch, Chinesisch, Russisch, Spanisch, Französisch und 101 weitere Sprachen
Lade zunächst die ausführbare Datei aus dem Release herunter, die mit deinem Betriebssystem übereinstimmt. Wähle dann je nach Anleitung die Desktop- oder Nicht-Desktop-Version aus und lege sie in einen leeren Ordner. Lade die Software in einen leeren Ordner herunter, da nach dem Ausführen einige Verzeichnisse erstellt werden, was die Verwaltung erleichtert.
【Wenn es sich um die Desktop-Version handelt, d.h. die Release-Datei mit "desktop" ist, siehe hier】
Die Desktop-Version ist neu veröffentlicht worden, um das Problem zu lösen, dass neue Benutzer Schwierigkeiten haben, die Konfigurationsdateien korrekt zu bearbeiten. Es gibt noch einige Bugs, die kontinuierlich aktualisiert werden.
- Doppelklicke auf die Datei, um sie zu verwenden (auch die Desktop-Version muss konfiguriert werden, dies erfolgt innerhalb der Software)
【Wenn es sich um die Nicht-Desktop-Version handelt, d.h. die Release-Datei ohne "desktop", siehe hier】
Die Nicht-Desktop-Version ist die ursprüngliche Version, die Konfiguration ist komplexer, aber die Funktionen sind stabil und sie eignet sich für die Serverbereitstellung, da sie die Benutzeroberfläche über das Web bereitstellt.
- Erstelle einen
config
-Ordner im Verzeichnis und erstelle dann eineconfig.toml
-Datei imconfig
-Ordner. Kopiere den Inhalt derconfig-example.toml
-Datei aus dem Quellcodeverzeichnisconfig
in dieconfig.toml
und fülle deine Konfigurationsinformationen entsprechend aus. - Doppelklicke oder führe die ausführbare Datei im Terminal aus, um den Dienst zu starten
- Öffne den Browser und gib
http://127.0.0.1:8888
ein, um zu beginnen (ersetze 8888 durch den Port, den du in der Konfigurationsdatei angegeben hast)
【Wenn es sich um die Desktop-Version handelt, d.h. die Release-Datei mit "desktop" ist, siehe hier】
Die aktuelle Verpackungsmethode für die Desktop-Version kann aufgrund von Signaturproblemen nicht einfach durch Doppelklick oder DMG-Installation ausgeführt werden. Du musst die Anwendung manuell vertrauen, wie folgt:
- Öffne das Terminal im Verzeichnis der ausführbaren Datei (angenommen, der Dateiname ist KrillinAI_1.0.0_desktop_macOS_arm64)
- Führe nacheinander die folgenden Befehle aus:
sudo xattr -cr ./KrillinAI_1.0.0_desktop_macOS_arm64
sudo chmod +x ./KrillinAI_1.0.0_desktop_macOS_arm64
./KrillinAI_1.0.0_desktop_macOS_arm64
【Wenn es sich um die Nicht-Desktop-Version handelt, d.h. die Release-Datei ohne "desktop", siehe hier】
Diese Software hat keine Signatur, daher musst du beim Ausführen unter macOS nach der Konfiguration der Dateien in den "Grundschritten" die Anwendung manuell vertrauen, wie folgt:
- Öffne das Terminal im Verzeichnis der ausführbaren Datei (angenommen, der Dateiname ist KrillinAI_1.0.0_macOS_arm64)
- Führe nacheinander die folgenden Befehle aus:
um den Dienst zu starten
sudo xattr -rd com.apple.quarantine ./KrillinAI_1.0.0_macOS_arm64 sudo chmod +x ./KrillinAI_1.0.0_macOS_arm64 ./KrillinAI_1.0.0_macOS_arm64
Dieses Projekt unterstützt die Docker-Bereitstellung. Bitte siehe Docker-Bereitstellungsanleitung
Wenn du auf Probleme beim Herunterladen von Videos stößt,
siehe bitte Cookie-Konfigurationsanleitung, um deine Cookie-Informationen zu konfigurieren.
Die schnellste und einfachste Konfigurationsmethode:
- Wähle sowohl
transcription_provider
als auchllm_provider
alsopenai
, sodass du nuropenai.apikey
in den drei Konfigurationskategorienopenai
,local_model
undaliyun
ausfüllen musst, um die Untertitelübersetzung durchzuführen. (app.proxy
,model
undopenai.base_url
können je nach Bedarf ausgefüllt werden)
Verwendung eines lokalen Sprachmodell-Erkennungsmodells (derzeit nicht für macOS unterstützt) (Kombination aus Kosten, Geschwindigkeit und Qualität):
- Fülle
transcription_provider
mitfasterwhisper
undllm_provider
mitopenai
, sodass du nuropenai.apikey
undlocal_model.faster_whisper
in den drei Konfigurationskategorienopenai
undlocal_model
ausfüllen musst, um die Untertitelübersetzung durchzuführen. Das lokale Modell wird automatisch heruntergeladen. (app.proxy
undopenai.base_url
wie oben)
In den folgenden Fällen ist eine Konfiguration für Alibaba Cloud erforderlich:
- Wenn
llm_provider
aufaliyun
gesetzt ist, musst du den Dienst für große Modelle von Alibaba Cloud verwenden, daher ist eine Konfiguration desaliyun.bailian
-Elements erforderlich. - Wenn
transcription_provider
aufaliyun
gesetzt ist oder die Funktion "Synchronisation" beim Starten der Aufgabe aktiviert ist, musst du den Sprachdienst von Alibaba Cloud verwenden, daher ist eine Konfiguration desaliyun.speech
-Elements erforderlich. - Wenn die Funktion "Synchronisation" aktiviert ist und du lokale Audiodateien hochgeladen hast, um die Stimme zu klonen, musst du auch den OSS-Cloudspeicherdienst von Alibaba Cloud verwenden, daher ist eine Konfiguration des
aliyun.oss
-Elements erforderlich.
Hilfe zur Alibaba Cloud-Konfiguration: Alibaba Cloud Konfigurationsanleitung
Bitte siehe Häufig gestellte Fragen
- Reiche keine unnötigen Dateien wie .vscode, .idea usw. ein, verwende .gitignore zur Filterung.
- Reiche nicht die config.toml ein, sondern verwende die config-example.toml zur Einreichung.
- Trete unserer QQ-Gruppe bei, um Fragen zu klären: 754069680
- Folge unseren Social-Media-Konten, Bilibili, täglich hochwertige Inhalte im Bereich AI-Technologie teilen.