ゆかりねっとコネクター

話した言葉を字幕にして、さらに翻訳まで出来る配信支援アプリです。
ゆかりねっとと併用すると、ボイスロイド音声と字幕を連動出来ます。
音声認識はUDトークとゆかりねっとに対応しています。
結果をAviUtilに流し込んだり、AviUtilレイヤを翻訳したりもできます。

ダウンロード(Download)

・Add : I made it possible to use VaNiiAlert and VaNiiGrass.
 VR用の通知合成アプリ「VaNiiAlert」に対応しました。
 VR用の画面合成アプリ「VaNiiGrass」に対応しました。
・Modify:Adjust application drawing response.
 描画レスポンスの改善

開発版(Deverop Version)

  • マルチディスプレイ環境でのウィンドウ位置保存に対応しました。
  • UDトークとの通信が改善しています。
  • VR向けに、テロップ画面のビットマップが取得できるようにしました。
    (HTTPアクセスで取れます。 VRC_Panorama と組み合わせてお使いください)
  • 内部で使っている部品のバージョンアップをしています。
  • 英語ゲーム翻訳に対応するため、画面スキャン翻訳へ実験的に対応しました。
    (支援者向け早期リリース)
  • 辞書ツールや翻訳の動作周りを調整しました。
  • 画面スキャン翻訳:F8で翻訳、F7で画面消去をできるようにしました。
  • 辞書インポート時、同一のよみ(キー)のものを除外するようにしました。
  • 辞書ツール:①変換後、ファイルの一部が不完全だった問題の修正
          ②UDトーク辞書を出力できるようにしました。
  • メニュー配置を一部変更しました。
  • MS翻訳で一部うまくタグ認識されない問題を修正しました。
  • Chrome経由で音声認識ができるモードをつけました。
画面翻訳では、こんなことができます。

・翻訳動作に映るまでの処理を最適化し、少々高速化しました。
・OBS拡張(翻訳3・4)が転送できない問題を改善しました。
・定型文送信に対応
 (休憩中など、決められた字幕を出すときに使うやつです)
・OBS連携が不意に途切れた場合に、自動再接続を試みるようにしました。

※文字の変換動作は次の通りになります。
 ①文章入力(UDトーク or ゆかりねっと or 原稿ウィンドウより)
 ②翻訳逆変換(有効な場合は、この時点で翻訳実施)
 ③ひらがな変換 (有効な場合)
 ④カスタム辞書 (有効な場合)
 ⑤漢字変換  (有効な場合)
 ⑥単語の置換
 ⑦翻訳動作

 この特性をうまく使うためには、
 1)読み間違えもできるだけ正確に拾いたい場合は、③④⑤を有効に
 2)人物などの名前を正しく変換したい場合は③⑤を有効に
 3)表示は正しいけど英語読みがおかしい場合は⑥を活用

という感じにすると、表示・翻訳の精度をコントロールできます。
まだ 微調整が済んでいないので 仮公開です。
(それから、逆変換をつかって字幕の揺らぎで遊ぶ際は、
 その旨をどこかにしっかり書いておいてください。
 あえてやっているのに「精度わるいじゃん」というクレームが
 多く届くようになったら、機能の公開をやめる可能性があります)

うまく動かないとお悩みの方へ

  • 旧バージョンでは翻訳が機能しないので、新バージョンに更新をお願いします。
  • よくわからなければ、twitterで質問してみてください。
    (#ゆかりねっとコネクター などをつけると こちらも反応しやすいです)
  • Visual C++ 2015 ランタイム.Net 4.5.2 以上が導入されていないと起動できません。
    うまく立ち上がらない方は、このランタイムの導入をしてみてください。

活用例

ヘビーユーザさんを紹介します!

マジック:ザ・ギャザリング実況(MTG)

曳山まつりか@バーチャルメイドデュエリスト‏ @hikiyamajasmineさん:
https://www.twitch.tv/hikiyamamatsurika  

花山 茶菜 🌹 🗻 🍵 🍀Vの者‏ @Hana_Yama_Sanaさん:
https://www.twitch.tv/sana_hanayama

ゲーム実況

ぱきち 🥒@Fortnite‏ @Pakichannelさん
https://www.twitch.tv/pakichi

えりんぎ様@elise_apple さん
https://twitch.tv/elise_apple
「リアルタイムに翻訳される事で アジアだけでなく、世界中の人とコミュニケーションを取れるようになりました! 時々、字幕が暴走してしまうのもネタになって素敵です 」

みきゅれむ @mikyuremさん:
https://www.twitch.tv/mikyurem
「 まだまだ英語は勉強中で上手く話せないことが多いのですが、ゆかりねっとコネクターのお陰で気軽にコミュニケーションを楽しむことが出来ています♫ 」

社畜のキジュン★Fallout76‏ @KIJUN_019さん:
https://www.twitch.tv/kijun_skm
「 良かったことは、トルコ人の友人が出来たことです 」

Youtube動画

ZtgKuuto 📚ざつがクート 📚雑学V.avtr‏ @ZtgK_TRIVIA さん:
https://www.youtube.com/channel/UCtS_sguecEp5GgVZWzPNo4A

《随時掲載・更新していきます》

使い方

 図解しているnoteをみてみてください。
  ■基本的な使い方解説 (実況解説環境整備の解説)
  ■動画配信に字幕をつける(これができるまでの経緯等)
  ■ v1.5拡張版1の説明はこちらにおいてあります。
  ■v1.8cから、ゆかりねっと本体の音声認識を使う方法をサポートしました。
  ■v2.0から、OBS Studioへの直接字幕転送をサポートしました。
  ■v2.2から、Microsoft翻訳の辞書補正をサポートしました。
  ■接続までのフローチャートはこちら。参考にどうぞ。

出来ること

・ゆかりねっとで認識した言葉を他国語翻訳して表示・合成ができます。
・地声勢の方はUDトークとゆかりねっとコネクターだけで字幕合成可能!
・音声認識エンジンをUDトーク(AmiVoice Cloud)に変えられます。
 (もちろん、ゆかりねっと標準のGoogle認識エンジンも使えます
まあちゃんを合わせて使えば、速記のデータも取り込みが可能です。
・字幕として認識したデータは、動画編集ソフトに取り込めます
ゆかりねっとのログから発話ログを取り出し字幕作成に利用できます。
配信用ソフトOBSに字幕を直接流し込めるので綺麗な配信ができます。

補足

  • 活用例をぜひ教えてください。HPやtwitterに掲載します。
  • 一部機能は、FANBOXで得たキーワードを入力するとロック解除されます。
  • ゆかりねっとの音声認識をUDトークに差し替えるには、ゆかりねっとの設定で、chromeの代わりにこのアプリ(実行ファイルmachan_yukarinetteconnector.exe)を選択してください。
  • なにか問題・リクエストあれば twitter @mikasa231までお願いします。
  • 動作がおかしい場合は設定→初期化をお試しください。

支援募集中!

過去のバージョン

・Add: Reverse translation
 逆翻訳機能を追加 (場所:表示→タイミング調整と拡張機能)
 (要望にお応えしました。誤翻訳も含め遊びたい人向け)

・Add: Conversion tool for dictionary import
 辞書を追加するときに使うインポートツールを追加。
 (場所:翻訳エンジン→翻訳エンジンの選択)

・Modify: Expanded application range of custom dictionary
 カスタム辞書をMS/Googleどちらでも使えるようにしました。

・Add: Added conversion functions
 辞書にかけるとき、音声認識文をすべて平仮名に直して、
 文章補正をしたり、補正後に漢字変換したりできるようになりました。
 (場所:制御→拡張動作)

・Fix : Update translation language list
 翻訳リストを更新しました。簡体字・繁体字を選択できるようになりました。
 ※過去の設定をロードしたとき、言語設定が狂う場合があります。
  使う前に設定の確認をお願いします。
 ※使う翻訳エンジンによって、サポートされない言語があります。

・Fixed: Custom translation dictionary conversion process corrected
 変換修正の辞書動作を修正(主にGoogleエンジン使用時に機能しなかった)

・FIx : Fixed an issue where some WAV files could not be played by the sound plug-in
 音源プラグインで一部のWAVファイルが再生できない問題の修正

 ※このバージョンについては、Wineでウィンドウが出るぐらいにはしましたが、
  更新タスクがうまく回らず、エラーもでるので、まだMacでは実用に耐えません。
  もうちょっと依存関数部分を修正できるか模索してみます。

・OBSだけですが、追加翻訳を流し込めるようになりました。
 ※翻訳を増やすと、通信の関係で表示ラグが増えます
 ※合言葉を入れないと有効化されません
 ※レスポンスはGoogle翻訳のほうが速いようです。

Yukarinette Connector v2.9b (2019/7/6)
・Add : I made it possible to use VaNiiAlert and VaNiiGrass.
 VR用の通知合成アプリ「VaNiiAlert」に対応しました。
 VR用の画面合成アプリ「VaNiiGrass」に対応しました。

Yukarinette Connector v2.85 (2019/6/24)
・Add : speak delay option.   
 翻訳結果を話すタイミングを調整可能に。
・Optimize:translation response.
 翻訳レスポンス調整

Yukarinette Connector v2.83 (2019/6/16)
・Translate menu.   
 メニューを翻訳(対応:英語、日本語)
・Fixed API error
 API使用時のエラー対応を修正
・Speaking a translate text with Bouyomi-chan
 棒読みちゃんによる翻訳文の読み上げに対応
・Fixed logic : test keyword , etc.
 プロモーションコード判定の修正 その他。
・Fix system architecture issues.
 プログラム構造上の問題を修正

v.2.82より前のバージョンの公開は終了しました。