ゆかりねっとコネクター

話した言葉を字幕にして、さらに翻訳まで出来る配信支援アプリです。
ゆかりねっとと併用すると、ボイスロイド音声と字幕を連動出来ます。
音声認識はUDトーク、ゆかりねっと、Chrome音声認識に対応しています。
結果をAviUtilに流し込んだり、配信やVRに文字を流し込んだりもできます。

ダウンロード(Download)

●ゆかりねっと v1.03以上を使っている方は、インストール先として
 ゆかりねっとフォルダをご選択ください(64bit と 32bit で導入先が異なります)

  • ルビ表示時、文字位置を変更できない問題の修正
  • OBS連携機能で設定転送時、文字配置情報も送付するようにした
  • テロップウィンドウで翻訳OFFしてもOBS転送は可能に
  • OBS転送3の文字自動消去が機能しない問題の修正
    ※OBS v25へのWebsocket流し込みには未対応です。ご注意ください。
     (対応開発中です)

※お願い:
 多言語翻訳機能は、翻訳コストが増す方向です。たとえば、
 フル 設定 (通常翻訳+追加翻訳1~3)で運用すると、翻訳コストが4倍に増えます。
 100万文字を超えるとプラン④でも赤字になるので、使用量にあわせて支援プランを
 ご配慮いただければうれしいです。

開発版(Deverop Version)

開発版は、みなさんのニーズを聞きながら、比較的早いピッチで提供するものです。
無理にバージョンアップ、追従しなくて良いですよ。変化点をみてもらって、
自分の環境で有効だとおもう場合、適用してみてください。

  • メニューを整理して、タブをへらしました。
  • クイックパネルを用意しました(運用時に押すものを集めました)
  • OBSメニューを調整。StreamLabs OBSの対応を開始。
    (ただし、実装が不十分で字幕はまだ送れないんです…。)
  • OBSの字幕を一気に消す指示ができる機能を追加。
  • 漢字の文字サイズを変えるオプション追加
  • バージョンアップで設定が引き継がれない問題の修正
  • 複数のOBSソースに文字を送れるオプション追加
  • OBSでウィンドウキャプチャできなかった問題の修正
    (およびcapture.bmpの方も。GPUサポートを切って対応。)
  • OBSソース名を選択で出来るようにした
  • レンダリングエンジンをIEからChromiumに変更。
  • 日本語ロケールにてメニューが一部表示されない問題の修正
  • ルビ付き表示時、グラデーションが反映されない問題の修正
  • (不具合調査用) OBSテストボタン追加
  • スレッド動作の一部修正
  • ※OBS v25へのWebsocket流し込みには未対応です。ご注意ください。
     (対応開発中です)
  • 言語選択肢を多国語化しました。
  • OBS転送を最適化しました。
  • 画面描画のサイクルを少し落としました。
    (PCのレスポンスが少し上がるかと思います)
  • Google音声認識が無反応になるケースの対応を追加しました。
  • 一部の処理関数でエラーが出ていた件を修正しました。
  • 「このエンジンは対応してない」と表示されるケースへの対応
  • 内部処理ライブラリを変更し処理負荷短縮。
  • Chrome音声認識で英語などを認識させているとき、
    更新の速さについていけずフリーズする問題の修正
  • Chrome音声認識の言語リストにスペイン語を追加

うまく動かないとお悩みの方へ

  • 旧バージョンでは機能しないので、定期的に新バージョンに更新をお願いします。
  • よくわからなければ、twitterで質問してみてください。
    (#ゆかりねっとコネクター などをつけると こちらも反応しやすいです)
  • Visual C++ 2015 ランタイム.Net 4.7.2 以上が導入されていないと起動できません。
    うまく立ち上がらない方は、このランタイムの導入をしてみてください。
  • UDトークやChromeブラウザも、新しいものをお使いください。
  • UDトークがBlueStacksで動くことを、 メーカ側では保証していません。
    もし問題がおきたら、Androidスマホなどを使って問題を切り分けてみてください。
  • 設定を一度初期化するという手段も、効果的な場合があります。

活用例

StreamLabs OBSでしたら、ブラウザーソースでアクセスするか、ウィンドウキャプチャで取り込むことができます。ゆかりねっとコネクターを起動し、http://localhost:15520/caption.html にアクセスすると、字幕を取り込むことができます。
背景色はクロマキーフィルターで取り除けば、きれいに合成することが可能です。

OBS Studio でしたら、OBS WebSocket を導入することで、テキストソースに直接文字を流し込むことができます。この方法をつかえば、OBSの文字描画フィルターを使うことができます。また。シーン切り替えによって、配置や文字を切り替えることもできるので、配信の幅も広がります。送付先には、ネットワーク上のPC(WIn/Mac)を指定できます。

VR空間でしたら、VaNiiMenuVaNiiGrassをつかって字幕を出すことができます。また、VR空間にブラウザを置けば、字幕を共有することもできます。

ヘビーユーザさんを紹介します!

マジック:ザ・ギャザリング実況(MTG)

曳山まつりか@バーチャルメイドデュエリスト‏ @hikiyamajasmineさん:
https://www.twitch.tv/hikiyamamatsurika  

花山 茶菜 🌹 🗻 🍵 🍀Vの者‏ @Hana_Yama_Sanaさん:
https://www.twitch.tv/sana_hanayama

ゲーム実況

ぱきち 🥒@Fortnite‏ @Pakichannelさん
https://www.twitch.tv/pakichi

えりんぎ様@elise_apple さん
https://twitch.tv/elise_apple
「リアルタイムに翻訳される事で アジアだけでなく、世界中の人とコミュニケーションを取れるようになりました! 時々、字幕が暴走してしまうのもネタになって素敵です 」

みきゅれむ @mikyuremさん:
https://www.twitch.tv/mikyurem
「 まだまだ英語は勉強中で上手く話せないことが多いのですが、ゆかりねっとコネクターのお陰で気軽にコミュニケーションを楽しむことが出来ています♫ 」

社畜のキジュン★Fallout76‏ @KIJUN_019さん:
https://www.twitch.tv/kijun_skm
「 良かったことは、トルコ人の友人が出来たことです 」

Youtube動画

ZtgKuuto 📚ざつがクート 📚雑学V.avtr‏ @ZtgK_TRIVIA さん:
https://www.youtube.com/channel/UCtS_sguecEp5GgVZWzPNo4A

Special Thanks! (プラン④以上で支えてくださっている方)

《随時掲載・更新していきます》

使い方

 図解しているnoteをみてみてください。
  ■基本的な使い方解説 (実況解説環境整備の解説)
  ■動画配信に字幕をつける(これができるまでの経緯等)
  ■接続までのフローチャートはこちら。参考にどうぞ。
  ■ v1.5拡張版1の説明はこちらにおいてあります。
  ■v1.8cから、ゆかりねっと本体の音声認識を使う方法をサポートしました。
  ■v2.0から、OBS Studioへの直接字幕転送をサポートしました。
  ■v2.2から、Microsoft翻訳の辞書補正をサポートしました。
  ■v2.9J6から、キャラクター・枠表示に対応しています。
  ■v2.9J9から、日本語ルビ付き表示に対応しています。
  ■v2.9J20から、キーワードに応じて設定を変更できるようになりました。

出来ること

・ゆかりねっとで認識した言葉を他国語翻訳して表示・合成ができます。
・地声勢の方はUDトークとゆかりねっとコネクターだけで字幕合成可能!
・音声認識エンジンをUDトーク(AmiVoice Cloud)に変えられます。
 (もちろん、ゆかりねっと標準のGoogle認識エンジンも使えます
まあちゃんを合わせて使えば、速記のデータも取り込みが可能です。
・字幕として認識したデータは、動画編集ソフトに取り込めます
ゆかりねっとのログから発話ログを取り出し字幕作成に利用できます。
配信用ソフトOBSに字幕を直接流し込めるので綺麗な配信ができます。

補足

  • 活用例をぜひ教えてください。HPやtwitterに掲載します。
  • 一部機能は、FANBOXで得たキーワードを入力するとロック解除されます。
  • ゆかりねっとの音声認識をUDトークに差し替えるには、ゆかりねっとの設定で、chromeの代わりにこのアプリ(実行ファイルmachan_yukarinetteconnector.exe)を選択してください。
  • なにか問題・リクエストあれば twitter @mikasa231までお願いします。
  • 動作がおかしい場合は設定→初期化をお試しください。

支援募集中!

  • 翻訳には、課金版のGoogle/Microsoft翻訳サービスを使っています。
    運用コストを担保すべく支援をお待ちしております→(pivix FANBOXnote
  • 6か月の運用実績はこのようになりました。
  • 2019年1月、2月の運用実績はnoteに公開してあります
  • 2019年3月からの継続運用実績はpixivに公開しています
  • 「支援はちょっと…」という方は、ぜひ使用事例をTwitterへ書き込んだり、
    配信紹介ページ でご紹介頂き、周りに広げていただければ幸いです。

過去のバージョン

  • Chrome音声認識が単語抜けする現象の改善
  • 画面翻訳の機能が機能しなくなっていた件の修正
  • OBS使用時にも、タイプライターモードが反映されるようにした。
  • OBS追加翻訳時に、母国語と同期するように改善
    (話が速く表示がたまった場合に、翻訳表示抜けするケースへの対応)
  • タイプライター表示をできるようにしました。
  • 特定の文字に応じて設定を変更できるようになりました。
    (キーに応じた部分は、表示ありますが、まだ実装してないです)
  • 配置関連も、上記条件に応じて変更できるようになりました。
  • 判定条件に、前・後ろ・含む・正規表現を追加。
  • 文字を表示しないモードを追加。
    (これにより文字ではなく絵でカバーしたいケースに対応できる)
  • フォント設定が正しく適用されない問題への対応
  • 翻訳のみ表示のケースで、表示が乱れるケースの修正
  • 特定の環境において、翻訳が止まってしまうケースへの対応
  • タイプライターモードにおいて、字が戻るケースの修正
  • マルチコアプロセッサ環境での動作最適化
  • タイプライターモードでのアクセス違反修正
  • 特定条件で字幕が表示されない問題の修正
  • 最前面表示設定が保存されない問題の修正
  • 特定条件で字幕がフリーズする問題の修正
  • 通信の最適化を実施。翻訳表示までの速度が少し早くなった。
  • Windows7サポート終了にともない、 .Net Framework を 4.7.2 へup。
  • 合言葉をいれると翻訳ができなくなる問題の修正
  • 色のにじみ問題に若干の対応を実施
  • ルビ表示時、フォント指示が反映されるように修正
  • ルビ表示時、フォントサイズ指定にミスがあった件を修正
  • ルビ表示時、縁取りを前より綺麗になるように対応
  • 内部で使っているChromium のバージョンアップ
  • ルビ表示機能の追加(簡易実装)
  • リスト表示(ブラウザモード)の動作を修正
  • (海外の視聴者向け)
    すべてをひらがなに変換してOBSに表示できる機能を追加
  • キャラクターを表示できるようになりました。
  • キャラクターはキーワードで変更もできるようになりました。
  • 吹き出し画像を指定できるようになりました。
    ※文字位置は、テロップ画面上でマウススクロールしたり
     Ctrl、Shiftなどを押しながら回すと調整できます。

    この機能の解説はここに書きましたので、参考にしてみてください。
  • 読み上げシステムに渡す文字列を選択できるようにした
    (辞書を使ってひらがな化して渡すことができるようになりました)
  • 今のところ問題報告がないので、このバージョンを一般リリースに移行します。
  • プラグイン機能の更新
    (編集エディタを起動するときにCSVを自動で読み込む機能を追加)
  • プラグインエディタの動きを調整。
    (さすがに雑な作りだったので、動きを再調整)
  • 音声読み上げ機能に送る文字列を選べるように(翻訳・原文)
  • 棒読みちゃん連携のロックを解除
  • 文章が立て続けに流れているときに、翻訳文が長くとどまることができる
    オプション機能を追加しました。
  • 翻訳時、不要な制御記号を省くよう、処理追加。
    (これにより、翻訳文字数を若干減らすことができます)
  • OBS転送時、文末の改行コードを取り除いて転送するように変更。
  • Chrome音声認識時の安定性を向上させるための変更をしました。
    (Chrome音声認識は、一定量以上使うと Google側から制約をうけることが
     あるかもしれません。その場合は一時的に音声認識しない可能性があります。
     長時間使う場合は、UDトークとの連動もご検討されると良いと思います)
  • VaNiiAlertとの連動に関して精度UPを実施
    (なお、VaNiiAlertは日本語名を含まないフォルダにおいてください)
  • VaNiiGrassに出す種類(元の文章・翻訳文)を選択できるようにした
  • アプリ終了時にエラーが出るケースへの対応
  • 上記エラーが出る環境で設定値が保存できない問題への対応
  • 特定のWindows環境で通信が途切れるケースへの対応(完)
  • 通信ポートを開くときの処理を少し修正しました。
  • Http通信が不安定なケースへの処理を追加
  • 特定のWindowsでQR通信が切れる問題への対応
    (数秒後に文字が出なくなるケースに対応しました)
     →非同期通信系/キャッシュ系で問題が発生したと推定。
      今まで調子が良くなかった方は是非お試しください。
  • ブラウザへの字幕転送に対応
    ※リリース候補版で安定と判断し、リリースに切り替えました。
  • Adobe Premiere 向けに、XMLフォーマットでの出力に対応。
  • おこ助入出力時に時間軸が狂う件の修正。
  • 起動時に通信復帰を試みるオプションを追加。
  • AviUtl出力時、レイヤーNoが分かれていれば母国語と翻訳語を
    ファイル分割せずに出力するように変更。
  • AviUtl出力機能のロックを解放。
    (翻訳ファイル出力は、支援コードを打ち込むと有効になります)
  • UDトークQR接続の時のレスポンスが若干速くなっています。
  • マルチディスプレイ環境でのウィンドウ位置保存に対応しました。
  • UDトークとの通信が改善しています。
  • VR向けに、テロップ画面のビットマップが取得できるようにしました。
    (HTTPアクセスで取れます。 VRC_Panorama と組み合わせてお使いください)
  • 内部で使っている部品のバージョンアップをしています。
  • 英語ゲーム翻訳に対応するため、画面スキャン翻訳へ実験的に対応しました。
    (支援者向け早期リリース)
  • 辞書ツールや翻訳の動作周りを調整しました。
  • 画面スキャン翻訳:F8で翻訳、F7で画面消去をできるようにしました。
  • 辞書インポート時、同一のよみ(キー)のものを除外するようにしました。
  • 辞書ツール:①変換後、ファイルの一部が不完全だった問題の修正
          ②UDトーク辞書を出力できるようにしました。
  • メニュー配置を一部変更しました。
  • MS翻訳で一部うまくタグ認識されない問題を修正しました。
  • Chrome経由で音声認識ができるモードをつけました。
画面翻訳では、こんなことができます。

・翻訳動作に映るまでの処理を最適化し、少々高速化しました。
・OBS拡張(翻訳3・4)が転送できない問題を改善しました。
・定型文送信に対応
 (休憩中など、決められた字幕を出すときに使うやつです)
・OBS連携が不意に途切れた場合に、自動再接続を試みるようにしました。

※文字の変換動作は次の通りになります。
 ①文章入力(UDトーク or ゆかりねっと or 原稿ウィンドウより)
 ②翻訳逆変換(有効な場合は、この時点で翻訳実施)
 ③ひらがな変換 (有効な場合)
 ④カスタム辞書 (有効な場合)
 ⑤漢字変換  (有効な場合)
 ⑥単語の置換
 ⑦翻訳動作

 この特性をうまく使うためには、
 1)読み間違えもできるだけ正確に拾いたい場合は、③④⑤を有効に
 2)人物などの名前を正しく変換したい場合は③⑤を有効に
 3)表示は正しいけど英語読みがおかしい場合は⑥を活用

という感じにすると、表示・翻訳の精度をコントロールできます。
まだ 微調整が済んでいないので 仮公開です。
(それから、逆変換をつかって字幕の揺らぎで遊ぶ際は、
 その旨をどこかにしっかり書いておいてください。
 あえてやっているのに「精度わるいじゃん」というクレームが
 多く届くようになったら、機能の公開をやめる可能性があります)

・Add: Reverse translation
 逆翻訳機能を追加 (場所:表示→タイミング調整と拡張機能)
 (要望にお応えしました。誤翻訳も含め遊びたい人向け)

・Add: Conversion tool for dictionary import
 辞書を追加するときに使うインポートツールを追加。
 (場所:翻訳エンジン→翻訳エンジンの選択)

・Modify: Expanded application range of custom dictionary
 カスタム辞書をMS/Googleどちらでも使えるようにしました。

・Add: Added conversion functions
 辞書にかけるとき、音声認識文をすべて平仮名に直して、
 文章補正をしたり、補正後に漢字変換したりできるようになりました。
 (場所:制御→拡張動作)

・Fix : Update translation language list
 翻訳リストを更新しました。簡体字・繁体字を選択できるようになりました。
 ※過去の設定をロードしたとき、言語設定が狂う場合があります。
  使う前に設定の確認をお願いします。
 ※使う翻訳エンジンによって、サポートされない言語があります。

・Fixed: Custom translation dictionary conversion process corrected
 変換修正の辞書動作を修正(主にGoogleエンジン使用時に機能しなかった)

・FIx : Fixed an issue where some WAV files could not be played by the sound plug-in
 音源プラグインで一部のWAVファイルが再生できない問題の修正

 ※このバージョンについては、Wineでウィンドウが出るぐらいにはしましたが、
  更新タスクがうまく回らず、エラーもでるので、まだMacでは実用に耐えません。
  もうちょっと依存関数部分を修正できるか模索してみます。

・OBSだけですが、追加翻訳を流し込めるようになりました。
 ※翻訳を増やすと、通信の関係で表示ラグが増えます
 ※合言葉を入れないと有効化されません
 ※レスポンスはGoogle翻訳のほうが速いようです。

・Add : I made it possible to use VaNiiAlert and VaNiiGrass.
 VR用の通知合成アプリ「VaNiiAlert」に対応しました。
 VR用の画面合成アプリ「VaNiiGrass」に対応しました。
・Modify:Adjust application drawing response.
 描画レスポンスの改善

Yukarinette Connector v2.9b (2019/7/6)
・Add : I made it possible to use VaNiiAlert and VaNiiGrass.
 VR用の通知合成アプリ「VaNiiAlert」に対応しました。
 VR用の画面合成アプリ「VaNiiGrass」に対応しました。

Yukarinette Connector v2.85 (2019/6/24)
・Add : speak delay option.   
 翻訳結果を話すタイミングを調整可能に。
・Optimize:translation response.
 翻訳レスポンス調整

Yukarinette Connector v2.83 (2019/6/16)
・Translate menu.   
 メニューを翻訳(対応:英語、日本語)
・Fixed API error
 API使用時のエラー対応を修正
・Speaking a translate text with Bouyomi-chan
 棒読みちゃんによる翻訳文の読み上げに対応
・Fixed logic : test keyword , etc.
 プロモーションコード判定の修正 その他。
・Fix system architecture issues.
 プログラム構造上の問題を修正

v.2.82より前のバージョンの公開は終了しました。