ゆかりねっとコネクター

【ゆかりねっとコネクター公式宣伝ストリーマ ゆうまくん。アプリご使用の際には、ぜひこのバナーもお使いください】
  • 音声認識はUDトーク、ゆかりねっと、Chrome音声認識に対応
  • AviUtilやAdobe Premiereに字幕データをエクスポート可能
  • OBSと連動すれば、同時に4か国語への翻訳表示・配信が可能
  • Google翻訳、Microsoft翻訳、Amazon翻訳、DeepL翻訳に対応
  • 個人/企業で個別契約したAPIも使用可能

ダウンロード(Download)

●ゆかりねっと と 連動させる方は、
 インストール先 に お気を付けください。
64bit版ゆかりねっとの場合は インストール先が異なります

  • a16で、時間で消える設定をしても反映できなくなったという
    レポートがあったので、該当部分を元に戻しました。
  • 字幕データがたくさん届くと、内部処理が遅れていく問題があるので
    内部処理タスクの整理をおこないました。
    (この現象は、たくさん話す方や、PCのCPU余力が少ない方ほど
     起きやすい傾向にありました。前より改善されているかと思います)

開発版(Deverop Version)

開発版は、比較的早いピッチで機能を追加し提供するものです。
無理にバージョンアップしなくて良いですよ。変化点をみてもらって、
自分の環境で有用だとおもう場合、適用してみてください。

  • GUIの英語翻訳を進めました。メインのウィンドウ分だけは
    ほぼ翻訳がおわっているかとおもいます。
  • 今後はスペイン語も進めていきます。
    (今入っている分は前回進めた分だけ入ってます)

サポート方針

活用例

OBS Studio でしたら、OBS WebSocket を導入することで、テキストソースに直接文字を流し込むことができます。この方法をつかえば、OBSの文字描画フィルターを使うことができます。また。シーン切り替えによって、配置や文字を切り替えることもできるので、配信の幅も広がります。送付先には、ネットワーク上のPC(WIn/Mac)を指定できます。

StreamLabs OBSでしたら、ブラウザーソースでアクセスするか、ウィンドウキャプチャで取り込むことができます。ゆかりねっとコネクターを起動し、http://localhost:15520/caption.html にアクセスすると、字幕を取り込むことができます。
背景色はクロマキーフィルターで取り除けば、きれいに合成することが可能です。

VR空間でしたら、VaNiiMenuVaNiiGrassをつかって字幕を出すことができます。また、VR空間にブラウザを置けば、字幕を共有することもできます。

ヘビーユーザさんを紹介します!

マジック:ザ・ギャザリング実況(MTG)

曳山まつりか@バーチャルメイドデュエリスト‏ @hikiyamajasmineさん:
https://www.twitch.tv/hikiyamamatsurika  

花山 茶菜 🌹 🗻 🍵 🍀Vの者‏ @Hana_Yama_Sanaさん:
https://www.twitch.tv/sana_hanayama

ゲーム実況

ぱきち 🥒@Fortnite‏ @Pakichannelさん
https://www.twitch.tv/pakichi

えりんぎ様@elise_apple さん
https://twitch.tv/elise_apple
「リアルタイムに翻訳される事で アジアだけでなく、世界中の人とコミュニケーションを取れるようになりました! 時々、字幕が暴走してしまうのもネタになって素敵です 」

みきゅれむ @mikyuremさん:
https://www.twitch.tv/mikyurem
「 まだまだ英語は勉強中で上手く話せないことが多いのですが、ゆかりねっとコネクターのお陰で気軽にコミュニケーションを楽しむことが出来ています♫ 」

社畜のキジュン★Fallout76‏ @KIJUN_019さん:
https://www.twitch.tv/kijun_skm
「 良かったことは、トルコ人の友人が出来たことです 」

Youtube動画

ZtgKuuto 📚ざつがクート 📚雑学V.avtr‏ @ZtgK_TRIVIA さん:
https://www.youtube.com/channel/UCtS_sguecEp5GgVZWzPNo4A

Special Thanks! (プラン④以上で支えてくださっている方)

  • ふぃーるさん
  • NOIさん
  • yumina23さん
  • suigin01さん
  • げげげのコタローさん

《随時掲載・更新していきます》

使い方

図解しているnoteをみてみてください。

出来ること

・ゆかりねっとで認識した言葉を他国語翻訳して表示・合成ができます。
・地声勢の方はUDトークとゆかりねっとコネクターだけで字幕合成可能!
・音声認識エンジンをUDトーク(AmiVoice Cloud)に変えられます。
 (もちろん、ゆかりねっと標準のGoogle認識エンジンも使えます
まあちゃんを合わせて使えば、速記のデータも取り込みが可能です。
・字幕として認識したデータは、動画編集ソフトに取り込めます
ゆかりねっとのログから発話ログを取り出し字幕作成に利用できます。
配信用ソフトOBSに字幕を直接流し込めるので綺麗な配信ができます。

うまく動かないとお悩みの方へ

  • 定期的に新バージョンに更新をお願いします。
    (機能修正や追加、API整合取りなどは定期的に行われています)
  • 不明点はTwitterで聞いてみてください。やり取りで解決することは多いです。
    (ハッシュタグ「#ゆかりねっとコネクター 」があると こちらも反応しやすいです)
  • Visual C++ 2015 ランタイム.Net 4.7.2 以上がないと起動できません。
    うまく立ち上がらない方は、このランタイムの導入をしてみてください。
    (x86、x64 両方導入してみてください)
  • UDトークやChromeブラウザも、新しいものをお使いください。
  • UDトークがBlueStacksで動くことを、 メーカ側では保証していません。
    問題発生時は、スマホアプリを使って問題を切り分けてみてください。
  • 設定を一度初期化するという手段も、効果的な場合があります。
  • ゆかりねっとのプラグインに出てこないという方は、
    インストール先を間違えています。ゆかりねっとコネクターを入れるときに
    ゆかりねっとのフォルダーを正確に選んでください。
  • Microsoft Azure Cognitive Translation API v3 のAPIキーを入れても
    翻訳できないという方は、契約リージョンがglobalになっているか確認して下さい。

補足

  • 活用例をぜひ教えてください。HPやtwitterに掲載します。
  • 一部機能は、FANBOXで得たキーワードを入力するとロック解除されます。
  • ゆかりねっとの音声認識をUDトークに差し替えるには、ゆかりねっとの設定で、chromeの代わりにこのアプリ(実行ファイルmachan_yukarinetteconnector.exe)を選択してください。
  • なにか問題・リクエストあれば twitter @mikasa231までお願いします。
  • 動作がおかしい場合は設定→初期化をお試しください。

支援募集中!

  • 翻訳には、課金版のGoogle/Microsoft翻訳サービスを使っています。
    運用コストを担保すべく支援をお待ちしております→(pivix FANBOXnote
  • 6か月の運用実績はこのようになりました。
  • 2019年1月、2月の運用実績はnoteに公開してあります
  • 2019年3月からの継続運用実績はpixivに公開しています
  • 「支援はちょっと…」という方は、ぜひ使用事例をTwitterへ書き込んだり、
    配信紹介ページ でご紹介頂き、周りに広げていただければ幸いです。

過去のバージョン

  • Chrome音声認識の安定性を改善しました
    (OBS併用時など、通信がうまくいかなかったら、自動復帰するように)
  • 長文時の自動翻訳タイミングを調整
  • 長文時、リスト表示にでる翻訳がちらつく問題の修正
  • Chrome音声認識の安定性を改善しました
    (といっても、ブラウザや通信が不安定だと変わらないかと思います)
  • フォントが反映される□になる件の改善
    (画面が対応しないフォントは相変わらず表示できませんが、
     以前より使えるフォントは増えています)
  • リスト画面が表示できないことがある件の修正
  • 長文になったら途中で翻訳をかけるようにしました。
    これによって、翻訳文側でも多少ライブ感をあげることができます。
  • 字幕をZoomやYoutube Liveに転送できるようになりました。
  • Chrome音声認識で、同じ文章が複数回確定される現象の修正(Thanks 小夜啼鳥さん)
  • Chrome ⇔ Google音声サーバ間のやり取りに失敗・フリーズしたときに、
    いち早く認識復帰をかけるように修正
  • 音声を複数回読み上げる現象の抑制(Thanks 小夜啼鳥さん)
    *字幕のきりかわりタイミングが以前と若干異なっているので再調整をお願いします。
  • 字幕の更新が遅れる(もたつく)ケースへの対応
    (Thanks コロポックルさん、やまちゃんさん)
  • 字幕通信の速度改善
    (PC環境、回線、エンジンにもよりますが、有料APIの応答が多少改善されます。)
  • 字幕OFFリモコン機能を追加 (Thanks ゆうまくん )
  • 文字の基準位置を指定できるようになります。
    これによって、長く話した場合に字幕が重なることを防止できます。
  • 内部で立ち上げるサーバの通信ポートが使われているとき、
    代替ポートをつかうように変更。エラー問題の回避(Thanks 神楽彩さん)
  • UDトーク(Android版)と組み合わせたときに、
    ルビ処理がうまく行かなかったり、文字が停滞する問題の改善
  • 文字更新タイマーがうまく作動しない環境がある問題への対処
  • 棒読みちゃんのHTTP通信に対応(Thanks Milksopさん)
  • Twitch連携で母国語+翻訳選択すると正しく送られない問題の修正 (Thanks にぱにぱさん)
  • Twitch連携で改行コードが入るとうまく動かないケースの修正
  • コラボ配信機能の時、希望する場合のみ色情報を送信 に変更(Thanks むらづきさん)
  • 海外での利用者にとって FANBOXのハードルが高く、私もサポートが難しいので
    APIキー利用設定を無料開放することにしました。(Thanks JDavidさん)

    ※仕組みを少し大きく触りました。本番利用前に動作確認を念入りにしてみてください。
     もしおかしかったら、Twitterにメンション飛ばしてください。
  • コラボ配信機能の読み込み間隔を調整 (Thanks むらづきさん、沼男さん)
  • コラボ配信機能のパスワード識別部分の動作を修正
  • VMCProtocol(バーチャルモーションキャプチャー)に対応
    (Thanks あきらさん、Segmentation Faultさん)
    ひとまず、キャリブレーション開始コマンドの発行に対応
  • VMCProtocolベースで、ゆかりねっとコネクター文字情報を流す機能も追加
  • Twitch連携がまともに機能していない問題にテコ入れ (Thanks にぱにぱさん)
  • そのほか、細かい修正を実施。

これより前のバージョンの公開は終了しました。