ゆかりねっとコネクター

【ゆかりねっとコネクター公式宣伝ストリーマ ゆうまくん
  • 音声認識はUDトーク、ゆかりねっと、Chrome音声認識に対応
  • AviUtilやAdobe Premiereに字幕データをエクスポート可能
  • OBSと連動すれば、同時に4か国語への翻訳表示・配信が可能
  • 翻訳エンジンは、Google、Microsoft、Amazon、IBM Watson、DeepL、NAVER Papagoに対応
  • 個人/企業で個別契約したAPIも使用可能
    FANBOXで支援いただくと、上記有料APIがすぐ使えるようになります。
    (支援①以上で Google、Microsoft、Amazon、IBMのエンジンが、
     支援③以上で 上記+DeepL、Papagoが使えます)

ダウンロード(Download)

・過去のバージョンも、ページ下においてあります。
 調子悪ければ、バージョンを戻すか、最新開発版をお試しください。
・トラブルシュートのヒントも、ページ下にかいてあります。
・エラー報告や、使い方サポートは、Discordで行っています。

  • UDトークをつないで運用しているとき、時間とともにレスポンスが
    遅くなっていく問題を修正しました。
    (影響が大きいので、即一般公開しました)

    ※無料翻訳エンジンがセキュリティソフトに削除されるケースがあります。
     その場合はお使いのセキュリティソフトで例外設定をしてみてください。
  • v2の最終版。今後、基本的には機能修正・追加はありません。
    描画方法がブラウザベースではなくて、GDI+を使っているバージョン。
    縁取りは、比較的丁寧に行うようなプログラムになってますが、少し重いです。
    ※UDトーク通信部品の更新が入りました。応答が少し早くなります。

開発版(Development Version)

開発版は、比較的早いピッチで機能を追加し提供するものです。
新しい機能も付いていますが、うまく動かない事もあるかもしれません。
無理にバージョンアップしなくて良いですよ。変化点をみてもらって、
自分の環境で有用だとおもう場合、適用してみてください。

  • GUIの英訳を進めました。
  • 縁取りをするとルビがつぶれる件を改善。
  • ルビフォントが指定フォントにならなかった件を修正
  • 翻訳言語1を日本語にした場合、ルビ比率がおかしかった件を修正
  • ソフトウェア内の表記を修正
  • 以前より使えるフォントが増えているかと思います。
  • 特定条件で字幕が消えなくなる問題の修正
    (テロップ画面で、「母国語のみ」にした場合)
  • クイック設定1~4ボタンを追加。ボタン1つで設定を切り替え出来ます。

ぜひ広めてください!

下記のバナーは、ぜひ皆さんのサイトでご活用ください。配信画面や動画でお使い頂くのも、OKです。また、動画で使い方紹介しているYoutubeページをCh登録いただくのもうれしいです。

活用例

OBS Studio でしたら、OBS WebSocket を導入することで、テキストソースに直接文字を流し込むことができます。この方法をつかえば、OBSの文字描画フィルターを使うことができます。また。シーン切り替えによって、配置や文字を切り替えることもできるので、配信の幅も広がります。送付先には、ネットワーク上のPC(WIn/Mac)を指定できます。

StreamLabs OBSでしたら、ブラウザーソースでアクセスするか、ウィンドウキャプチャで取り込むことができます。ゆかりねっとコネクターを起動し、http://localhost:15520/caption.html にアクセスすると、字幕を取り込むことができます。
背景色はクロマキーフィルターで取り除けば、きれいに合成することが可能です。

VR空間でしたら、VaNiiMenuVaNiiGrassをつかって字幕を出すことができます。また、VR空間にブラウザを置けば、字幕を共有することもできます。

ヘビーユーザさんを紹介します!

マジック:ザ・ギャザリング実況(MTG)

曳山まつりか@バーチャルメイドデュエリスト‏ @hikiyamajasmineさん:
https://www.twitch.tv/hikiyamamatsurika  

花山 茶菜 🌹 🗻 🍵 🍀Vの者‏ @Hana_Yama_Sanaさん:
https://www.twitch.tv/sana_hanayama

ゲーム実況

ぱきち 🥒@Fortnite‏ @Pakichannelさん
https://www.twitch.tv/pakichi

えりんぎ様@elise_apple さん
https://twitch.tv/elise_apple
「リアルタイムに翻訳される事で アジアだけでなく、世界中の人とコミュニケーションを取れるようになりました! 時々、字幕が暴走してしまうのもネタになって素敵です 」

みきゅれむ @mikyuremさん:
https://www.twitch.tv/mikyurem
「 まだまだ英語は勉強中で上手く話せないことが多いのですが、ゆかりねっとコネクターのお陰で気軽にコミュニケーションを楽しむことが出来ています♫ 」

社畜のキジュン★Fallout76‏ @KIJUN_019さん:
https://www.twitch.tv/kijun_skm
「 良かったことは、トルコ人の友人が出来たことです 」

Youtube動画

ZtgKuuto 📚ざつがクート 📚雑学V.avtr‏ @ZtgK_TRIVIA さん:
https://www.youtube.com/channel/UCtS_sguecEp5GgVZWzPNo4A

Special Thanks! (プラン④以上で支えてくださっている方)

  • ふぃーるさん
  • ゆうりさん
  • NOIさん
  • yumina23さん
  • suigin01さん
  • げげげのコタローさん
  • ろんちょこさん
  • スクラップベアさん
  • めけてんさん
  • 白藤花音さん
  • Vtuberゆるいこ さん
  • MosSanさん
  • のののえるさん

《随時掲載・更新していきます》

使い方

図解しているnoteをみてみてください。

出来ること

・ゆかりねっとで認識した言葉を他国語翻訳して表示・合成ができます。
・地声勢の方はUDトークとゆかりねっとコネクターだけで字幕合成可能!
・音声認識エンジンをUDトーク(AmiVoice Cloud)に変えられます。
 (もちろん、ゆかりねっと標準のGoogle認識エンジンも使えます
まあちゃんを合わせて使えば、速記のデータも取り込みが可能です。
・字幕として認識したデータは、動画編集ソフトに取り込めます
ゆかりねっとのログから発話ログを取り出し字幕作成に利用できます。
配信用ソフトOBSに字幕を直接流し込めるので綺麗な配信ができます。

うまく動かないとお悩みの方へ

  • 定期的に新バージョンに更新をお願いします。
    (機能修正や追加、API整合取りなどは定期的に行われています)
  • 不明点はTwitterで聞いてみてください。やり取りで解決することは多いです。
    (ハッシュタグ「#ゆかりねっとコネクター 」があると こちらも反応しやすいです)
  • Visual C++ 2015 ランタイム.Net 4.7.2 以上がないと起動できません。
    うまく立ち上がらない方は、このランタイムの導入をしてみてください。
    (x86、x64 両方導入してみてください)
  • UDトークやChromeブラウザも、新しいものをお使いください。
  • UDトークがBlueStacksで動くことを、 メーカ側では保証していません。
    問題発生時は、スマホアプリを使って問題を切り分けてみてください。
  • 設定を一度初期化するという手段も、効果的な場合があります。
  • ゆかりねっとのプラグインに出てこないという方は、多くの場合
    インストール先を間違えています。
    ゆかりねっとコネクターを入れるときに
    ゆかりねっとをインストールしたフォルダーを正確に選んでください。
  • Microsoft Azure Cognitive Translation API v3 のAPIキーを契約した地域も
    入力が必要なので、確認してみてください。
  • 無料翻訳API( Google 翻訳ライブラリ)は、Googleから翻訳BANされると
    使えなくなります。無料なのはGoogleさんの善意なので、確度が欲しければ
    有料API(支援版もしくは個人のAPI)をお使いください。
  • ボイスロイド連携アプリ「ゆかりねっと」は、文字と声を連動させる時に必要ですが
    地声配信では導入しなくても、ゆかりねっとコネクターだけで字幕・翻訳が実現可能です。
  • Chrome音声認識がうまく動かないときは、一度音声認識画面を閉じてみてください。
    ゆかりねっとコネクターを終了したら、Chrome音声認識画面を閉じる必要があります。

補足

  • 活用例をぜひ教えてください。HPやtwitterに掲載します。
  • 一部機能は、FANBOXで得たキーワードを入力するとロック解除されます。
  • ゆかりねっとの音声認識をUDトークに差し替えるには、ゆかりねっとの設定で、chromeの代わりにこのアプリ(実行ファイルmachan_yukarinetteconnector.exe)を選択してください。
  • なにか問題・リクエストあれば twitter @mikasa231までお願いします。
  • 動作がおかしい場合は設定→初期化をお試しください。

支援募集中!

  • 翻訳には、課金版の翻訳サービスを使っています。
    運用コストを担保すべく支援をお待ちしております→(pivix FANBOXnote
  • 6か月の運用実績はこのようになりました。
  • 2019年1月、2月の運用実績はnoteに公開してあります
  • 2019年3月からの継続運用実績はpixivに公開しています
  • 「支援はちょっと…」という方は、ぜひ使用事例をTwitterへ書き込んだり、
    配信紹介ページ でご紹介頂き、周りに広げていただければ幸いです。

サービスに関する表記

<プライバシーに関する表記>
 ・Microsoft:
  https://azure.microsoft.com/ja-jp/support/legal/cognitive-services-compliance-and-privacy/
 ・Google:
  https://policies.google.com/privacy?hl=ja
 ・Youtube
  https://www.youtube.com/t/terms

<Google翻訳について>
 このサービスには、Google により提供される翻訳が含まれる場合があります。
 Google は、明示的か黙示的かを問わず、翻訳に関するすべての保証
 (精度、信頼性に関するあらゆる保証、および商品性、特定目的への適合性、
 第三者の権利の非侵害性に関するあらゆる黙示的保証を含みます)を放棄します。

<Microsoft翻訳について>
 このサービスには、Microsoft により提供される翻訳が含まれる場合があります。
 取り扱われるデータはMicrosoftの規約に基づいて処理が行われます。
 https://privacy.microsoft.com/ja-jp/privacystatement

・UDトーク接続時の音声認識はUDトークが提供するGoogleもしくはAmiVoice Cloudの
 音声翻訳を用いています。UDトークのプライバシーポリシーは利用契約形態によります。
 アプリもしくは契約時のポリシーをご覧ください。
 通常ライセンス:http://udtalk.jp/license/

このソフトウェアは、そのほかに IBM Watosn、Amazon Translator、
NAVER Papagoなどをつかった翻訳も可能です。

その場合は、それぞれのサービス約款にそった利用のみ可能です。
また、プライバシーポリシーはそれぞれのサービスを参照してください。
https://www.ncloud.com/policy/terms/svc
https://www.ibm.com/jp-ja/legal?lnk=flg-tous-jpja
https://aws.amazon.com/jp/aup/

過去のバージョン

  • テロップ詳細設定を複製・優先順位いれかえができるようになった
  • ゆかりねっとの「サードパーティの音声認識」を選んだ時、
    ゆかりねっとコネクターで接続ボタンが使えない条件があったのを修正
  • WebSocketポートが使用したままにならないよう、配慮しました。
  • ブラウザ部品のアップデートを行いました。
  • 音声の待ち時間をいれると字幕がその時間フリーズする問題を修正。
  • ルビを使用時に、スタンプが正しく表示されないケースを修正
  • 無料翻訳エンジンがセキュリティソフトに削除されるレポートをうけ、
    内包する、無料翻訳エンジンを再構成しました。
  • 主な機能は v3.2a34と変わりはありません。
  • もし、翻訳が全く出てこないかたは、こちらを試してみてください。
    こちらで問題が解決するようなら、次のバージョンからこちらの実装にします
  • テロップウィンドウのタイトル名に時間を含まないようにしました。
    (OBSがウィンドウをとらえるのを失敗してしまうケースがあるため)
  • HTML5コメントジェネレーターに対応してみました。
  • 指定したプログラムを自動起動できるようにしました。
  • 希望するメニューを消せるようにしました。
  • スタンプのサイズを指定できるようにしました。
  • キーワードを画像ファイルに置き換える機能をつけました。
    字幕にインパクトを与えられると思います。
    (他の機能との整合問題を発見した方がいましたら、ご連絡ください)
  • UDトークを提供しているShamrock Records,Inc と協議をしました。
    UDトーク利用時に母国語データの出力制限していましたが
    この制限を廃止できることになりました。(音声、VR、アプリ連携、ファイル書き出し等)
  • 棒読みちゃんの音声設定(音量、スピード、ピッチ)を指定できるようになりました。
  • 画面表示でつかった条件設定名をYNCプロトコルに送信(/YNC/Setting)します。
    これにより、たとえば、声色とモバキャモデルの表情を切り替えるなど連携が可能です。
  • その他、実装上の軽微な修正。
  • 自動起動するとき、黒いウィンドウがでるという問題の修正(Thanks 漆葉みけさん)
  • 音声読み上げのタイミングを修正(Thanks ぱきちさん)
    (特に翻訳タイミングがばらついたときに読み上げ抜けが発生)
  • 重複する処理を回避して、動作を軽くした。
  • アクセシビリティ面を改良しました。(Thanks 白井崇陽さん)
    ①ショートカットをできるだけ付与しました。
     CTRL+Tでメインツリーに戻り、エンターでメニュー詳細に進みます。
    ②タブオーダー(TAB順)を修正しました。
  • 棒読みちゃん、Softalkの自動起動、OBSの起動時自動接続を実装しました。
  • コラボ配信、多言語字幕表示を個別ウィンドウ化しました。
    それに伴い、画面位置指定、枠消し、前面表示などを実装しました。
  • Softalkが英語を読み上げできない不具合を修正しました。
  • 特定条件でUDトークからの受信が止まってしまうケースを修正しました。
  • 内部処理タスクの整理。タスク待ちで急に重くなる現象を回避。
    ただし、どの環境でも軽くなっているか見たいので、ぜひレポートください。
    (画面右下に数字をだしました。100%が続くと処理が滞るサインですので教えて下さい)
  • Google翻訳処理プログラムを少し軽くした(応答速度はv2<今回<以前のv3ぐらい)
  • 設定が一部、即反映されないケースの修正
  • 通信ライブラリを更新しました。
    PC環境によりますが、多少通信応答が速くなっているかと思います。
  • iOS版のUDトークと接続しているとき、文章確定が稀に正しく行えないケースを修正。
  • 発話終了時間の記録が正しくできていないケースの修正。
  • Web音声発話の機能が正しく機能しないケースの修正。
    ※UDトークと組み合わせて使う方は、 v3.2a28をお試しください
  • 音声読み上げ複数回問題への対応(2)
  • ゆかりねっとから開くときに、初期化失敗してもメッセージが出ない件の修正
  • ゆかりねっと(64bit版)と連携が取れなくなっていた問題の修正
  • Windowsの状態によって、UDトークからの文章受け取りがもたつくケースへの対応
  • 重複する処理を一部共通化しました。
  • 翻訳タイミングの調整をしました。
  • Chromeが無効な場合に警告を出すようにしました。
  • 内部スレッドの数を減らしました。
  • CPUをまんべんなく使う設定も解除しています。
    (CPUをまんべんなく使うと、ゲームや収録に影響があるらしい…)
    ほかの環境でも安定しているか知りたいので、お時間あるかたは
    お試しください。(不具合レポートがなければ、このまま進めます)
  • 並列処理がもたつく問題の改善(Thanks clea さん)
  • 通信が中断したときに、まれに次の行に進めなくなる問題の修正
  • UDトーク通信の並列処理が環境によりもたつく現象の修正
  • クロップがOFFのときに字幕が出ないことがあるケースの修正
    (Thanks 漆葉みけさん)
  • 全翻訳が行われる前に次の行に行くことをなるべく抑制するように変更
  • 翻訳並列部分の処理みなおし

    ※もたつきが多い場合は a21 をお試しください
  • クロップ処理に失敗しているケース および
    多言語字幕が消えずに残る問題が解決している確認するためのバージョン。
  • 翻訳の並列処理も 多少改善されている…はず。
  • コラボ・多言語の通信切断時リカバリーを追加
  • コラボ・多言語の縁取り、ウィンドウサイズ指定を追加
    ※縁取り実装の都合で、改行できなくなったので、1行しか表示できません。
     コラボは2行(原文+翻訳)になります。多言語の文章はクロップが反映されます。
  • 音声認識結果の確定がうまく表示されないときがあるケースの修正
  • ルビがちらつく問題の修正
  • クロップが反映されないケースの修正
  • GUIの英語翻訳を進めました。
  • テロップの名前表示を操作するとOBSに正しく出力されない問題の修正
  • OBS出力時、行頭記号を追加できるように機能追加
  • OBS出力で2行以上送信時、名前表示が正しくない問題の修正
  • v3.2a17の多言語表示・コラボ表示の負荷が高くて配信時に影響が出るようなので
    処理方法を見直して負荷が小さくなるようにしました。
  • Web音声発話の機能において、漢字・ひらがな選択が正しく機能しない問題の修正
  • 動作解説をいくつかのページに追加しました。
  • 画面翻訳がメニューから消えていたのを修正
  • 画面機能が分散していたものを配置修正しました。
    (いい加減にしろ、って言われそうなので これでFIXにしたい所だけど…)
  • OBS転送機能を使っていないときに処理が意図せず中断するケースの修正
  • 検索機能にタグを追加。(🔍検索に文字を打つとでメニュー検索ができます)
  • 配信で使われる方は、ぜひ配信概要欄などでご紹介ください。
  • バナーが必要な方は、上の絵を使っていただいてOKです。
  • ユーザさんからリクエストを頂いた内容をもとに、GUIを再構成しました。
    関連が分かりづらい機能設定は、切り離したり、再構成しています。
    (「設定の内部相関が分かりづらい」のが、問題をややこしくしていた)

    従来ユーザの皆さんはちょっと最初慣れないかもしれませんが、
    今後この画面で開発を進めていきますので、ご協力よろしくお願いします。
  • 主なバグフィクスとして、OBS再接続で通信異常が発生する問題の修正、
    表示のちらつき修正、翻訳処理の回し方を修正したりしています。
    細かい変遷(修正履歴)はページ下を見てみてください。
  • 機能追加としては、コラボ配信や多言語翻訳の機能を
    OBSをつかっていなくても対応できるように改良しています。

    <a16⇒a17 での変更点>
  • 追加翻訳2~4をつかうときに、優先するエンジンを設定できる
    「こだわり設定」を追加しました。(Thanks 漆葉みけさん)
  • 文字クロップ設定が反映できないケースを修正

    ※既知の問題:
     クロップをOFFにすると文字が表示されなくなるケースがあります。
     その場合は、クロップ設定をON+上限値を大きくするか a20に更新してください

これより前のバージョンの公開は終了しました。