1

今回の翻訳者の評価方法の変更について、皆様はどう思われますか。

ご意見をお聞かせ下さい。

7 comments

  • 3
    Avatar
    tamura_w

    こんにちは。

    ご存知かもしれませんが、Japanese forumの下の方にある

    最近のレビューの厳しさとレビューされる案件の長さについて

    という投稿の中で、今回の評価方法の変更について以下のように意見を述べています。その後に数人の方の意見が続きます。

    ++++++++

    今回の評価基準の変更の結果、品質スコアが下がりました。数年前に受けた低スコアのレビューが原因だと思います。その当時はシニアトランスレーター(今のLS)に反論する余地もなく、納得いかない点があってもそれを受け入れるしかありませんでした。それに、Gengoでの翻訳の経験が少なかったことも低スコアの原因の一つかと思います。でも、以前の評価制度のもとでは低いスコアを取ったとしても、その後努力すれば、低いスコアも平均点には考慮されなくなりトータルの品質スコアが上がるという点が励みになっていました。

    残念ながら、新しくなった評価制度では過去の低いスコアがいつまでも足を引っ張り、一度ついた低いスコアは、どんなに古い数年前のデーターだったとしても消せないようです。

    同じように翻訳していても、何をだれにレビューされるかによって大きくスコアが異なる場合もあることが80回を超すレビュー経験などからわかるようになりました。つまり、レビューの基準やシステムそのものに一貫性(consistency)がないことがあるのです。他にもこのように感じている翻訳者がいることが、このフォーラムの議論をみるとわかります。

    語学力は上がったり下がったりするものなので、せめて過去1年ほどのデータをもとにconsistency scoreを算出するなどに変更できないのでしょうか。

  • 4
    Avatar
    yt5858

    ご返信ありがとうございます。あちらでこの話題について語るのは、スレッドの本題から逸れるのではないかと思い新しいスレッドをお立てしましたが、皆さまあちらでお話をお続けになるのでしょうか。

    "当時はシニアトランスレーター(今のLS)に反論する余地もなく、納得いかない点があってもそれを受け入れるしかありませんでした。"

    納得のいかない減点の多いGengoにおいて、これはあまりにも理不尽ですね。そして、当時の翻訳者の皆さまは、レビューに対する反論が可能になったあとにGengoに加入した翻訳者よりも不利な状況に置かれていらっしゃったのですから、Consistency Scoreは不公平でもありますね。この不公平を解消するためにも、tamura_w様のおっしゃるように、Consistency Scoreは過去1年ほどのデータから算出すべきだと思います。

    レビューの基準に一貫性がない、というご意見にも全く同意いたします。これについてはこれまでに何度もGengoに意見を送ってきましたが、一向に改善されません。再レビューをお願いするとほぼ毎回点数が変わるというのが、レビューの基準が一貫していないことの、そしてSLのミスが多いことの何よりの証明です。

  • 1
    Avatar
    saraa

    こんにちは。

    「最近のレビューの厳しさとレビューされる案件の長さについて」というスレッドの最近のコメントはレビュー内容に関するものになっているので、「Consistency Scoreの導入」に関して、こちらで私の考えを書き込みたいと思います。

    新しい評価方法に関して、思うところはいろいろありますが、私が抱いている感想のほとんどが「最近のレビューの厳しさとレビューされる案件の長さについて」というスレッドで他の方が言及されている点とほとんど同じなので、ここでは、これまで日本語のスレッドでは誰も言及していない点についてだけ書き込もうと思います。

    私が特に気になっているのは、コミュニティ内のスレッドにおけるTonyさんのご指摘です。

    https://support.gengo.com/hc/en-us/community/posts/360017912794--Consistency-Score-?page=2#community_comment_360002725813

    Gengoは翻訳者の新スコアをいずれは公開する予定のようですが、Tonyさんがご指摘のとおり、Gengoの翻訳者の多くが6点台や7点台のスコアだった場合、Gengoへの発注をご検討中のお客様は、どのようにお感じになるでしょうか。

     

    同じくコミュニティ内の別のスレッドでLaraさんが、「以前は7が要求される最低スコアでしたが、現在の最低スコアは6で、7から10のスコアは非常に良いスコアです」とお書きになった上で、「数字的には低く感じられるかもしれませんが、Gengoは7以上のスコアの翻訳者を、かなりすごい翻訳者だと考えています」と述べていらっしゃいます。

    https://support.gengo.com/hc/en-us/community/posts/360020797793-What-are-the-jobs-that-translators-with-QS-lower-than-8-cannot-access-anymore-

     

    数字への感じ方は文化によっても異なるかもしれません。ですが、日本においては「10点満点で7.0点」は、いい点数だとは感じられないのではないでしょうか。クラウド翻訳のサービスを使おうと考えたお客様は、7点前後の評価の翻訳者が多数を占めている翻訳会社をお選びになるでしょうか。

    Gengoが翻訳者を管理する上でConsistencyを重視したいと感じており、それをスコア化したいのであれば、(評価方法さえ適切であれば)それはそれでかまわないと思うのですが、それは外部に見せるべきスコアでしょうか。

    今回の評価方法の変更には問題点が多く、Gengoも修正を予定しているようですので、スコアを公開するのであれば、ぜひお客様からの視点を考慮した評価方法を検討していただきたいと思います。

    Edited by saraa
  • 0
    Avatar
    Lara Fernandez

    @saraa さん

    いつもお世話になっております。そして、フィードバックをありがとうございます。

    >Gengoは翻訳者の新スコアをいずれは公開する予定のようですが、Tonyさんがご指摘のとおり、Gengoの翻訳者の多くが6点台や7点台のスコアだった場合、Gengoへの発注をご検討中のお客様は、どのようにお感じになるでしょうか。

    上記のご指摘なのですが、Consistency Scoreのスレッドでも説明させて頂いてる通り、スコアをそのままTranslator Profile(つまり、お客様のお目にかかれるところ)で公開する予定はありません。いずれはアップデートはする予定なのですが、その際はConsistency Scoreそのままなのではなく、例えば「Top 80%」とか、別の形での表現を検討しております。(あくまでもの事例なので、ご了承ください)

    >数字への感じ方は文化によっても異なるかもしれません。ですが、日本においては「10点満点で7.0点」は、いい点数だとは感じられないのではないでしょうか。クラウド翻訳のサービスを使おうと考えたお客様は、7点前後の評価の翻訳者が多数を占めている翻訳会社をお選びになるでしょうか。

    お気持ちはよく分かります。ですが、今使われているスコアは単なるQuality averageなのではなく、Consistencyも用入れたものなので、単純に「この翻訳者のクオリティーが7」と理解してしまうのは間違いです。Consistency Scoreが7ということは、クオリティーを指すのではなく、「この翻訳者の、これから提出されるCollectionのクオリティーは、7点以上となる推測」、そのようなニュアンスを表しています。

    なお、Consistency Scoreのスレッドでもコメントをさせていただいた通り、今はみなさんのフィードバックを元にFormulaの変更を検討しておりますので、近いうちにまたアップデートさせて頂ければと思います。

    何卒よろしくお願いいたします。

    ララ

    (日本語で文章を書くのは、とても久しぶりなので、何かおかしなところがあればご容赦いただければと思います<m(__)m>)

    Edited by Lara Fernandez
  • 0
    Avatar
    kazuki

    ララさん

    いつもお世話になっております。日本語でのご説明ありがとうございます!

    これからもよろしくお願いします。

    saraa さん

    はじめまして、お世話になります。

    数字への感じ方は文化によっても異なるかもしれません。

    そうですね。お爺ちゃんに聞いた話ですと、ある地域では生徒に絶対に10点満点を与えないそうです。その理由は幾つかありますが、人生には10点満点というものが無いだからだそうです。

    これからもよろしくお願いします。

     

     

  • 2
    Avatar
    saraa

    ララさん

    スレッドに合わせて日本語でコメントをくださって、ありがとうございます。

    >ですが、今使われているスコアは単なるQuality averageなのではなく、Consistencyも用入れたものなので、単純に「この翻訳者のクオリティーが7」と理解してしまうのは間違いです。Consistency Scoreが7ということは、クオリティーを指すのではなく、「この翻訳者の、これから提出されるCollectionのクオリティーは、7点以上となる推測」、そのようなニュアンスを表しています。

    はい、そのことは私も理解しています。Gengoから提供されてきたこれまでの説明を精読した方は、全員理解していると思います。

    ですが、私が言いたかったのは、まさにこの点です。説明を読まないと点数の意味が理解できないような点数を、外部に公開しないように気をつけていただきたいということです。

     

    現在公開されている旧スコアに関しても、はたして公開する意味があるのかどうか、疑問に思っています。Gengoのスコアは、Gengoが作成した基準によって採点されたスコアです。もし今、他のクラウド翻訳会社が、その会社の基準で採点したスコアを公開して、その会社の登録メンバーの大半が9.5以上のスコアだったとしたら、どうでしょうか。現在Gengoは8.5以上のスコアを獲得している翻訳者を「Top Scorer」としていますが、メンバーの大半が9.5以上のスコアを獲得している会社の翻訳者に較べると、見劣りしませんか? 「それは採点基準が違うから」と言っても、どんな採点基準で評価しているのかは部外者にはわかりませんし、採点方式の違いを理解しようと努力する義務は、お客様にはありません。

     

    >例えば「Top 80%」とか、別の形での表現を検討しております。

    そうですね、そのような形であれば問題が生じる恐れは少ないと思います。

     

    いずれにしても、Gengoが様々な試みにチャレンジしてくださっていることには感謝しています。Gengoに関わっている私達は、立場は違ってもGengoという運命共同体のメンバーだと思っています。スコアの改変がうまくいくことを願っています。

    Edited by saraa
  • -1
    Avatar
    saraa

    kazukiさん

     

    はじめまして。

    10点満点をもらえない社会というのも、おもしろいですね。

    満点をもらえないのは厳しすぎるようにも感じますが、「完璧は存在しない」という事実を肝に銘じることによって完璧主義から脱することができれば、それはかえって優しいのかもしれないですね。

Please sign in to leave a comment.