多くの教師は AI 革命に満足していませんが、彼らを責めるのは難しいです。チャットGPTたとえば高校の小論文の場合、AI にプロンプトを入力すると、AI が数秒で結果を吐き出すことができることが証明されました。もちろん、そのエッセイは、エラーだらけ、でも、宿題は終わった。したがって、AI チェッカーが AI 不正行為に対する新たな防御線として自らを宣伝する場合、影響を受ける人が AI チェッカーを使い始めるのは理にかなっています。問題は、それらは完璧ではなく、その不完全さが人々を傷つけていることです。
AI 検出器の仕組み
現在人気のあるすべての AI プログラム (ChatGPT など) は大規模言語モデル (LLM) に基づいています。 LLM は以下のトレーニングを受けています巨大な大量のテキストを分析し、その知識を活用して返信します。簡単に言えば、AI が行っているのは、トレーニングで得た知識に基づいて、AI が最後に言った言葉の後にどの単語が続くかを予測することだけです。 「雪は冷たいが、火は熱い」が何を意味するのかは分かりませんが、「火は」の後に「熱い」が続くことが多いことは知っています。 （また、素晴らしい簡単な説明です。）
AI チェッカーも同様に動作します。AI チェッカーは、人間によって書かれたもの、ボットによって書かれたもの、およびその両方によって書かれたものなど、テキストのデータセットでトレーニングされます。 AI 検出器は、反復的な言語、単語の選択の確率、口調など、LLM によって生成されたテキストの明らかな兆候を探します。パターンを認識できるように AI をトレーニングしたいと考えるのと同じように、開発者も AI チェッカーがテキストがロボットによって書かれたものかどうかを認識できるようになることを望んでいます。
これらの開発者は、自社のチェッカーがこれを実行できると主張しています。でも、よくわかりません。実際、私は ChatGPT に、与えられたテキストが AI によって書かれたのか人間によって書かれたのかを認識できるかどうかを尋ねました。それはこう答えた。
AI 言語モデルとして、人間が書いたテキストと区別するのが難しいテキストを生成できます。ただし、テキストが AI によって生成されたのか、人間によって書かれたのかを明確に判断できるとは限りません。特に、テキストが適切に書かれ、編集されている場合はそうです。
異常または反復的なパターン、一貫性の欠如、異常な語彙の選択など、テキストが AI によって生成されたかどうかを示唆する指標がいくつかあります。ただし、これらの指標は常に存在するわけではなく、高度な AI テクノロジーで克服できます。
また、AI が生成したテキストの品質は常に向上しているため、将来的には人間のテキストと AI が生成したテキストを区別することがますます困難になる可能性があることにも注目してください。結局のところ、テキストが AI によって生成されたかどうかを判断する最善の方法は、その分野の訓練を受けた専門家に注意深く分析してもらうことです。
AI ボットのゴッドファーザーによる熱烈な支持というわけではありません。しかし、これらの検出器が実際にどのように機能しているかを見てみましょう。
AI 検出器が実際にどのように機能するか
ターニチン盗作チェッカーに恐怖を感じたのを覚えています。同社のソフトウェアは AI で生成されたコンテンツを 98% の信頼度で検出できるようになったと主張。本当なら高額なのは間違いない。BestColleges がソフトウェアをテストしました、人間が生成した文章、AI が生成した文章、ハイブリッド文章を区別することができました。しかし、この統計でさえ、教師が生徒 50 人に 1 人が AI ツールを使用して不正行為を行ったとして不当に非難することを意味します。
Turnitin に関するワシントン ポストの経験しかし、それよりもひどいです。学生たちは、人間が作成したテキスト、AI が作成したテキスト、およびハイブリッド テキストを侵害した 16 個の文章サンプルをポスト紙が作成するのに協力しました。最終的に、Turnitin はサンプルの半分以上が少なくとも部分的に不正確でした。正しく 6 つとラベル付けされましたが、ボールは他の 3 つに完全に落ちました。これが実際のクラスであれば、Turnitin は混乱以外の何物でもなかったでしょう。
バイラルになった最初の AI ジェネレーターの 1 つGPTゼロ、ほとんど実験を行わずに精度テストに合格しません。アイスクリームについての文章をニュートラルなトーンで書いてテストしてみました。 「あなたの文章はすべてAIによって書かれている可能性があります。」と言われました。
アイスクリームは、世界中の人々が楽しんでいる人気の冷凍デザートです。主に夏などの暖かいまたは暑い季節に食べられますが、一年中楽しまれています。アイスクリームにはさまざまなフレーバーがあり、キャンディー、ナッツ、フルーツ、シロップなどのトッピングと組み合わせることがよくあります。
しかし、私の曖昧な段落はほんの始まりにすぎません。紛らわしい名前の別の検出器ゼロGPTが倒れたとき、ひっくり返りました。Redditorは米国憲法を分析することを決定した。 ZeroGPT によると、憲法の 92.26% は AI によって書かれました。フィラデルフィア条約がこの国の法律を制定する際に人工知能にこれほど依存しているとは誰が想像していましたか。 (いずれにせよ、これでいくつかの修正点が説明できると思います。)
このツイートは現在利用できません。読み込み中か削除された可能性があります。
ただし、検出器を騙す 1 つの方法は、AI が生成したテキストに AI を再度通過させることです。クイルボットたとえば、テキストを書き換える機能は、チェッカーを回避するために学生によってすでに使用されています。 AI 検出器が、特定のテキストが AI によって書かれたかどうかを判断するためにそのテキストの「平均性」を探している場合、別の AI にテキストに多様性を加えさせると、そのシステムに大きな問題が生じることになります。 QuillBot は、学校で AI 検出器について議論する TikToks のコメントに頻繁に現れます。子供たち意思方法を見つけてください。
AI 検出器が罪のない学生を傷つけている
これまでのところ、これらの例はすべて理論上のものです。しかし、これらのチェッカーはプロトタイプではありません。彼らはここにいて、本物の学生に対して利用されています。これらの検出器は、ChatGPT などのツールを使用して不正行為を行った多くの学生を摘発したと確信していますが、また、無実の学生が同じことをしたとして不当に非難しており、被害が生じています。
このツイートは現在利用できません。読み込み中か削除された可能性があります。
講師が間違いを認め、非難を撤回したため、このツイートは「良い」解決策となった。しかし、別の状況では、教師が AI チェッカーを福音として扱い、「AI が生成した」結果ごとに議論をシャットダウンしています。
このツイートは現在利用できません。読み込み中か削除された可能性があります。
私たちが新たな世界に直面していることは否定しません。大規模な言語モデルは、学生がエッセイのプロンプトを入力すると、完全に書かれたエッセイを（さまざまなレベルの品質で）受け取ることができることを意味します。しかしおそらく、学生たちがこれほど簡単にシステムをだますことができるという事実は、無実の学生を有罪の学生と同じように簡単に罰する絆創膏的な解決策ではなく、システムを変える必要があることを示しているのかもしれない。
Turnitin は、人間が作成したテキストに AI が書いたものとしてラベルを付ける瞬間を「誤検知」かわいい。しかし同社は、「不正行為の有無を判断するものではない」と強調している。むしろ、彼らは提供しますデータ、最終的な呼び出しは教育者に任せます。この免責事項は多くの人にとって忘れられているようです。彼らの目には、AI チェッカーがあなたを詐欺師だと言うなら、あなたは詐欺師なのです。
