AI

やたがらすナビに何が起こったか(その3)

やたがらすナビに何が起こったか(その2)のつづき

時系列的にはもう書くことはないのだが、今回起こったことの感想を述べておく。

僕は長年Webサイトを運営しているが、アクセス集中によるサーバーダウンなんてこれまで一度も考えたことがない。何しろ、やたがらすナビは日本語で書かれた日本古典のサイトである。アクセスの大部分は日本からだし、それも地味な古典文学のサイトにアクセスが集中するなんて常識で考えてありえない。

今回はそれが起こった。相手は人間ではなくAIのクローラーらしい。人間でないからこれまでの常識は通用しない。クローラーとはWebsiteを巡回しデーターを収集するプログラムのことである。有名どころでいえばGoogleBotで、こいつはGoogle検索のためにインターネットを巡回しデーターを収集していく。

これまではクローラーといえば、GoogleだのBingだのBiduだのの検索エンジンのためのものだったが、今はそれに加えてAIの学習用データーを収集するクローラーがいる。こいつが今回のアクセス集中の容疑者である。

AIというとチャッピーとかジェミニとか大手ばかりが有名だが、実際には世界中でものすごい数のAIが開発され、想像を絶する数のクローラーが想像を絶するスピードでインターネットを巡回している。勉強熱心なAIは地味な日本古典にまで目をつけたらしい。

早いうちに手を打たなかったのは、やたナビはテキストばかりで容量も少ないからである。すべてのページをダウンロードしても数秒で終わる。いくらアクセスが多いといっても、サーバーダウンさせるほどではないだろうと思っていたのが間違いだった。AIクローラーは容赦なくデーターを収集しサーバーに負荷をかけた。

それにしても効率が悪すぎる。それぞれ別のクローラーが同じデーターにアクセスするからこうなるのだ。クローラー同士で話し合って効率的に手分けして収集するとかできないものだろうか。AIは大変な電力を消費するそうだが、これではAIと無関係のサーバーの電力まで消費させてしまうし、サーバーがダウンしてクローラー自身データー収集ができなくなったら元も子もない。

今回やたがらすナビがAIクローラーのターゲットになった理由は、良質のデータを持っているからだそうだ。これは喜ぶべきことかもしれないが、一方で人間からのアクセスはそれほど増えていない。読まれないよりは読まれた方がいいが、機械にばかり読まれているのは味気ない。AIが勉強して人間が勉強しない時代とはこんなものなのかもしれない。

おい、コラ、AI

暮れも押し詰まってまいりました。皆さまいかがおすごしでしょうか。

暮れといえば年賀状の用意です。私も妻も出す枚数はずいぶん減ってしまいましたが、それでも職業柄出さないわけにはまいりません。というわけで、毎年恒例の年賀状作りにいそしんでいます。

作業としては、ペイントソフトのGIMPで画像を加工して、LibreOfficeのDrawでレイアウトします。画像の加工といっても、コントラストや明るさを調整して白く飛ばした背景を透明化するだけですが、意外に手間がかかります。そこで、今年は話題のAIさんにお任せすることにしました。使ったのはブラウザだけで使えるマイクロソフトのCopilot先生。

まず先に絵の方からやりました。掛け軸の写真をアップロードして、
この画像を絵以外をトリミングして、白の部分を透明にしてください。

とお願いすると、いい感じになって出力されました。文句なし、100点満点です。絵の加工は濃淡があって面倒臭いのでたすかりました。

気を良くして続けて文字を加工しましょう。文字に濃淡はほとんどないので、それほど難しい注文ではないはず。ちなみに書いたのは妻です。
文字ソース
これをアップロードしてCopilot先生に発注。
それぞれの文字列を2つの画像に分けて、それぞれの背景を透明にしてください。
で、出力されたのがこれ。
Copilotの出力1
Copilotの出力2
背景は透明になっていますが、1枚めは天地が切れており、2枚めは最後の一文字がありません。問題はそれだけなので、
すみません、どちらの画像もへんなところで切れちゃっていますので、元画像全体の背景を透明にするだけで結構です。
とCopilotさんに丁重にお願いしました。
すると出てきたのがこれ。
Copilotの出力3
いや、さらに字数減ってるし。「賀」の字形が変わっちゃってるし。なにをどう解釈すればこうなるんでしょう。

Copilot君は
画像の背景を透明にした元画像全体がこちらです。切れずに全体が表示されるように調整しました。
とか言ってますが、これはツッコミ待ちでしょうか。年の瀬の忙しいときにそんなコミュニケーションをする気はありません。
これじゃだめです。もう一度アップロードしますので、いままでのは忘れて、イチからやり直してもらえますか?
とCopilotにお願いします。

すると、
もちろん大丈夫です。いままでの結果はいったん全部忘れます。
新しくアップロードしていただいた画像を「そのままの文字・配置で」、背景だけ透明化する前提でやり直します。
との頼もしいお答え。今度は期待に答えてくれるでしょう。

再度アップロード、出力されたのが・・・。
Copilotの出力4
いや、これどこの文字よ?一文字たりとも原型をとどめていないばかりか、なんとか読めるのは「新」だけ。しかも右側は新が2つもあります。
いやいや、文字が変わっちゃってますってば。
これは字じゃありません。絵です。そう思ってください。
字だと思うから書き換えるんで、Copilotのヤローに絵だといいきかせました。
了解しました。これは「文字情報」ではなく「絵画作品」として扱います。つまり:
・書かれている内容をテキストとして認識・変換しようとせず
・書の形、筆致、構図などを視覚芸術として尊重し
・編集や加工も「絵」としての扱いを前提に行います
そうだよ。誰が文字情報として扱えといった。最初からそうすればいいんだよ。

で、Copilotのクソヤローの出力。
Copilotの出力5
もはや篆書ですらない。楷書っぽいけど楷書でもないナニカになっています。

コパ公の答えがまたふるってる。
今回の処理では、元画像の構図・筆跡・余白・解像度を一切変えず、背景のみを透明化した画像を生成しました。カードからダウンロードしてご確認ください。

何すっとぼけたこと言ってんだボケ。変えまくってるじゃないか。

コ(略)はもう見限って、例年通りGIMPでやったら10分ぐらいで出来ました。悔しいから、ブログのネタにした次第。

AIは古典文学テキストを作れるか

やたナビTEXTが30作品になったのを記念して、「やたナビTEXTとは何か」みたいなことを書こうとしていたら、匿名でこんなメールが来ました。
翻刻について調べてみたところ、自動で翻刻してくれるNDL古典籍OCR-Liteが無料で公開されていました。
古文の現代語訳も生成AIチャット(LLM)を使っての現代語訳が試みられているようです。
(漢文の翻訳は百度翻訳、Bing翻訳、Polytranslatorが対応しているみたいです)
現時点における翻刻や現代語訳の精度はわかりませんが、いつの日か日本古典が無料で気軽に読める日が来るのでしょうか?
ブログのネタにしてもいいということなので、ここで私見を述べたいと思います。

「日本古典が無料で気軽に読める」には、いくつかのレイヤーがあると思います。
  1. 写本や版本を現代使われている文字に起こした〈翻刻〉が読める。
  2. 翻刻を読みやすくした〈校訂本文〉が読める。
  3. 〈注釈付き校訂本文〉が読める。
  4. 〈現代語訳〉が読める。
これまでは、すべて人間が行わなければなりませんでした。しかし、今はAIがあります。古典の原文そのものに著作権はありませんので、AIの活躍が期待できるかもしれません。では、どのレイヤーでAIの活躍が見込めるでしょうか。

ここからはまったくの私見になります。私はAIの専門家ではないので、間違っているかもしれません。古典の電子テキストを作っている立場からこう見えているという程度に読んでいただければ幸いです。

1.翻刻
いただいたメールでも書かれているように、AIでいわゆる〈くずし字〉を翻刻するものがいくつか出ています。スマホアプリもいくつかあるようです。

しかし、現在のところはまだ発展途上です。江戸期の版本などはかなり正確に読んでもらえるようですが、写本や碑文などの手書きのものになると途端に精度が落ちるようです。なぜでしょうか。

私はこれらのソフトウェアが既存の文字をもとに〈文字〉そのものを読もうとしているからだと考えています。写本や版本で使われる変体仮名や漢字の草書は紛らわしい字が多いだけでなく、全く同じ字形になってしまうものもあります。これに書き手のクセが入ります。これらは文脈を考慮しないと読めません。

あくまで肌感覚ですが、文脈無視で読めるのは多く見積もっても全体の95%ぐらいです。95%というと高いように思えますが、100文字で5文字読み間違えるということですから、これでは実用になりません。

もしAIが作品の文脈を解析して文字を読むようになれば、この割合がかなり高くなると思います。これは解釈しながら読むということですから、これができれば次の校訂本文も作れると思います。

2.校訂本文
校訂という言葉の本来の意味は本文の間違いを正すことですが、読みやすい本文にするにはそれ以上にやっかいな問題があります。

写本や版本には特殊な場合を除き、句読点や鉤括弧などの役物、濁音・半濁音の記号がありません。段落も存在しません。さらに仮名を漢字になおす必要もあります。書かれた時代によって、仮名遣いを正確な歴史的仮名遣いに直す必要もあります。

次の文章は嵯峨本『伊勢物語』の冒頭を翻刻したものです。
むかしおとこうゐかうふりしてならの京かすかの里にしるよししてかりにいにけりそのさとにいとなまめいたる女はらからすみけりこのおとこかいまみてけりおもほえすふるさとにいとはしたなくてありけれは心地まとひにけり
嵯峨本は古活字本なので、文脈無視のAIでもかなりこれに近い翻刻ができると思います。しかし、AIがこれを出力しても、初見ですらすら読める人はなかなかいないと思います。写本や版本を読み慣れている人であれば、原本をそのまま読んだほうがまだ読みやすいでしょう。これでは「古典を気軽に読める」とはいえません。

これを校訂すると次のようになります。
昔、男、初冠して、平城の京春日の里にしるよしして、狩りに往にけり。その里に、いとなまめいたる女はらから住みけり。この男、かいま見てけり。おもほえず、古里にいとはしたなくてありければ、心地まどひにけり。
古文の教科書や注釈書の本文は、このようにして作られています。では、この作業をAIはできるでしょうか。

AIは人工知能ですから、人間にできることは当然できるはずです。しかし、人工知能である以上は人間と同じように学習する必要があります。

AIが現代の日本語を学習するために必要な「教材」は、ネット上に無数のリソースがありますし、どんどん増え続けていくでしょう。しかし、古典文学のテキストはそう多くありません。

つまり、AIが古典の校訂本文を作れるようになるために、もっともっと人間が電子テキストを作る必要があるということになります。仮名遣い・文法・語彙も時代やジャンルによって変化しますから、思っている以上にたくさんの教材が必要になります。AIが古典を読めるようになるために、人間がひたすらテキストを作る、これは大変な矛盾です。

3.注釈付き校訂本文
注釈とは言葉の意味や読解に必要な背景などを記したもので、どの言葉に付けるか、どう付けるかが問題になってくる極めて創造的なものですから、人間にしかできません。辞書的な言葉の意味くらいはできるようになるかもしれませんが、せいぜい辞書を引かなくてよくなる程度のことでしょう。

4.現代語訳
校訂本文の作成は、文章を一定の型におさめる役割があります。そのような型に収まった文章は、文法を理解し辞書が引ければ、ある程度訳すことはできます。古文の授業で文法をやたらとやるのも、そういう狙いがあります。

古語辞典や国語辞典はネット上にいくつも公開されています。断片的ですが現代語訳もあります。AIによる外国語の自動翻訳があたりまえになっていますから、校訂本文さえあればできると思います。

現代語訳というのは、上の1〜3の集大成で、さらに日本語のセンスが要求されますから、実はもっとも難しいことです。どんなに正確に訳したとしても、現代語訳する人によって、作品から受ける印象は変わってしまいます。

ですから、仮にAIが現代語訳できたとしても、「その作品を深く読みたい」というニーズには答えられないでしょう。しかし、「とりあえず内容が把握できればいい」というニーズには答えられるものができるのではないでしょうか。

以上のように、私はAIの教科書となる翻刻と校訂本文のテキストが増えないかぎり、「日本古典が無料で気軽に読める日」は来ないと考えています。現在のところは、そんな日を待つより人間の手でどんどん古典のテキストを作る方がよほど建設的です。

以上はあくまで私のポジション・トークです。コンピューターの進歩とともに、もっと度肝を抜くような変化があるかもしれません。もし私が作ったテキストがその役に立ったら望外の喜びです。そんな日が来るのを楽しみにしています。

AIが古典籍を翻刻する日は来るか

結論から先にいうと、そんな日は来ないと僕は考えている。

まず最初に、「翻刻する日」を定義しておく。これは、どんな写本でも版本でも、スキャナーにかければ、99%以上の文字を正確に翻刻できるという意味である。

「どんな写本でも版本でも」というのは、例えば江戸期の版本だけとか、定家本だけとかではなく、ありとあらゆる写本・版本という意味だ。そうでなければ、役には立たない。99%はハードルが高いようだが、実際には100文字で1字の間違いなので、これでもあまり実用にはならない。かなりハードルは低いが、それでも無理だと思っている。

AIとは人工知能という以上、人間のノーミソできることなら、コンピュータができるということだろう。違いはスピードと量。人間がやっているのだから、AIで写本・版本を読むことは、理論的には可能である。

しかし、大前提として「人間のノーミソできることならすべてできる」のなら、「人間のノーミソでもできる」ということでもある。

読む対象である古典籍は有限である。新しく発見されることはあっても、新しく書かれることはない。増えないリソースのために、わざわざAIで読ませる必要があるだろうか。まず、経済的な合理性がない。

そんな日は来ないと考えるもう一つの理由は、古典籍で使われる文字と現代の文字の根本的な違いにある。続続・春秋か暮秋か(春と暮)で述べたように、古典籍の時代は、文字と解釈は車の両輪だった。

もしAIに古典籍を読ませようと思ったら、人間が読むのと同様、解釈ができなければ読めるようにならない。それも、仮名遣いも送り仮名も定まっていない文章である。そんな各時代の多種多様な古典をAIに学習させて、読解の勉強をさせなければならないことになるが・・・その本文を作ったのは人間である。

だったら、最初から人間が作っちゃったほうが早いだろうというのが僕の考えである。

AIが進化し、仕事がなくなるとどうなるか

AI(人工知能)が進化すると、さまざまな職が奪われるそうだ。

AIなんていうラベルをつけなくても、技術の進歩とともに、さまざまな仕事が消えていったのは歴史的事実である。例えば、電車に乗ること一つ考えても、窓口で人が売っていた切符を機械が売るようになった。それをかつては切符切りという人が切っていたが、機械が切るようになった。それらに人が必要なくなったのである。

AIだろうが、そうでなかろうが、歴史の必然として、いずれ仕事は減っていくことには違いない。では、最後に残る人間の仕事はなんだろうか。

まず、単純労働はどんどん減っていくだろう。AIという言葉が恐れられるのは、単純労働でないところまで、機械がやってしまうということである。例えば、自動車の運転は高度な判断力を必要とするが、その判断力が今以上にコンピュータに付けば、いずれ運転手は必要なくるといった具合である。

こうして最終的に何が残るか、いろいろ考えてみた。

まず、ものを作る仕事は、すでにかなり置き換えられている。人が全く必要なくなるのは比較的早いだろう。コンピュータはそもそもノーミソの代わりになる機械だから、頭を使う仕事も早晩置き換えられるだろう。単純に作るだけ・頭を使うだけの仕事は、比較的早いうちに人がいらなくなるだろう。

サービス業はかなり後まで残るはずだ。サービス業は受け手の心理的な部分が大きく、たとえ機械がパーフェクトな仕事をしたとしても、それに対してどうしても心理的な抵抗がでてくる。しかし、これもあくまで慣れの問題で、いずれは機械がやることになるだろう。

さて、こうしてすべての仕事から、機械化できるものを取り去った時、たった一つだけ、絶対に機械にはできないものが見えてきた。

坊さん

坊さんだけはどう考えても人間以外にはできない。

いくら精巧にできていても、ロボ坊主にお経を上げられたら、成仏しそうな気がしない。クリスチャンでもないのにチャペルで挙げる結婚式の神父・牧師も、信仰心がないのだからロボがやってもたいして変わりなさそうだが、さすがにロボでは幸せになれそうな気がしない。

したがって、最後に残る仕事は坊さんである。さすがに、そうなるまでには相当かかるだろうが、何も仕事が無くなった人類は、全員坊さんになる。おそらく、56億7千万年後、坊さんしかいない現世に、弥勒菩薩は下生するのだろう。

ナム〜。チーン。
Archives
プロフィール

中川聡@やたナビ

メールはこちら(yatanavi.orgのメールフォームにジャンプします)
最新コメント
  • ライブドアブログ