ChatGPTが大ブレークしてからGoogleの動向が注目されていました。
Googleはチャット型のAI「Bard」の開発を進めており、2023年3月に米英で一般公開されていました。
その他の国では「wait list」に登録して利用できるようになるのを待つばかりでしたが、この度（2023年4月18日）日本からも利用が可能になったという流れです。
Bardの前評判はあまり芳しくなかったのですが、実際にその実力値を検証してみました。
Bardの利用方法と制約
Bardを使うにはwait listへの登録が必要です。
wait listの登録手順はGoogleの公式が案内してくれていますが、
- bard.google.comにアクセス
- wait listに登録
- 登録後、一定時間で利用できるようになる
という流れです。
僕は以前にwait listに登録済みだったので、1,2のステップを踏まずにすぐに利用開始できました。
現時点では英語のみ対応しているようなので、試す場合は英語を使う必要があります。
これがBardの画面です。
ChatGPTと同じく、メッセンジャーアプリのようなレイアウトになっており、下部の入力欄からプロンプトを入力して回答を得る流れで利用できます。
BardとChatGPTを比較
なるべく公平な比較ができればと思いますが、日本語が使えないという時点でBardはすでにChatGPTに遅れをとっています（少なくとも日本ユーザー目線では）。
この点は前提条件として、ここからの比較は全て英語で行いたいと思います。
リアルタイムな情報の扱い
Googleが提供していることもあり、Bardに期待したいのはリアルタイムな情報を利用した応答です。
ChatGPTはリアルタイムな情報を（プラグインなしでは）利用できないことは自明なのですが、両モデルに同じプロンプトを渡してみます。
プロンプト
What is the weather today in Tokyo?
（東京の今日の天気は？）
結果は下記のようになりました。
リアルタイム情報がBardの強みだったのでここは気持ちよくBardの勝ちにしたかったのですがそうはいきませんでしたね。
日本とアメリカでは一般的に利用する気温の単位が違うので（摂氏と華氏）出力結果がごちゃごちゃになってしまい、最高気温は摂氏で表したのに最低気温は華氏で表してしまったようです。
ちなみに華氏56度は摂氏13.9度なのでどちらも摂氏で表していればこのケースに関しては正しい結果になっていました。
出力の表現方法
ChatGPTで僕が気に入っているのはいろんな情報を表にまとめてくれる点です。
表にまとめると情報が一気に見やすくなるので、この機能はBardにもあって欲しいところ。
そこでBardにはテキスト以外にどんな出力が可能なのかを試してみました。
プロンプト
Summarize the average temperature in Tokyo by month in a table
（東京の月毎の平均気温を表にまとめて）
結果は下記のようにBardもChatGPTも表による表現が可能でした。
続いて、このデータを用いたグラフを作ってもらおうと思います。
ChatGPTが単体ではグラフを作れないことは既知の事実です。
プロンプト
Make a line chart of the data in that table.
（その表のデータを折れ線グラフにして）
結果は下記の通りになりました。
ChatGPTがGoogle Spread Sheetでの実現方法を案内した反面、Bardは、さもグラフが表示できているようなそぶりをしています。
テキストだけではなく画像を表示する構想はあるようですが、今の所ハリボテ状態、ということのようです。
プログラミングのスキル
追記：2023年4月22日
2023年4月21日にGoogleから「Bardがコーディングを支援するようになった」という発表がありました。
主な機能は下記の通りのため、下記の記事内容よりパワーアップしていると見られます。
1. コードの生成
2. コードの説明
3. デバッグ支援
続いてプログラミングのスキルを比べてみます。
ChatGPTのプログラミングのスキルはこれまでも検証してきたので下記の記事をご参照いただければと思いますが、
ChatGPTのプログラミングスキルを一言で言うと
きれいに書いてくれるし役に立つけど、手直しは必要
という感じです。
では、BardとChatGPTの両者に下記のプロンプトを投げてみます。
プロンプト
Create a web site which allows user to convert from Fahrenheit to Celsius
（華氏から摂氏に変換できるWebサイトを作って）
若干ハイコンテキストなプロンプトですが、想定しているのはHTMLやJavaScriptなど、一連のプログラムを出力してくれる結果です。
少し長くなるのでそれぞれ個別に回答を見ていきます。
ChatGPT
まずはChatGPTのアウトプットを見てみます。
コードだけではなく、そのコードをどうすれば利用できるのかまで教えてくれています。
コードはHTMLとJavaScriptで構成されているため、ブラウザだけで試すことができそうです。
では、実際に動くのかを試してみます。
下記はChatGPTが吐き出してくれたコードを、動かせる完了に設置したものです。
Fahrenheit to Celsius Converter
テキストボックスに数字を入れてConvertを押すと華氏を摂氏に変換することができました。
Bard
続いてBardの回答を見てみましょう。
BardはPHPとHTML、JavaScriptを組み合わせる方法を返してくれました。
華氏を摂氏に変換したい
という要望でしたが、どうやら摂氏から華氏への変換も行える仕組みを提案してくれているようです。
ただ、この程度の処理でわざわざPHPを利用するのは開発者目線で言うとTOO MUCHな印象です。
そこで、ChatGPTが提案してくれたようにHTMLとJavaScriptだけで作ってみて、とお願いしてみようと思います。
プロンプト
write a HTML code which allows users to convert from Fahrenheit to Celsius?
（華氏を摂氏に変換するHTMLのコードを書いて）
結果は下記です。
1つ面白いなと思った点は、先ほどのアウトプットとは違い、参考にしたコードが載っているURLを列挙してくれたところです。
では実際に動かしてみます。
Temperature Converter
見た目はそれっぽいのですがうまく動きませんね。
詳細については触れませんが、華氏を摂氏に変換する部分は問題なさそうですが、それを呼び出す機構がうまくなかったようです。
直したものを下に置きます。
Temperature Converter
よって、プログラミングに関しては、今回の例においてはBardは惨敗という結果です。
レスポンスのスピード
Bardを利用していた感じたのがChatGPTとの出力方法の違いです。
下はBardとChatGPTにプログラムを書いてもらった時の出力の比較です。
ChatGPTが１文字ずつ出力するのに対して、Bardは一気に出力してきます。
これだけ見るとBardの方が早い！と見えるのですが、これが性能による違いなのか単なる仕様なのかは議論の余地があります。
つまり、
ChatGPTもBardと同じように一気に表示する性能はあるが、敢えて1文字ずつ表示しているだけ
ということがあるかもしれない、ということです。
結論としては
ChatGPTは敢えてゆっくり表示している
というのが答えだと考えています。
根拠は単純で、ChatGPT APIは回答をまとめて返してくれるからです。
上記と同じプロンプトをChatGPT APIで試してみました。
動画では「送信」を押した後、8秒くらいで回答をまとめて返してくれています。
なぜChatGPTのデモサイトでは敢えてゆっくり表示させているのかは想像の域を超えませんが、おそらく、
- 短時間に連続してプロンプトを投稿できないようにするための工夫
- 会話っぽくするための演出
あたりが敢えてゆっくり表示する目的だと思います。
まとめ
Bardの前評判はあまり良くなかったですが、まだまだ発展途上という印象です。
ただ、この時点でベータ版として公開してフィードバックを集めることで、どこを重点的にチューニングすべきかが見えてくると思うのでとりあえず出したのは英断だと思います。
BardはGoogleが社運をかけたプロダクトになるはずなので今後の発展に期待します。