１.「弁護士によるAI活用企業訪問記」とは
当事務所では、現場でのAI活用の課題を掴まえるために、AIを開発・活用している企業を訪問し、各企業においてAIを具体的にどのように活用しているのかや、開発や利用に際しての課題や苦労について、具体的にお聞きする機会を積極的に作っています。
訪問先は他社からご紹介頂ける場合もありますし、雑誌やメディアで拝見した面白そうな企業にダメ元で取材申込をする場合もあります。
後者の場合、変な弁護士と思って頂けるのか結構取材に応じて頂けることがあり、思ってもみなかった大企業の方から色々お聞きできることもあります。
お聞きした内容は非常に興味深いものも多いため、（一部外に出せないものは除外した上で）訪問・取材内容を記事として順次ブログに掲載していくことにしました。
それがこの「弁護士によるAI活用企業訪問記」です。
記念すべき第１回は、料理レシピサービスでは知らない者はいないクックパッド社です。

http://expres.umin.jp/mric/mric218-1.pdf

同社とは、柿沼が恵比寿の本社にお伺いして勝手にキッチンで料理を作るなどの良好な関係を保っており（http://storialaw.jp/blog/2183）、今回取材申込をさせて頂いたところ、快く応じて頂けました。
ただし、せっかくクックパッド社に行くのにインタビューだけで終わらせてはもったいない。
「料理ができる状況が来れば積極的にバットを振る」が私のモットーです。
そこで、研究開発部の方にインタビューした後に、私の方でその場で料理をし、その料理と料理でないものをクックパッドの機械学習モデル（AI）が正確に認識できるかという「クックパッドAI VS 料理好き弁護士」企画も提案してみたところ、これも快く応じて頂けました。

２.取材に先立って
後で詳しく紹介しますが、クックパッド社は機械学習（AI）を利用して料理と非料理を判別するサービスを提供しています。
そこで、熟考の末、以下のメニューを作ることにし（レシピは一部クックパッドの人気レシピを使っています ）必要な材料を当日持参しました。
（１）ポテサラとちらし寿司
いずれもカラフルであまり料理っぽくないので。

http://expres.umin.jp/mric/mric218-2.pdf

ちらし寿司の方はこちら。

http://expres.umin.jp/mric/mric218-3.pdf

ポテサラと見た目を似せるために、上の具は変えさせて頂きましたが（済みません）ご飯と混ぜる具はこのレシピのとおり作りました。乾物を使うので少し手間がかかりますが、その分深い味わいでした。

（２）牛肉ステーキと油揚げステーキと鯖みりん干し

http://expres.umin.jp/mric/mric218-4.pdf

外見が似た３種類を用意してみました。特に油揚げはアップで撮ったら、古毛布とあまり変わらないので、おそらくAIも間違えるはず。
（３）チヂミとフリッタータ

http://expres.umin.jp/mric/mric218-5.pdf

これも両方とも丸いお皿と間違えそう。

（４）　きゅうりとトマトのナムル風と・・・・・（秘密）

「きゅうりとトマトのナムル風」と、料理ではないけども、料理に外見がかなり似ているものを用意しました。これをクリアできたら凄いです。

http://expres.umin.jp/mric/mric218-6.pdf

３　取材当日
取材当日は朝５時に起きて新幹線に乗り一路、恵比寿のクックパッド社へ。
撮影と料理補助のために当事務所のスタッフ１名が付き添ってくれました。
取材にご対応頂いたのは研究開発部部長の原島純（はらしま・じゅん）さんと同部の染谷悠一郎（そめや・ゆういちろう）さんのお二方です。

http://expres.umin.jp/mric/mric218-7.pdf

私の正面が染谷さんで奥が原島さん

■　クックパッド社におけるAIの活用について
○ 柿沼（以下「柿」）：　クックパッドとAIの組み合わせというと、特にクックパッドのユーザー層の方からすると、割と意外なところもあるんじゃないかなと思います。実際、今のクックパッド社でAIを利用した技術が実用化されているのはどういう部分でしょうか。
○　染谷（以下「染」）：まず、１つ実際に提供しているのが、クックパッドのスマホ用アプリケーション機能の一つである「料理きろく」ですね。AIという言葉の使い方はいろいろだと思いますけど、この「料理きろく」では、ユーザーのスマホ内に保存されている写真が料理写真かどうかを自動で判別して料理写真だけがカレンダー表示などされるという機能です。

○ 柿　撮影さえすれば、自動的にそこに表示されるということですね。
○ 染　そうです。ニューラルネット技術を使ったエンジンがその裏で動いてるというところで。
○ 柿　アプリ内にエンジンが入ってるんですか。
○ 染　いいえ、うちのサーバーにエンジンが置いてあって、アプリケーションはユーザーのスマホ内の写真をサーバーに送って結果だけをもう一度返すという仕組みです。
○ 柿　いつぐらいにリリースされた機能ですか。
○ 染　最初のリリースは、2016年12月からです。
○ 柿　リリース後、途中でサーバー上のモデルの追加学習・更新は行っているのでしょうか。
○ 染　それはやっています。ただ、たとえばニュースの分類モデルなんかだと、モデルを毎日更新したりするのですが、うちの今のアプリケーションではそれほど高頻度に更新はしていませんね。世の中の料理の見た目ってそうそう変わらないので。
○ 柿　なるほど。ユーザーからのフィードバックがある程度溜まれば更新するというイメージでしょうか。
○ 染　そうですね。最近そういう意見が多いので、ちょっと改善できるなら改善しようかというプロジェクトが上がって、更新して、という感じですね。これまで２回更新していて現在は３つ目のモデルが動いている状態です。

■　AIの利用場面について

http://expres.umin.jp/mric/mric218-8.pdf

○ 柿　いろいろなアプリなどを開発する場合、普通のルールベースで処理するのか、機械学習とかニューラルネットワークを使うかという振り分けをしますよね。その振り分けは、会社内部でどのような議論を経て決まるものなのでしょうか。
○ 染　つまり、例えばアプリケーションに入れるときに、それを機械学習でするかどうかですよね。
○ 柿　そうですね、例えばさっきの「料理きろく」というアプリを開発する流れですね。例えば研究開発部から「これ、機械学習でできるよ」という話だったのか、あるいは上から指示があって、機械学習でできないか、みたいな指示が研究開発部にあったかということです。
○ 染　理想的なストーリーとしては、まずサービス開発部から、こういうことをAIで実現したいという要望が研究開発部に対して出てくるというのがあります。
○ 柿　はい。
○ 染　その要望に対して、研究開発部が持っている現状の最新技術であるとか、あるいは開発中の技術で実現できそうですね、ということで開発に着手するというのが理想的です。今回の「料理きろく」についても、結構その形に近いものでしたね。
○ 柿　なるほど。
○ 染　もう少し付け加えると、サービス開発部がそういう要望を研究開発部に出してきた背景には、弊社のマクロの経営方針として、サービスに機械学習を使っていこうという話があるんです。なのでサービスに機械学習を使うという大きな方向性があった上で、サービス開発部からの要望があったということですね。

■　どうやって正確に料理・非料理を判別できるようにしたのか

http://expres.umin.jp/mric/mric218-9.pdf

○ 柿　今回、モデルの生成に際して大量の料理の写真はもちろん使いましたよね。
○ 染　はい。
○ 柿　あとは「料理っぽいけど、料理じゃない写真」も使って学習させるんですか。
○ 染　そうですね。
○ 柿　あんまり秘密なことは言わなくていいですけど。
○ 染　今、ちょっと言葉を選んでいます（笑）。やはり特定のカテゴリーについて、「料理じゃないけど料理っぽい」というものは多少あるんですよね。
○ 柿　なるほど。
○ 染　例えば植木ですとか。あれ、植物の集まりなので。
○ 柿　サラダみたいな。
○ 染　そう、サラダみたいに見えるんだろうなということは予測できるんですけど、実際はどうかわからないですが。あとは、動物が写真の真ん中にちょこんと写ってるような写真は、実は質感とか色とかが料理に何となく似てしまうことはあるんですよね。そういうのを見つけて、そういうカテゴリーが危ないよねという当たりをつけた上で、そういう写真は違うと、さらにチューニングを工夫してみて。そういったカテゴリーについては強くなったよねって実証していきます。
あと、こういう「料理っぽいけど料理じゃないものを除外できるか」という指標が１つと、もう１つ「誤って判定されたときのインパクトの大きさ」という指標があります。
○ 柿　どういう意味ですか。
○ 染　例えば、開発者がモデルの精度を計測するときって、計測用の１万枚のテストを流してみて、何％正解するかということをやるんですけど、ユーザーにとって間違って判定されると嫌なものについては重み付けを変える必要があります。
○ 柿　ああ、なるほど。単純な正解率は98％だけど、あとの２％で物すごいものが出ちゃったらまずいという話ですよね。誤認識があったときの不快なインパクトということですね。
○ 染　そう。同じ98％でもこっちのほうがいいということは絶対あるんですよね。だからその辺は難しいですね。
○ 柿　なるほど。たとえばペットが食べ物と判定されたらユーザーにとってとても嫌なんでしょうね。

・・・・・・この後も非常に興味深いインタビューが続きます。

「■　その他のAI活用場面」「■　クックパッドにおけるAI開発体制について」「■　採用活動について」「■　技術的なキャッチアップについて」「■　料理とAI」「■　開発環境」「■　データ収集とモデル生成について」などですが、少し長いので、別記事（http://storialaw.jp/blog/3174）としました。
ご興味がある方は是非そちらのノーカット版をお読み下さい。

■　いよいよ挑戦
インタビューも無事終わり、いよいよ私がクックパッドAIに挑戦する時間が近づいてきました。すこし時間はさかのぼるのですが、その部分についての私と染谷さん、原島さんとのやりとりです。

○ 柿　料理と料理でないものを認識するAIということですが、苦手な分野はどこですか。
○ 原　苦手なところで言うと、例えばサラダとかは普通の植物みたいだと間違われてしまう部分もあるので、そういったものは難しいかもしれないですね。
○ 染　難しいですね、多分。
○ 柿　一応、お電話でそうお聞きしたので、今日特別なものを準備してきております。サラダの材料と、あと鉢植えの花です！

http://expres.umin.jp/mric/mric218-10.pdf

○ 染　（困惑した表情で）。。。。。。これは相当難しいと思いますね。
○ 原　花は相当むずい。
○ 柿　でしょうね（嬉）。赤い花ですけど。サラダは「きゅうりとトマトのナムル風」です。いや、ちょっとこれは相当難しそうだなと思いながら（嬉）。

http://expres.umin.jp/mric/mric218-11.pdf

○ 染　いや、これは。。。もしうまくいったら凄いですね。。。
○ 原　結構厳しい気がしますね。
○ 柿　そうでしょうね（嬉）。
○ 原　はい。
○ 柿　あとは、いくつか料理を作る予定で材料とかを全部準備してきました。これは似た料理ということで一応持ってきたので、よろしくお願いいたします。

（と言うわけで原島さん、染谷さんにはシステムの準備を開始していただきました。私の方も料理を開始。）

（約１時間の料理後。。。）

http://expres.umin.jp/mric/mric218-12.pdf

左がちらし寿司、右がポテトサラダです。
結構似ていますよね。

http://expres.umin.jp/mric/mric218-13.pdf

これも似ている同士の焼き物三連です。上から牛ステーキ、鯖のみりん干し、油揚げの焼いたの。ちなみに染谷さんは実験の後の試食で、鯖のみりん干しを人一倍食べていました。

http://expres.umin.jp/mric/mric218-14.pdf

http://expres.umin.jp/mric/mric218-15.pdf

いよいよ判別です。
まずポテトサラダから。

左が元画像で、右がシステムにより処理をした画像です。いわゆるヒートマップなのですが、赤い色が濃い部分が「料理っぽい」と判定された部分でして、この処理画像を見ると見事に料理として判定されています。

http://expres.umin.jp/mric/mric218-16.pdf

次にちらし寿司とポテトサラダの比較画像。なぜかポテトサラダよりちらし寿司の方が料理っぽい」と判定されていますね。
かなり精度が高いです。強敵です。クックパッドAI。
あきらめずに次は焼き物３連。

http://expres.umin.jp/mric/mric218-17.pdf

うーん。これも、ステーキ、鯖のみりん干し、油揚げすべて料理であると判別されていますね。
これだとあまり面白くない。。。。
いや、ちょっと待って下さい！
一番下の油揚げの焼いた奴は、ちょっと料理っぽさがないと判定されています。赤い部分は、左端の添え物部分だけで、油揚げ本体については料理判定されていないような気がします！
相手の弱いところを見つけたら、そこを徹底的に攻撃するのが弁護士の仕事なので、さらに挑戦してみました。

http://expres.umin.jp/mric/mric218-18.pdf

油揚げの焼いた奴のアップ写真です。
これは無理でしょう。
いや、実際のところ、たとえば日本人以外の人がこの写真を見たら「毛布」「チャウチャウ犬の皮膚」などと判断する可能性があります。
では処理してみましょう。

http://expres.umin.jp/mric/mric218-19.pdf

ダメ！ゼンゼン！

完全に料理判定されてしまいました。
残されたのはサラダと鉢植えの花のみ。
まずサラダ。

http://expres.umin.jp/mric/mric218-20.pdf

ダメですね。
完全に料理判定されました。
最後は鉢植えの花。
これは原島さんも染谷さんも全く自信なさげだったので絶対に行けるはず！
これが元写真です。

http://expres.umin.jp/mric/mric218-21.pdf

どうでしょうか。。。

http://expres.umin.jp/mric/mric218-22.pdf

これもダメ、全然。
まったく料理として認識されていません。
この判定結果を見たクックパッドのお二人は歓声を上げて「スゴい！スゴい！」と喜んでいました。
確かにすごい。

実は、この企画、実際にクックパッドAIで判定してみて、結果があまりにダメだった場合には、この企画そのものがボツになるのではないかとドキドキしていた私も非常に安心しました。もちろん最初からクックパッドAIを信じていましたけどね。

と言うわけで、「クックパッドAI VS 料理好き弁護士」は私が完敗ということで終わりました。今度はもっと「料理っぽくない料理」を研究して挑戦したいと思います。

今回の企画では、クックパッド社がAIを自社事業に非常にうまく活用していること（ちなみに今後の開発予定についても詳細にお聞きしましたが、それは秘密ということで）、染谷さんや原島さんのような優秀なエンジニアが意欲を持って仕事をすることで、IT企業であるクックパッド社を支えていることがよくわかりました。
クックパッドの皆様、ありがとうございました！
またお伺いします！