2016年06月01日(水)

インパクトファクター vs iCiteーalpha Goの衝撃と「客観的な」業績評価

投稿者:

Alpha GOの衝撃はいきなりの対戦でトッププロが全く歯が立たなかったという点で、将棋電王戦の衝撃をはるかに超えるものがありました。「変な手ですねえ」「これは一目人間が有利」という序盤から、あれっ、あれっ、おかしいですよ、となって、結果は惨敗というのはプロ棋士が初めてコンピュータに一発入れられたあの第2回電王戦で一度通った道。強烈な既視感がありましたが、なんといっても心穏やかならぬ気持ちにさせられるのは、コンピュータソフトの序盤の「変態」ぶりです。局面が計算可能な終盤はともかく、場合の数では天文学的な数字になる序盤でもこれまでの常識を打ち破る手を指し、しかもそれが強い。強烈に強い。そうしてみると、コンピュータがはじき出した「評価値」の方が理にかなっている気さえしてくる。構想だとか創造力とか大局観だとかがが問われる序盤の局面ですら人間が歯が立たないのであれば、もう人間がやることは無くなってしまうのではないかと、ムンクの叫び状態になってしまった人は研究者の中には少なからずいたのではないでしょうか。はい。私もそうです。

で、ちょっと話題が変わりますが、我々研究者にとってとても身近な「評価値」といえば。興味ないよーといいつつ興味津々の「評価値」といえば。そう。豚に真珠とインパクトファクター、再びです。

インパクトファクターの難しさは、すなわち、高度に専門化した現代生命科学の裏返しでもあります。専門分野であればミクロンの差でも、ん、これは違う、と長年培った動物的感覚(全然サイエンティフィックでない表現)で申請書なり論文の良し悪しについての判断がわかると思うのですが、ちょっと専門外になると、おいちょっと眼鏡かけ直してこいという判断をしてしまいがちなのが、悲しいかな我々研究者です。そこでnon-peerでもそこそこpeerっぽい判断を確約してくれる便利なツールが、インパクトファクターによる判断となります。引用数÷論文数という小学生でもわかる数式ではじき出されるこの数値。これがなかなかバカにできないものでありまして、我々が、この論文、あの論文3本ぐらいの価値があるよねという感覚と、インパクトファクターの単純な足し算が、意外と感覚的にピッタリくるところが、この数値が広く受け入れられる原因になっているような気がします。

しかし、やっぱりこのimpact factorは、ちとおかしいのではないか、というのは誰しもが思っていることだと思います。でも、具体的にどこがおかしいかよくわからない。数式にことさら弱いベンチ専門の研究者が喧嘩を売っても負けそうな気がする。仕方ない、泣き寝入りか、と思っていたところ、ちょっと面白い「評価値」があるよという話を、理研はコンデンシンの平野さんから伺いました。その名も、iCite

またか、という感じの評価値計算アルゴリズムなわけですが、これが結構面白い。要は、NIHがどのプロジェクトにお金を出したらよいかということを判断できる評価値を、ということで、いろいろな要素を詰め込んでポートフォリオとして評価しています。発想としては、big data系の話。もちろんAlpha Goほど大掛かりな学習をしているわけではないでしょうが、少なくとも分野間の補正は入っていて、実際に見てみると、必ずしもIFとは一致しません。というか、一致しないように作ったのでしょうが。ともあれ、iCiteのサイトはこちらです。
https://icite.od.nih.gov/
日本ではあまり人口に膾炙していないみたいでiCiteでググってみてもほとんど日本語のページは出てきませんが、海外ではそれなりに反響があるみたいです。

ここで、ちょっとお遊びで、数は少ないのですが、僕がこれまで出した論文のiCiteのNIH percentile (過去のNIHグラントをとった人の論文の中での上位何%にあたるかという値)を横軸に、インパクトファクターを縦軸にとった相関図を見てみたのがこちらです。近似曲線は、、、適当に引きました。

ちょっと誘導尋問っぽいですが、感覚的には、この散布図はしっくりきます。インパクトファクターとiCite indexは概ね正の相関があるのですが、iCite indexが最も高いところで急激にインパクトファクターが低下します。このことは、自己評価的に高い評価を与えたい論文は、必ずしもインパクトファクターが高い雑誌には掲載されない、という感覚とピッタリきます。実際、他の研究者の方々を見ても、この論文すごいなあ、でもなんでこの雑誌なんだろう、という論文は、iCiteは高評価しているみたいです。もちろん山中さんクラスの発見であれば何をどう評価してもダントツでトップ、サイエンティストはそれを目指すべきだ、という考え方もあるかもしれませんが、インパクトファクター全盛時代に一石を投じる試みであるのは間違いありません。

 

ただ、iCite indexは素晴らしい、これを全面的に取り入れよう、なんて話になると、結局、判断を人任せというかCPUに丸投げしてしまうという点で、インパクトファクター至上主義となんら変わりはありません。また、人間の評価よりも、コンピュータの評価の方がずっと賢い、ということになると、冒頭のalpha Goとムンクの叫びの話になってきます。とはいえ、人工知能の判断の方が人間の経験や感覚よりも「正しい」判断をする局面はこれからどんどん増えていくのは間違いないでしょうし、「正しい判断」を「正しく使う」のは人間がこれからやらなければいけないことです。そもそもなぜ人工知能の方が「正しい判断」をしているのか、その感覚を虚心坦懐に受け入れるということは、今後とても大切なことになってくるような気がします。将棋界でも、コンピューターに学び、その感覚を身につけることで棋力の向上を図ろうという棋士が出てきています。研究業界でも、人工知能の感覚に寄り添うことで既存の枠組みを超えたものを生み出そうといううねりが、きっとやってくると思います。そう考えていくと、人工知能というのは人間の仕事を奪うものではなくて、人間を束縛から解放してくれるものであるような気がします。The slow one now will later be fastと、変わる時代を受け入れながら、前に進んでいきたいものです。

中川 真一

北海道大学薬学研究院 RNA生物学研究室

▶ プロフィールはこちら

このカテゴリをもっと見る « キット賛歌?

コメントする

コメントはどなたでも歓迎します。メンバーの方はログインしてからコメントして下さい。

ブログアーカイブ

ログイン

サイト内検索