で、ちょっと話題が変わりますが、我々研究者にとってとても身近な「評価値」といえば。興味ないよーといいつつ興味津々の「評価値」といえば。そう。豚に真珠とインパクトファクター、再びです。

インパクトファクターの難しさは、すなわち、高度に専門化した現代生命科学の裏返しでもあります。専門分野であればミクロンの差でも、ん、これは違う、と長年培った動物的感覚（全然サイエンティフィックでない表現）で申請書なり論文の良し悪しについての判断がわかると思うのですが、ちょっと専門外になると、おいちょっと眼鏡かけ直してこいという判断をしてしまいがちなのが、悲しいかな我々研究者です。そこでnon-peerでもそこそこpeerっぽい判断を確約してくれる便利なツールが、インパクトファクターによる判断となります。引用数÷論文数という小学生でもわかる数式ではじき出されるこの数値。これがなかなかバカにできないものでありまして、我々が、この論文、あの論文３本ぐらいの価値があるよねという感覚と、インパクトファクターの単純な足し算が、意外と感覚的にピッタリくるところが、この数値が広く受け入れられる原因になっているような気がします。

しかし、やっぱりこのimpact factorは、ちとおかしいのではないか、というのは誰しもが思っていることだと思います。でも、具体的にどこがおかしいかよくわからない。数式にことさら弱いベンチ専門の研究者が喧嘩を売っても負けそうな気がする。仕方ない、泣き寝入りか、と思っていたところ、ちょっと面白い「評価値」があるよという話を、理研はコンデンシンの平野さんから伺いました。その名も、iCite。

またか、という感じの評価値計算アルゴリズムなわけですが、これが結構面白い。要は、NIHがどのプロジェクトにお金を出したらよいかということを判断できる評価値を、ということで、いろいろな要素を詰め込んでポートフォリオとして評価しています。発想としては、big data系の話。もちろんAlpha Goほど大掛かりな学習をしているわけではないでしょうが、少なくとも分野間の補正は入っていて、実際に見てみると、必ずしもIFとは一致しません。というか、一致しないように作ったのでしょうが。ともあれ、iCiteのサイトはこちらです。
https://icite.od.nih.gov/
日本ではあまり人口に膾炙していないみたいでiCiteでググってみてもほとんど日本語のページは出てきませんが、海外ではそれなりに反響があるみたいです。

ここで、ちょっとお遊びで、数は少ないのですが、僕がこれまで出した論文のiCiteのNIH percentile (過去のNIHグラントをとった人の論文の中での上位何%にあたるかという値）を横軸に、インパクトファクターを縦軸にとった相関図を見てみたのがこちらです。近似曲線は、、、適当に引きました。

ちょっと誘導尋問っぽいですが、感覚的には、この散布図はしっくりきます。インパクトファクターとiCite indexは概ね正の相関があるのですが、iCite indexが最も高いところで急激にインパクトファクターが低下します。このことは、自己評価的に高い評価を与えたい論文は、必ずしもインパクトファクターが高い雑誌には掲載されない、という感覚とピッタリきます。実際、他の研究者の方々を見ても、この論文すごいなあ、でもなんでこの雑誌なんだろう、という論文は、iCiteは高評価しているみたいです。もちろん山中さんクラスの発見であれば何をどう評価してもダントツでトップ、サイエンティストはそれを目指すべきだ、という考え方もあるかもしれませんが、インパクトファクター全盛時代に一石を投じる試みであるのは間違いありません。

ただ、iCite indexは素晴らしい、これを全面的に取り入れよう、なんて話になると、結局、判断を人任せというかCPUに丸投げしてしまうという点で、インパクトファクター至上主義となんら変わりはありません。また、人間の評価よりも、コンピュータの評価の方がずっと賢い、ということになると、冒頭のalpha Goとムンクの叫びの話になってきます。とはいえ、人工知能の判断の方が人間の経験や感覚よりも「正しい」判断をする局面はこれからどんどん増えていくのは間違いないでしょうし、「正しい判断」を「正しく使う」のは人間がこれからやらなければいけないことです。そもそもなぜ人工知能の方が「正しい判断」をしているのか、その感覚を虚心坦懐に受け入れるということは、今後とても大切なことになってくるような気がします。将棋界でも、コンピューターに学び、その感覚を身につけることで棋力の向上を図ろうという棋士が出てきています。研究業界でも、人工知能の感覚に寄り添うことで既存の枠組みを超えたものを生み出そうといううねりが、きっとやってくると思います。そう考えていくと、人工知能というのは人間の仕事を奪うものではなくて、人間を束縛から解放してくれるものであるような気がします。The slow one now will later be fastと、変わる時代を受け入れながら、前に進んでいきたいものです。