1. 概要: 被引用回数とインパクトファクター
   • ISI Highly cited researchers
2. h-index と g-index
   • h-index
   • g-index
3. 自己引用と s-index
4. 分野ごとの引用回数の違い
5. その他メモ
   • Google Scholar に引用は追加できるのか？

概要: 被引用回数とインパクトファクター

雑誌の価値の指標である インパクトファクター (impact factor, IF) は、長い間 (現在でも) 個々の論文の価値や、研究者の成功度の指標として使われてきた。

「アカデミックポジションに応募する際に IF の合計を提出する」とか、「あのラボは IF 10 以下の雑誌は意味がないので出さない」などという噂も、かなりの信憑性をもって響く。

これに替わる指標として提唱されているのが、論文の 被引用回数 である。このページでは、被引用回数にまつわる話題についてまとめる。

研究者のパフォーマンスを評価する指標として、被引用回数は基本的に雑誌の指標である IF よりも優れていると考えられる。IF は本来は雑誌の評価指標であるのに対し、被引用回数はもともと個人の指標である。さらにネット環境が発達した現代においては、「良い」論文は掲載誌に関わらず検索され、引用されると考えられるためである。

ただし、被引用回数にも以下のような問題点が指摘されている。

• 分野による違いが大きい。論文の総数が多い医学系分野、方法論やゲノム論文の被引用回数が高くなる傾向にある。
• 引用が好意的な引用とは限らない。
• 自己引用、仲間内での引用の問題。
• 著者がたくさんいる論文。貢献度が小さい場合も大きい場合も同等に扱われる。

以下の項目でも書いているが、一つで全てを表す完璧な指標などというものは存在しないので、特性を考えた上で複数の指標を使うことが重要である。個人的には、やたらに研究者を「評価」することにはそもそも反対で、怠け者でも業界のどこかで生存できるような余裕のある社会が実現することを願っている。

ISI Highly cited researchers

Institute for Scientific Information (ISI) という機関では、雑誌を独自にいくつかのカテゴリーに分け、カテゴリーごとに Highly Cited Researcher を発表している。関係はよく調べていないが、Web of Science, Clativate などと同じ系統なので、IF のついている雑誌に載せた論文の引用回数で評価される。

> 以下のような基準で選出されている (参考)。

• 毎年選出、2019 年は約 6200 名。最近は cross-field impact というのもある。
• 過去 10 年のデータを使用。全論文の総計ではなく、引用回数がトップ 1% の論文しかカウントしていないようなので、論文を小出しにするタイプの研究者は不利になる。

Essential Science Indicators の雑誌リスト から見ることができる。

h-index と g-index

h-index

これは論文というより研究者の指標。n 回引用された論文が n 本あれば、h-index = n となる。Google Scholar Citation、Research Gate、Publons で表示されるので有名だろう (参考論文の一つ)。

わりと研究者の「科学者コミュニティへの貢献度」を正確に反映しているように思う。長くアカデミックで頑張ってきた人の方が、一発屋よりも高くなる傾向。

地道に論文を出していれば、自分の論文も自己引用されていくので、5 ぐらいまでは到達する。10 ぐらいで独立、20 なら立派、アメリカ一流大学医学系教授で 50 ぐらいが普通、という感じ。

> 物理学分野では、h-index はもはや研究者の評判と関連しないという論文 (5)。

• 共著者の数が多くなり過ぎているため、という論調。
• 論文のクレジットを共著者で分ける fractional allocation of citations が、まだ実装されていないものの、良い指標となるのではという提言も含まれている。
• 物理学分野のことは管理人はよくわからないが、下の図を見ると、共著者の増加が顕著。大規模研究が急速に発展しているのだろう。
• 図はクリックで拡大できる。1999 年、2009 年、2019 年の h-index ランキング (横軸) と、共著者数の平均値 (縦軸)。それぞれの点が一人の科学者を示す。つまり、数千人の共著者をもつ科学者が h-index 上位に来る傾向が、1999 年には見られなかったが、2019 年には非常に顕著ということ。

g-index

このページ など。h-index はなかなかバランスのとれた指標だと思うが、多くの論文が平均的に引用されると高くなっていく傾向にある。これを補正したのが g-index である。定義は以下の通りだが、実例を見た方がわかりやすいだろう。

たとえば g-index = 5 だったら、被引用数の多い方から 5 報の合計が 25 になるということである。以下のような業績の研究者ならば、h-index は 2 である。しかし g-index では、これでは論文 A の 30 回という回数がきちんと評価されていないと考える。トップ 5 報の合計は 37 回なので、この研究者の g-index を計算すると 5 になる。

• 論文 A: 引用 30 回
• 論文 B: 3 回
• 論文 C: 2 回
• 論文 D: 1 回
• 論文 E: 1 回

g-index では、被引用数の多い論文で、少ないものをカバーすることができると言ってもいいだろう。

自己引用と s-index

被引用回数は評価の指標の一つであり、最近では Publons (ISI), Elsevier の Scopus, Google Scholar など様々なプラットフォームで可視化されているため、研究者は「被引用回数を増やしたい」という欲求に駆られることが多いだろう。ここで問題になるのが、自分の論文を自分で引用する「自己引用」である。

自己引用を「業績を水増しする悪いもの」とする論説も多いが、私はこの風潮はあまり好きではない。マイナーな分野であったら自己引用の割合は増えるだろうし、オリジナリティとの区別が曖昧なためである。

自己引用についての論文をいくつか載せておく。

> 自己引用についての PLoS Biol 論文 (ref. 2) に関する news (1)。

• Self citation には、共著者からの引用も含めている模様。これはマイナーな分野に対してちょっとフェアじゃないのでは。
• Vaidyanathan という computer scientist が、94% の引用が self-citation であるとして名指しされている。
• Median self-citation は 12.7%。男性の方が、女性よりも 56% self-citation が多い。原因は自己顕示欲か、キャリアのプレッシャーか。
• Self-citation を業績評価から除外することを主張する人もいるが、これにも問題が多い。h-index のような self-citation index、s-index についても触れられている。たとえば、5 回以上自己引用している論文が 5 個あれば、s-index = 5 ということになる。
• 国別だと、ウクライナ、ロシア、インドネシアなどが自己引用率が高い。日本はちょうど中央値ぐらい。UK, US は低い。分野別では、物理系の自己引用率が高い。研究者の数、共同研究の割合など、さまざまな要因がありそうだ。
• 単純に自己引用を悪とするのも良くないし、被引用数を業績評価から除いてしまうのも極端。Limitation をよく理解した上で、被引用数を使っていくのが良いだろうという結論。
• 論文を書いていて、どのくらい自分の過去の論文を引用していいか迷ったら、とりあえず median の 12.7% という数値を思い出そう。

> オリジナルの論文 (2) から抜粋。

• Self citation のデータは、データベースから入手可能な top 100,000 scientists に関する解析。対象者の分野は様々。
• やはり共著者からの引用も含めている。例えば 12 人の著者がいる論文が 102 回引用されており、そのうち 24 に 12 人のうちの一人でも入っているなら 102 - 24 = 78 回とカウントする。
• 1996 - 2017 年のデータでは、median は12.7%、人によってばらつきがあり、interquartile range 8.6-14.7%, full range 0.0-98.6%。
• このデータセットで、40% 以上の self citation をもつ対象者が 1085 人、25% 以上をもつ人が 8599 人。

> 自己引用の指標として s-index を提唱した論文 (3)。

• アイディアは h-index とほぼ同じ。つまり n 回以上自己引用している論文が n 報ある場合に、s-index が n となる。
• s-index が大きいほど、その著者は自己引用する傾向が高いということになる。

> 自己引用は研究者としての成功の hallmark であるとする論文 (4)。

• 他の論文よりも自己引用に好意的。自己引用は研究の流れを示すものであり、とくに英語でない論文、注目を集めにくい分野の論文などでは、研究の可視性を確保するのに重要。自己引用にペナルティを加えるのは弊害が大きいとする。
• 成功している研究者は、とくにキャリア初期に自己引用が多い。これによって「目立つ」ようになり、それが「成功」の一因であろう。
• 頻繁に分野を変えたり、キャリアに空白があったり (とくに女性の出産など) すると、研究の連続性が失われるために自己引用が減り、成功しにくくなる。

分野ごとの引用回数の違い

文献 2 では、6,880,389 人の対象者を 22 の分野に分け、キャリアにおける total citation がどれぐらいになるかを調べている。Scopus のデータを使っている。

たとえば、一番上の Agriculture, Fisheries, & Forestry という分野では、被引用回数の合計が 671 回までの科学者を数えると、90% が含まれるということである。逆に言えば、被引用回数 671 回以上の研究者は、この分野で上位 10% ということだ。

全体的な感想は、以下のような感じ。90th percentile を例に書いてみる。

• 予想通り医学系の Biomedical Researh, Clinical Medicine などが多く 1500 程度。Physics が意外に医学に匹敵するぐらい多いが、Engineering や IT は 500 前後と少ない。
• 環境科学、化学、一般生物学などが次に多い分野で、1000 前後。
• 農学、経済、公衆衛生、数学、社会科学などが 400 - 700 ぐらいに分布。上記の分野よりもややマイナーと言える。
• 歴史、アートなどはさらに少ない。

その他メモ

Google Scholar に引用は追加できるのか？

カバーする雑誌は、メジャーなデータベースの中では Google Scholar > ResearchGate > Web of Science > PubMed である。

経験上、新しい引用を発見する早さはこの通りとは限らず、ResearchGate に著者が論文を自分で登録するケースが一番早いように思う。どのデータベースにも漏れがあるが、Google Scholar に引用を追加できるかどうかをちょっと調べてみたことがあったのでメモしておく。

ResearchGate に、この話題についての 議論 がある。ここで Google Scholar のヘルプ が参照されており、それによると難しいようだ。

Google Scholar の引用データは、ロボットが自動で作成しているものであり、漏れているということは、参考文献データにロボットがアクセスできないことを意味する。これを修正するには出版社と Google の間でフォーマットなどを調整する必要があり、多分そこまではしてくれないのと、たとえ可能でも 6–9 ヶ月ほどを想定する必要があるようだ。

References

1. Brito et al. 2019a. Evaluating research and researchers by the journal impact factor: Is it better than coin flipping? J Informatics 13, 314-324.
2. Ioannidis et al. 2019a. A standardized citation metrics author database annotated for scientific field. PLoS Biol, 17, e3000384.
3. Flatt et al. 2017a. Improving the measurement of scientific success by reporting a self-citation index. Publications 5, 20.
4. Mishra et al. 2018a. Self-citation is the hallmark of productive authors, of any gender. PLoS ONE 13, e0195773.
5. Koltun & Hafner 2021a. The h-index is no longer an effective correlate of scientific reputation. PLoS ONE 16, e0253397.

Figures are cited from open-access articles distributed under the terms of the Creative Commons Attribution License, which permits unrestricted use, distribution, and reproduction in any medium, provided the original author and source are credited.

コメント欄

サーバー移転のため、コメント欄は一時閉鎖中です。サイドバーから「管理人への質問」へどうぞ。