生成AIを学術出版に活用した事例を2つ紹介
2023年は生成AIが普及し、学術界においても注目されてきました。この記事では、学術出版においてChatGPTをはじめとする生成AIを活用した事例を、2つの文献をもとにご紹介します。
生成AIが学術出版分野にもたらす影響を評価した記事“Generative AI, ChatGPT, and Google Bard: Evaluating the Impact and Opportunities for Scholarly Publishing”
Society for Scholarly Publishing（SSP：学術出版協会）が運営するブログに、ChatGPTやGoogle Bardなどの生成AIが学術出版へどのような影響を与えたかを分析した記事が掲載されました。記事の筆者は、科学・医学・教育など幅広い分野で学術出版を行うWiley Partner Solutions社のIntelligent Services Groupを率いるHong Zhou（周宏）氏です。
Zhou氏は、生成AIが学術出版分野にもたらす影響を明らかにするため、ChatGPTとGoogle Bardをそれぞれ「執筆」「提出とレビュー」「出版」「発見と普及」という4項目で検証しました。このうち、「執筆」および「提出とレビュー」について抜粋してご紹介します。
まず、「執筆」においての評価です。要約、タイトルの生成、関連するジャーナルの提案、トピックの提案という4つのステップをChatGPTに適用しました。
ChatGPTは、文章の品質を評価して適切なフィードバックをもたらし、読みやすさを向上させるために文章構造や語彙を改善しました。省略形の単語も理解し、著者が意図的に紛れ込ませた誤字も見つけて修正したとのことです。Google Bardにも同様の機能があり、こちらは可読性スコアの計算も可能です。ただし、リライトの精度はChatGPTのほうが優れているという結果でした。
続いて、「提出とレビュー」においての評価です。メタデータの抽出、新規性・関連性・正確性のスクリーニング、引用文献の質のチェック、査読者の提案、そして個人情報の検出という5つのステップで検証しました。その結果、ChatGPTは初期スクリーニングを実行する編集アシスタントとして役立つ可能性があると考えられるとのことです。ただし、ChatGPT も Bard も、撤回された参考文献や疑わしい参考文献、古い参考文献などを完全に特定することは難しいようです。査読者の提案においても、ChatGPTは存在しない査読者を提案したり、Bard は査読対象である論文の著者を査読者候補として提案したりと、まだ正確性に欠けます。個人識別情報 (PII) の検出においては、ChatGPTはPIIの意味を理解し正しく抽出しましたが、Bardは検出できませんでした。
Zhou氏はChatGPTが成功した背景として、テクノロジーが人間の価値観と一致し、人間のニーズをより理解できるよう訓練されていることや、研究用としてではなく最初から実用的なアプリケーションとして開発され、拡張可能性をもって設計されたことなどを挙げています。
ChatGPTと実際に対話した内容をもとに執筆された論文“Writing with ChatGPT: An illustration of its capacity, limitations & implications for academic writers”
続いて、学術的な執筆においてChatGPTを活用するための方法をまとめた論文をご紹介します。Ubiquity Press社の査読付きOAジャーナル“Perspectives on Medical Education”に掲載されたこちらの論文は、2023年3～4月の間に著者がChatGPT4と対話した内容をもとに書かれました。
まず、デフォルトのChatGPTをトレーニングし、著者の興味や理解レベルに合わせた回答を生成できるようにするプロセスが必要です。著者の属性や知識レベルをふまえてChatGPTと対話を繰り返すことで、プロンプトを増強し、一般的な回答ではなくより専門的な回答を生成するようトレーニングしていく様子がまとめられています。著者は、段階的なプロンプトにより具体性を高め、ChatGPTの適切な選択をガイドし、何を除外するかを明らかにすることが重要だとしています。
続いて、ChatGPT を使用したブレインストーミングについても紹介されています。誤った回答を生成することもあるため、ChatGPTの回答から得られる参考文献は絶対に信用できないと前置きしながらも、タイトルの提案やアウトラインの構成作りなどにはかなり役立つとしています。注意点として、ChatGPTが生成したアイデアは一般的なものであるため、独自のアイデアとしてそのまま用いるのではなく、発想の出発点として使用する必要があるとのことです。
この論文では他にも、要約の作成や主張に対する反論のたたき台、明瞭さおよび一貫性の強化にChatGPTを活用した事例などが紹介されています。最後に著者は、論文の執筆者はChatGPTの長所と短所を理解して活用する必要があると述べています。ChatGPTは構成の作成や、タイトルや骨子のブレインストーミング、要約・反論、編集や校正などさまざまなところで役に立ちます。ただし、より専門的に活用するためには最初の段階でのトレーニングが重要であること、ChatGPTは執筆者の「思考」に代わることはできないことなどにも注意が必要だとしています。テクノロジーの活用により、執筆プロセスの効率化だけでなく、執筆する論文自体をより健全にすることができるでしょう。
参考文献
Society for Scholarly Publishing — The Scholarly Kitchen — Generative AI, ChatGPT, and Google Bard: Evaluating the Impact and Opportunities for Scholarly Publishing
Curren Awareness Portal — 生成AI、ChatGPT、Google Bard：学術出版への影響と可能性に関する評価（記事紹介）
Ubiquity Press — Perspectives on Medical Education — Writing with ChatGPT: An illustration of its capacity, limitations & implications for academic writers
Curren Awareness Portal — アカデミックライティングにおけるChatGPTの活用法（文献紹介）
