pdfファイルの医学論文をChat-GPTで要約するためのpythonのコードを書いてみた

pip install pdfminer

import io
from pdfminer.converter import TextConverter
from pdfminer.pdfinterp import PDFPageInterpreter
from pdfminer.pdfinterp import PDFResourceManager
from pdfminer.pdfpage import PDFPage

#pdfファイルをテキスト情報のみ抽出する関数
def extract_text_from_pdf(pdf_path):
    resource_manager = PDFResourceManager()
    fake_file_handle = io.StringIO()
    converter = TextConverter(resource_manager, fake_file_handle)
    page_interpreter = PDFPageInterpreter(resource_manager, converter)

    with open(pdf_path, 'rb') as fh:
        for page in PDFPage.get_pages(fh,
                                      caching=True,
                                      check_extractable=True):
            page_interpreter.process_page(page)

        text = fake_file_handle.getvalue()

    converter.close()
    fake_file_handle.close()

    if text:
        return text

#ファイル名の指定
pdf_path = 'pdfファイルのパス名を入力'
pdf_text = extract_text_from_pdf(pdf_path)

def split_text(pdf_text):
    full_text = pdf_text.strip()
    chunks = []
    while len(full_text) > 0:
        # 最初の5000文字を取得
        first_part = full_text[:5000]

        # 最後の"."で区切る
        last_period_index = first_part.rfind(".")
        if last_period_index != -1:
            first_part = first_part[:last_period_index+1]

        # 分割されたテキストに追加する
        chunks.append(first_part)

        # 残りの部分の最初の5000文字を取得
        remaining_text = full_text[len(first_part):]
        if len(remaining_text) > 0:
            next_part = remaining_text[:5000]

            # 最後の"."で区切る
            last_period_index = next_part.rfind(".")
            if last_period_index != -1:
                next_part = next_part[:last_period_index+1]
            chunks.append(next_part)
            full_text = remaining_text[len(next_part):]
        else:
            break

    return chunks

chunks = split_text(pdf_text)

# 分割したものを繰り返し出力する
for i in range(len(chunks)):
    print(f"以下の文章は医学論文の一部です。あなたは医師でこれを日本語で要約してもらいます。要約したものは・を必ず先頭につけて箇条書きにしてください。\n{chunks[i]}\n要約したものは・を必ず先頭につけて箇条書きにしてください。\n")

import io
from pdfminer.converter import TextConverter
from pdfminer.pdfinterp import PDFPageInterpreter
from pdfminer.pdfinterp import PDFResourceManager
from pdfminer.pdfpage import PDFPage

#pdfファイルからテキスト情報のみを抽出
def extract_text_from_pdf(pdf_path):
    resource_manager = PDFResourceManager()
    fake_file_handle = io.StringIO()
    converter = TextConverter(resource_manager, fake_file_handle)
    page_interpreter = PDFPageInterpreter(resource_manager, converter)

    with open(pdf_path, 'rb') as fh:
        for page in PDFPage.get_pages(fh,
                                      caching=True,
                                      check_extractable=True):
            page_interpreter.process_page(page)

        text = fake_file_handle.getvalue()

    # close open handles
    converter.close()
    fake_file_handle.close()

    if text:
        return text

pdf_path = 'pdfファイルのパスを入力'
pdf_text = extract_text_from_pdf(pdf_path)

#文字列検索を使って分割、コピペしやすいように命令文と一緒に出力する
bstart_pos = pdf_text.find("Background")
bbend_pos = pdf_text.find("Methods")
bend_pos = pdf_text.find("Methods", bbend_pos + 1)
if bstart_pos != -1 and bend_pos != -1:
    background_text = pdf_text[bstart_pos:bend_pos]
    print(f"以下の文章は医学論文の一部です。あなたは医師でこれを日本語で要約してもらいます。要約したものは・を必ず先頭につけて箇条書きにしてください。Background:\n{background_text.strip()}\n要約したものは・を必ず先頭につけて箇条書きにしてください。")

bend_pos = pdf_text.find("Methods", bbend_pos + 1)
mmend_pos = pdf_text.find("Results")
mend_pos = pdf_text.find("Results", mmend_pos + 1)
if bend_pos != -1 and mend_pos != -1:
    methods_text = pdf_text[bend_pos:mend_pos]
    print(f"以下の文章は医学論文の一部です。あなたは医師でこれを日本語で要約してもらいます。要約したものは・を必ず先頭につけて箇条書きにしてください。\nMethods:\n{methods_text.strip()}\n要約したものは・を必ず先頭につけて箇条書きにしてください。")

mend_pos = pdf_text.find("Results", mmend_pos + 1)
rrend_pos = pdf_text.find("Discussion")
rend_pos = pdf_text.find("Discussion", rrend_pos + 1)
if mend_pos != -1 and rend_pos != -1:
    results_text = pdf_text[mend_pos:rend_pos]
    print(f"以下の文章は医学論文の一部です。あなたは医師でこれを日本語で要約してもらいます。要約したものは・を必ず先頭につけて箇条書きにしてください。\nResults:\n{results_text.strip()}\n要約したものは・を必ず先頭につけて箇条書きにしてください。")

rend_pos = pdf_text.find("Discussion", rrend_pos + 1)
if rend_pos != -1:
    discussion_text = pdf_text[rend_pos:]
    print(f"以下の文章は医学論文の一部です。あなたは医師でこれを日本語で要約してもらいます。要約したものは・を必ず先頭につけて箇条書きにしてください。\nDiscussion:\n{discussion_text.strip()}\n要約したものは・を必ず先頭につけて箇条書きにしてください。")

pip install openai

import io
import openai
import re
from pdfminer.converter import TextConverter
from pdfminer.pdfinterp import PDFPageInterpreter
from pdfminer.pdfinterp import PDFResourceManager
from pdfminer.pdfpage import PDFPage

#pdfからテキスト情報のみ抽出する関数
def extract_text_from_pdf(pdf_path):
    resource_manager = PDFResourceManager()
    fake_file_handle = io.StringIO()
    converter = TextConverter(resource_manager, fake_file_handle)
    page_interpreter = PDFPageInterpreter(resource_manager, converter)

    with open(pdf_path, 'rb') as fh:
        for page in PDFPage.get_pages(fh,
                                      caching=True,
                                      check_extractable=True):
            page_interpreter.process_page(page)

        text = fake_file_handle.getvalue()

    # close open handles
    converter.close()
    fake_file_handle.close()

    if text:
        return text
    
pdf_path = 'pdfファイルのパスを入力'
pdf_text = extract_text_from_pdf(pdf_path)

def split_text(pdf_text):
    full_text = pdf_text.strip()
    chunks = []
    while len(full_text) > 0:
        # 最初の1500文字を取得
        first_part = full_text[:1500]

        # 最後の"."で区切る
        last_period_index = first_part.rfind(".")
        if last_period_index != -1:
            first_part = first_part[:last_period_index+1]

        # 分割されたテキストに追加する
        chunks.append(first_part)

        # 残りの部分の最初の1500文字を取得
        remaining_text = full_text[len(first_part):]
        if len(remaining_text) > 0:
            next_part = remaining_text[:1500]

            # 最後の"."で区切る
            last_period_index = next_part.rfind(".")
            if last_period_index != -1:
                next_part = next_part[:last_period_index+1]

            chunks.append(next_part)
            full_text = remaining_text[len(next_part):]
        else:
            break

    return chunks

chunks = split_text(pdf_text)


# ChatGPTのAPIキー
openai.api_key = "API_keyを入れてください"

def summarize_text(pdf_text):

    # 分割されたテキストデータを要約して出力する
    summary = ""
    for i in range(len(chunks)):
        response = openai.Completion.create(
            engine="text-davinci-002",
            prompt=f"以下の文章は医学論文の一部です。あなたは医師でこれを日本語で要約してもらいます。要約したものは・を必ず先頭につけて箇条書きにしてください。\n{chunks[i]}\n要約したものは・を必ず先頭につけて箇条書きにしてください。",
            max_tokens=100,
            n=1,
            stop=None,
            temperature=0.5,
        )

        # 要約結果をsummaryに追加する
        summary += re.sub('[\n.]', '', response.choices[0].text+ '\n')
        summary += "\n" 

    return summary

final_summary=summarize_text(pdf_text)

print(final_summary)