รู้จักกับ OCR และ NLP: เทคโนโลยีพื้นฐานสำหรับ AI ในงานเอกสาร

รู้จักกับ OCR และ NLP: เทคโนโลยีพื้นฐานสำหรับ AI ในงานเอกสาร

ในบทความที่แล้ว เราได้เห็นภาพรวมของ AI ในงานเอกสารและ Use Cases ที่น่าสนใจมากมาย ไม่ว่าจะเป็นการสกัดข้อมูลจากใบแจ้งหนี้ การสรุปเอกสาร หรือการสร้างเอกสารอัตโนมัติ แต่เบื้องหลังความสามารถเหล่านี้คือเทคโนโลยีสำคัญสองอย่าง นั่นคือ Optical Character Recognition (OCR) และ Natural Language Processing (NLP) ในบทนี้ เราจะมาทำความรู้จักกับเทคโนโลยีทั้งสองนี้อย่างละเอียด เพื่อให้คุณเข้าใจถึงหลักการทำงาน และความสำคัญของมันในการประมวลผลเอกสารด้วย AI

OCR คืออะไร และทำงานอย่างไร

OCR (Optical Character Recognition) คือเทคโนโลยีที่แปลงข้อความที่อยู่ในรูปภาพหรือเอกสารสแกน ให้กลายเป็นข้อความที่เครื่องอ่านได้ (machine-readable text) ลองนึกภาพว่าคุณมีเอกสาร PDF ที่เป็นรูปภาพของใบแจ้งหนี้ OCR จะช่วยให้คุณสามารถคัดลอกข้อความจากใบแจ้งหนี้ PDF นั้นได้ แทนที่จะต้องพิมพ์ใหม่ทั้งหมด

หลักการทำงานของ OCR

โดยทั่วไปแล้ว OCR ทำงานตามขั้นตอนหลักๆ ดังนี้:

1. Image Acquisition (การรับภาพ): ขั้นตอนแรกคือการรับภาพเอกสาร อาจมาจากการสแกนเอกสาร หรือการถ่ายภาพด้วยกล้อง
2. Preprocessing (การประมวลผลภาพเบื้องต้น): ขั้นตอนนี้จะปรับปรุงคุณภาพของภาพ เช่น การปรับความคมชัด การกำจัดสัญญาณรบกวน และการปรับแก้ความเอียงของภาพ เพื่อให้การตรวจจับตัวอักษรแม่นยำยิ่งขึ้น
3. Character Segmentation (การแบ่งส่วนตัวอักษร): ขั้นตอนนี้จะแบ่งภาพออกเป็นส่วนๆ โดยแต่ละส่วนจะแสดงถึงตัวอักษรแต่ละตัว
4. Character Recognition (การจดจำตัวอักษร): ขั้นตอนนี้คือหัวใจหลักของ OCR โดยจะใช้เทคนิคต่างๆ เช่น Pattern Matching (การเปรียบเทียบรูปแบบ) หรือ Feature Extraction (การสกัดคุณลักษณะ) ร่วมกับ Machine Learning เพื่อระบุว่าแต่ละส่วนของภาพคือตัวอักษรอะไร
5. Post-processing (การประมวลผลภายหลัง): ขั้นตอนนี้จะแก้ไขข้อผิดพลาดที่อาจเกิดขึ้นจากการจดจำตัวอักษร เช่น การแก้ไขคำผิด หรือการรวมตัวอักษรที่ถูกแบ่งผิด

ตัวอย่างการใช้งาน OCR

• การแปลงเอกสารสแกนเป็นไฟล์ Word: ช่วยให้สามารถแก้ไขเอกสารที่เคยเป็นเพียงรูปภาพได้
• การสกัดข้อมูลจากใบแจ้งหนี้: ช่วยให้สามารถดึงข้อมูลที่จำเป็น เช่น หมายเลขใบแจ้งหนี้ ยอดเงิน และวันที่ ออกมาได้อย่างรวดเร็ว
• การประมวลผลเอกสารทางกฎหมาย: ช่วยให้สามารถค้นหาข้อมูลที่ต้องการในเอกสารจำนวนมากได้อย่างมีประสิทธิภาพ
• การอ่านป้ายทะเบียนรถยนต์: ใช้ในระบบจอดรถอัตโนมัติ หรือระบบติดตามรถยนต์

ข้อผิดพลาดที่พบบ่อยในการใช้ OCR

แม้ว่า OCR จะเป็นเทคโนโลยีที่มีประโยชน์ แต่ก็ยังมีข้อจำกัดบางประการที่อาจทำให้เกิดข้อผิดพลาดได้ เช่น:

• คุณภาพของภาพไม่ดี: ภาพที่เบลอ มืด หรือมีสัญญาณรบกวน จะทำให้ OCR จดจำตัวอักษรได้ยาก
• รูปแบบตัวอักษรที่ซับซ้อน: OCR อาจมีปัญหาในการจดจำตัวอักษรที่มีรูปแบบที่แตกต่างจากรูปแบบที่ถูกฝึกฝนมา
• เอกสารที่มีการจัดวางที่ไม่เป็นระเบียบ: เอกสารที่มีตารางที่ซับซ้อน หรือข้อความที่วางซ้อนกัน อาจทำให้ OCR สับสน

ตัวอย่างโค้ด Python (ใช้ Tesseract OCR):

import pytesseract
from PIL import Image

# กำหนด path ไปยัง Tesseract OCR executable (ต้องติดตั้ง Tesseract ก่อน)
pytesseract.pytesseract.tesseract_cmd = r'C:\Program Files\Tesseract-OCR\tesseract.exe'  # แก้ path ตามที่ติดตั้ง

# โหลดรูปภาพ
image = Image.open('invoice.png')

# แปลงรูปภาพเป็นข้อความ
text = pytesseract.image_to_string(image, lang='tha') # ระบุภาษา

# พิมพ์ข้อความที่ได้
print(text)

คำอธิบายโค้ด:

• pytesseract: คือ library Python ที่ใช้ในการเรียกใช้งาน Tesseract OCR
• Image.open('invoice.png'): โหลดรูปภาพชื่อ invoice.png (ต้องมีไฟล์นี้อยู่ใน folder เดียวกัน)
• pytesseract.image_to_string(image, lang='tha'): แปลงรูปภาพเป็นข้อความ โดยระบุภาษาเป็นภาษาไทย ('tha')
• print(text): พิมพ์ข้อความที่ OCR สกัดออกมา

ข้อควรจำ: ก่อนที่จะรันโค้ดนี้ คุณจะต้องติดตั้ง Tesseract OCR engine และ pytesseract library ก่อน รวมถึงปรับ tesseract_cmd ให้ถูกต้องตาม path ที่ติดตั้ง Tesseract ไว้ และอาจต้องติดตั้ง language pack ภาษาไทยสำหรับ Tesseract ด้วย

NLP คืออะไร และเกี่ยวข้องกับงานเอกสารอย่างไร

NLP (Natural Language Processing) คือสาขาหนึ่งของ AI ที่เกี่ยวข้องกับการทำให้คอมพิวเตอร์เข้าใจและประมวลผลภาษาของมนุษย์ NLP ช่วยให้คอมพิวเตอร์สามารถอ่าน เขียน พูด และเข้าใจภาษาที่เราใช้กันในชีวิตประจำวันได้

หลักการทำงานของ NLP

NLP ครอบคลุมเทคนิคและกระบวนการที่หลากหลาย ซึ่งสามารถแบ่งออกเป็นขั้นตอนหลักๆ ได้ดังนี้:

1. Tokenization (การแบ่งคำ): แบ่งข้อความออกเป็นหน่วยย่อยๆ ที่เรียกว่า "tokens" ซึ่งโดยทั่วไปคือคำ
2. Part-of-Speech Tagging (การระบุชนิดของคำ): กำหนดชนิดของคำ (เช่น คำนาม คำกริยา คำคุณศัพท์) ให้กับแต่ละ token
3. Named Entity Recognition (NER) (การจดจำชื่อเฉพาะ): ระบุและจัดกลุ่มชื่อเฉพาะในข้อความ เช่น ชื่อบุคคล สถานที่ องค์กร วันที่ และอื่นๆ
4. Parsing (การวิเคราะห์โครงสร้างประโยค): วิเคราะห์โครงสร้างทางไวยากรณ์ของประโยค เพื่อทำความเข้าใจความสัมพันธ์ระหว่างคำต่างๆ
5. Sentiment Analysis (การวิเคราะห์ความรู้สึก): วิเคราะห์ว่าข้อความนั้นแสดงถึงความรู้สึกเชิงบวก เชิงลบ หรือเป็นกลาง
6. Text Summarization (การสรุปข้อความ): สร้างบทสรุปของข้อความที่สั้นและกระชับ โดยยังคงใจความสำคัญ
7. Machine Translation (การแปลภาษา): แปลข้อความจากภาษาหนึ่งไปยังอีกภาษาหนึ่ง

ตัวอย่างการใช้งาน NLP ในงานเอกสาร

• การสรุปเอกสาร: ช่วยให้สามารถเข้าใจเนื้อหาของเอกสารได้อย่างรวดเร็ว โดยไม่ต้องอ่านทั้งหมด
• การจัดหมวดหมู่เอกสาร: ช่วยให้สามารถจัดกลุ่มเอกสารตามหัวข้อ หรือประเภทได้อย่างอัตโนมัติ
• การค้นหาข้อมูลในเอกสาร: ช่วยให้สามารถค้นหาข้อมูลที่ต้องการในเอกสารจำนวนมากได้อย่างแม่นยำ
• การวิเคราะห์สัญญา: ช่วยให้สามารถระบุข้อกำหนดและเงื่อนไขที่สำคัญในสัญญาได้อย่างรวดเร็ว
• การสร้าง Chatbot สำหรับตอบคำถามเกี่ยวกับเอกสาร: ช่วยให้ผู้ใช้สามารถถามคำถามเกี่ยวกับเอกสาร และได้รับคำตอบทันที

ข้อผิดพลาดที่พบบ่อยในการใช้ NLP

NLP เป็นสาขาที่มีความท้าทาย เนื่องจากภาษาของมนุษย์มีความซับซ้อนและคลุมเครือ ข้อผิดพลาดที่พบบ่อยในการใช้ NLP ได้แก่:

• ความกำกวมของคำ: คำบางคำอาจมีความหมายได้หลายอย่าง ขึ้นอยู่กับบริบท
• การตีความสำนวน: NLP อาจมีปัญหาในการตีความสำนวน หรือภาษาพูด
• ข้อมูลที่ไม่เพียงพอ: NLP ต้องการข้อมูลจำนวนมากในการฝึกฝน เพื่อให้สามารถเข้าใจภาษาได้อย่างถูกต้อง

ตัวอย่างโค้ด Python (ใช้ spaCy):

import spacy

# โหลดโมเดลภาษา (ต้องติดตั้ง spaCy และโมเดลภาษาไทยก่อน)
nlp = spacy.load("th_core_news_lg") # หรือโมเดลอื่นที่รองรับภาษาไทย

# ข้อความตัวอย่าง
text = "วันนี้อากาศดีมาก ฉันอยากไปเที่ยวทะเล"

# ประมวลผลข้อความ
doc = nlp(text)

# พิมพ์ token และชนิดของคำ
for token in doc:
    print(token.text, token.pos_)

คำอธิบายโค้ด:

• spacy: คือ library Python ที่ใช้ในการประมวลผลภาษาธรรมชาติ
• nlp = spacy.load("th_core_news_lg"): โหลดโมเดลภาษาไทยจาก spaCy (ต้องติดตั้งโมเดลนี้ก่อน)
• doc = nlp(text): ประมวลผลข้อความโดยใช้โมเดลภาษา
• for token in doc: print(token.text, token.pos_): วนลูปผ่านแต่ละ token และพิมพ์คำและชนิดของคำ (part-of-speech tag)

ข้อควรจำ: ก่อนที่จะรันโค้ดนี้ คุณจะต้องติดตั้ง spaCy และโมเดลภาษาไทยก่อน โดยใช้คำสั่ง:

pip install spacy
python -m spacy download th_core_news_lg

ความแตกต่างและการทำงานร่วมกันของ OCR และ NLP

OCR และ NLP เป็นเทคโนโลยีที่แตกต่างกัน แต่ก็ทำงานร่วมกันได้อย่างมีประสิทธิภาพในการประมวลผลเอกสาร OCR ทำหน้าที่แปลงรูปภาพหรือเอกสารสแกนให้เป็นข้อความ ในขณะที่ NLP ทำหน้าที่วิเคราะห์และประมวลผลข้อความนั้นๆ

ตัวอย่าง: หากเราต้องการสกัดข้อมูลจากใบแจ้งหนี้ที่เป็นรูปภาพ เราจะต้องใช้ OCR เพื่อแปลงรูปภาพให้เป็นข้อความก่อน จากนั้นจึงใช้ NLP เพื่อระบุและสกัดข้อมูลที่ต้องการ เช่น หมายเลขใบแจ้งหนี้ ยอดเงิน และวันที่

ในบทความถัดไป เราจะมาลงมือปฏิบัติจริง โดยจะสร้างระบบสกัดข้อมูลจากใบแจ้งหนี้ด้วย Python และ Tesseract OCR เพื่อให้คุณได้เห็นภาพการทำงานร่วมกันของ OCR และ NLP อย่างชัดเจน