DataRockie

ถ้าถามว่าหนึ่งในอาจารย์ที่สอนวิชา AI และ ML ได้ดีที่สุดของโลกคือใคร?

แอดจะตอบชื่ออาจารย์ Andrew Ng แบบไม่ต้องคิดเลย 555+

เดือน พ.ย. 2023 Andrew เพิ่งเปิดตัวคอร์สเรียนใหม่ล่าสุด Generative AI for Everyone ต่อยอดมาจากคอร์สในตำนาน AI for Everyone ที่มีผู้เรียนทั่วโลกมากกว่าหนึ่งล้านคนบน Coursera

ส่วนตัวแอดคิดว่านี่คือคอร์ส Gen AI ที่ดีที่สุดของปีนี้เลย ไม่มีพื้นฐานก็เรียนได้สบายๆ

เนื้อหาในคอร์สนี้จะแบ่งออกเป็น 3 สัปดาห์ แต่สามารถเรียนจบได้ในสามชั่วโมง นอนน้อยแต่นอนนะ เดี๋ยวๆ 555+

• Introduction to Generative AI
• Generative AI Projects
• Generative AI in Business and Society

สมัครเรียนฟรีบน Coursera ลงแบบ Audit เรียนฟรีได้ตลอดไป หรือจะอัพเกรด 49 USD เพื่อสอบรับ digital certificate สวยๆแบบแอดก็ได้

แอดเขียนสรุปเนื้อหาพาร์ทแรกมาให้อ่านกันก่อน สรุปละเอียด อ่านจบเหมือนนั่งเรียนเอง แอดเคยเขียนสรุปคอร์ส AI for Everyone ไว้แล้วด้วย ลองอ่านกันได้นะครับ

PS. กราบขอบพระคุณรูปสวยๆของ อ. Andrew Ng จาก IEEE Spectrum Magazine ฉบับเดือน เม.ย. 2022 สำหรับรูปหน้าปกสุดเท่ของบทความนี้นะครับ 🫡

What is Gen AI

Generative AI หรือ Gen AI (short) คือระบบคอมพิวเตอร์ที่สามารถสร้าง content ที่มีคุณภาพสูงได้ เช่น ข้อความ รูปภาพ เสียง เป็นต้น

Artificial intelligence systems that can produce high quality content, specifically text, images, and audio.

หนึ่งใน Gen AI applications ที่ อ. Andrew เชื่อว่าจะสร้าง impact ได้อย่างมหาศาลในอนาคตคือการใช้มันเป็น developer tool สำหรับพัฒนา software ใหม่ๆ

เข้ามา disrupt งาน software developers เฉยเลย อ้าว 555+

The Rise of Gen AI

อ. Andrew เล่าเรื่องผลกระทบของ Gen AI ที่มีต่อเศรษฐกิจโลกจากงานวิจัยต่างๆ

• เพิ่มมูลค่าทางเศรษฐกิจคิดเป็นตัวเงิน $2.6 – $4.4 ล้านล้าน USD
• เพิ่ม GDP ของประเทศ +7% ภายในสิบปี
• ประมาณ 80% ของคนทำงานในประเทศอเมริกาจะได้รับผลกระทบจาก Gen AI

ทั้งผลกระทบเชิงบวก เช่น การเพิ่ม productivity หรือเชิงลบเกี่ยวกับความเสี่ยงที่จะถูกทดแทนด้วย AI หรือ automation

[Spoiler] ใน week 3 จริงๆ อ. Andrew แชร์มุมมองส่วนตัวว่าในโลกเรามีปัญหาที่ยิ่งใหญ่กว่าเรื่อง AI มาแย่งงานมนุษย์เยอะเลย เช่น climate change สงคราม และโรคระบาด

แกเชื่อว่าถ้ามนุษย์เราสร้างและใช้ AI ในทางที่ดี เราจะใช้มันแก้ปัญหาใหญ่ๆในโลกได้แน่นอน แต่ในวงการ AI เรื่องนี้ยังต้องถกกันอีกนาน

How Generative AI Works

✅ ในคอร์สนี้ อ. Andrew อธิบายการทำงานของ Gen AI โดยเริ่มจาก concept พื้นฐานของ supervised learning สนุกมาก ง่ายจนงง 555+

AI is a set of tools.

AI คือเครื่องมือที่เราใช้ทำความเข้าใจ pattern ในข้อมูลขนาดใหญ่ รูปแบบของ AI (หรือ ML) จะมีหลายประเภท เช่น

• Supervised Learning (SL)
• Unsupervised Learning (UL)
• Reinforcement Learning (RL)
• Generative AI

Supervised Learning คือเทคโนโลยีที่เราใช้ labeling things โดยการ mapping input A ไปที่ output B ตัวอย่างของ supervised learning ในคอร์สนี้ เช่น

Input (A)	Output (B)	Application
Email	Spam (0/1)	Spam filtering
Ad	Click (0/1)	Online advertising
Image	Position	Self-driving car
X-ray image	Diagnosis	Healthcare
Audio recording	Text transcript	Speech recognition

🫡 ถ้าใครเคยลงเรียนคอร์ส ML มาบ้างจะพอรู้ว่า supervised learning คือเทคโนโลยีที่เราใช้สร้าง prediction model (A → B)

Andrew เล่าว่าสมัยเค้าทำงานที่ Google Brain สิ่งที่ทีมเค้าตั้งใจทำมากๆคือการพัฒนา large-scale supervised learning models หรือโมเดลขนาดใหญ่มากๆ

ยิ่งมี data มากขึ้นบวกกับ hardware ที่ทรงพลัง ทีมของ Andrew ประสบความสำเร็จในการสร้าง large AI models ที่นำไปสู่ Large Language Model ที่เราใช้กันอยู่ทุกวันนี้

Large language models are trained to repeatedly predict the next word.

วิธีการทำงานของ LLM คือการทำนายคำต่อไปหรือ predict the next word ตัวอย่างเช่น

My favorite food is a bagel with cream cheese.

ถ้า My favorite food is คือประโยคตั้งต้น โมเดลจะทำนายคำต่อไปที่มีความน่าจะเป็นสูงที่สุดจาก context โดย mapping input และ output ได้ตามรูปด้านล่าง

Andrew ให้สัมภาษณ์ว่าแกเชื่อว่าตอนนี้ LLM มันทำได้มากกว่าแค่ทำนายคำต่อไป จริงๆมันน่าจะเข้าใจภาษาธรรมชาติได้ใกล้เคียงกับมนุษย์แบบเด็กๆแล้วด้วย

ตัวอย่าง Generative AI ด้านภาษาหรือ chatbot ที่คนรู้จักเยอะๆตอนนี้คือ ChatGPT และ Bard AI เราสามารถใช้งาน AI ทั้งสองตัวได้ฟรีผ่าน web browser สะดวกมาก

AI a General Purpose Technology

Andrew เปรียบเทียบ AI กับพลังงานไฟฟ้าว่าเป็นเทคโนโลยีแบบ general purpose สามารถนำไปใช้สร้างประโยชน์ได้หลายอย่าง

• ถ้าเรามีไฟฟ้า เราจะหุงข้าว เปิดแอร์ เล่นคอม ทำได้หมด
• ถ้าเรามี AI ที่เก่งขึ้นเรื่อยๆ tasks หลายๆอย่างในชีวิตเราก็จะง่ายขึ้นเช่นกัน

ทุกวันนี้เราใช้ AI กันแทบจะทุกนาทีอยู่แล้ว แค่ไม่รู้ตัว 😊 เช่น AI บน smartphone นั่งอ่านโพสต์บน social media รวมถึงซีรี่ส์ที่ Netflix แนะนำให้เราดูก็มาจาก AI ทั้งนั้น

ในคอร์สนี้ Andrew เรียก AI แทนที่ ML หมดเลย ตั้งแต่ตอนสอน supervised learning แล้ว แอดเข้าใจว่านี่เป็นคอร์สสำหรับผู้เริ่มต้น แกคงไม่อยากลง technical term มากนัก

แต่จริงๆนิยามของ AI กับ ML ต่างกันเยอะเลย แอด note เบาๆไว้ตรงนี้ก่อน เย้

Generative AI Applications

Andrew แนะนำวิธีการใช้งาน LLM ไว้สั้นๆสองแบบ

• เพื่อนช่วยหาข้อมูล – A new way to find information
• เพื่อนช่วยคิดงาน – Thought partner
  • Brainstorm ideas
  • Coding
  • Translation ในวีดีโอ Andrew ยกตัวอย่าง Pirate English ด้วย ตลกดี 555+

🤔 คำถามหนึ่งที่แอดอยากได้คำตอบมานานแล้ว Andrew ตอบในคอร์สนี้ชัดเจนมากคือจะใช้อะไรดีระหว่าง web search ทั่วไปหรือ LLM?

ถ้าอยากได้คำตอบที่น่าเชื่อถือ trustworthy sources ใช้ web search จะดีกว่า โดยเฉพาะเรื่องที่มีคนถามเยอะๆ และมีเว็บไซต์เขียนอธิบายหรือตอบคำถามนั้นไว้แล้ว

ถ้าอยากได้ไอเดียใหม่ๆ มีความ creative เป็นเรื่องที่ยังไม่ค่อยมีใครพูดถึงเท่าไหร่ Andrew แนะนำว่า case นี้ใช้ Gen AI/ LLM น่าจะตอบโจทย์กว่า

ตัวอย่างเช่น สูตรทำ pineapple pie ไปค้นในเว็บสอนทำอาหารดังๆจะได้คำตอบที่ดีกว่า ทำตามได้จริง พายสับปะรดออกมาอร่อย กินได้ 555+

แต่ถ้าอยากได้สูตรทำ coffee-infused pineapple pie ที่ไม่เคยมีใครทำมาก่อน อันนี้ลองถาม LLM ดีกว่า Andrew ลองเสิร์ช Google หาสูตรนี้แล้ว ไม่เจอคำตอบใดๆเลย

ตอบได้เคลียร์สุดยอด แอด ❤️ อาจารย์ Andrew

Andrew แนะนำสาม applications หลักของการใช้ Genarative AI ในคอร์สนี้

• เขียน
• อ่าน
• แชท

เขียน content เป็น use case พื้นฐานที่ทุกคนน่าจะเคยได้ลองกันบ้างแล้ว ส่วนการอ่านคือเราส่ง information ให้ AI ช่วยอ่านและเขียนสรุปให้เรา

Andrew ยกตัวอย่าง paper งานวิจัยที่เพื่อนเค้าส่งมาให้อ่าน แต่เค้าไม่มีเวลา เลยโยนให้ LLM ช่วยเขียนสรุปให้หน่อย ข้อดีของ AI คือมันอ่านให้เราได้แบบไม่เหนื่อย สรุปจบได้ภายในเวลาไม่กี่นาที ยอมแล้ว 555+

แต่แอดชอบที่ Andrew ปิดท้ายว่า สุดท้ายเค้าก็นั่งอ่านบทความนั้นด้วยตัวเองอยู่ดี เป็นงานวิจัยที่ดีมาก แอดว่านี่คือ mindset สำคัญที่อยากให้ทุกคนได้ด้วย

เราต้องพัฒนาตัวเองเก่งขึ้นพร้อมกับ AI ไม่ใช่ให้มันทำงานให้เราอย่างเดียว เฉียบ

📝 การนำ Gen AI ไปใช้งานจะมีสองแบบคือ web-based interface เช่น ChatGPT หรือ software-based app เช่น email routing และ document search เป็นต้น

What LLMs Cannot Do

ถึงแม้ Gen AI จะเก่งแค่ไหน แต่มันก็ทำไม่ได้ทุกอย่าง

Generative AI is an amazing technology, but it can't do everything.

Andrew แชร์ Mental Framework ง่ายๆเพื่อเช็คว่า Gen AI จะสามารถทำงานนั้นให้เราได้หรือเปล่า ด้วยการถามคำถามนี้

Can a fresh college gradudate follow the instructions in the prompt to complete the task?

โดย assumptions ของโมเดลนี้มีสามข้อคือ

1. เด็กจบใหม่ไม่สามารถเข้าถึง internet ได้
2. ไม่มีข้อมูลที่เกี่ยวข้องกับงานนั้นๆ เช่น เขียนข่าว press release แบบไม่รู้ชื่อบริษัท หรือบุคคลที่เกี่ยวข้อง
3. ไม่สามารถจดจำงานที่เคยทำไปก่อนหน้านี้ได้ no memory of previous tasks

พอเรียนมาถึงตรงนี้ แอดเข้าใจว่า อ. Andrew มองว่า Gen AI อย่าง ChatGPT หรือ Bard AI ตอนนี้สามารถทำงานพื้นฐานได้ใกล้เคียงกับเด็กจบใหม่จากมหาวิทยาลัยแล้ว

หรือสรุปสั้นๆว่าถ้าเราเขียน prompt แล้วเด็กจบใหม่สามารถทำได้ LLMs ก็น่าจะทำได้เหมือนกัน ตัวอย่างเช่น การเขียน press release แบบมี context ครบถ้วนสมบูรณ์

Can they write a press release given basic relevant context?
[context about our company]

✅ Mental Framework ในตัวอย่างนี้ไม่ได้สมบูรณ์แบบ แต่ Andrew เสนอว่ามันเป็นจุดเริ่มต้นที่ดีในการวิเคราะห์ปัญหาที่ Gen AI สามารถทำได้หรือไม่ได้

Limitations of LLMs

ข้อจำกัดของ LLMs แบ่งได้เป็น 5 ข้อหลักๆ พร้อมคำอธิบายแบบละเอียดด้านล่าง

• Knowledge Cutoff
• Making Things Up: Hallucination
• Context Limitation
• Not Good with Structured Data
• Bias and Harmful Responses

Knowledge Cutoff แปลว่าโมเดลจะมีความรู้ล่าสุดถึง ณ วันและเวลาที่เราหยุดการเก็บข้อมูลเพื่อนำไปใช้เทรนโมเดล

ตัวอย่างเช่น text-bison ของ Google ใช้ training data ล่าสุดคือ ก.พ. 2023

ปัญหาที่สองคือ Hallucination หรือการที่โมเดลเขียนคำตอบที่คิดขึ้นเองส่งกลับมาให้เรา ไม่สามารถหาแหล่งอ้างอิงได้ แอดว่านี่คือปัญหาใหญ่สุดของ LLMs ในปัจจุบัน

Context Limitation คือข้อจำกัดของการรับส่งข้อมูลของโมเดล นับตามจำนวนตัวอักษรหรือ tokens (1 token = 3/4 word)

ตัวอย่างของ text-bison รับ input ได้มากที่สุด 8192 tokens และส่ง output กลับมาให้เราได้มากที่สุด 1024 tokens อ้างอิงจากเว็บไซต์ Available Models ของ Google

Not Good with Structured Data เนื่องจากโมเดล LLMs ถูกเทรนมาจากข้อมูลแบบไม่มีโครงสร้างแบบ text เป็นหลัก โมเดลในปัจจุบันจะยังไม่เก่งกับข้อมูลแบบมีโครงสร้างเท่าไหร่ เช่น ข้อมูลใน spreadsheets หรือ CSV format

An LLM can reflect the biases in the text it learned from (or our society).

Bias and Harmful Responses เป็นอีกหนึ่งปัญหาใหญ่ของโมเดล AI ทั่วไป หลายครั้งโมเดลยังมีความ bias ในการตอบคำถาม เช่น ความสัมพันธ์ระหว่างงานและเพศ

Complete this sentence:
The surgeon walked to the parking lot and took out

Response:
his car keys.

โมเดล assume ว่า surgeon เป็นผู้ชาย

Complete this sentence:
The nurse walked to the parking lot and took out

Response:
her phone.

แต่พอเปลี่ยน prompt เป็น nurse โมเดลคิดว่า character นี้เป็นผู้หญิง ทั้งที่จริงๆแล้ว surgeon และ nurse สามารถเป็นได้ทั้งผู้ชายและผู้หญิง

นี่คือปัญหาสุด classic ของ AI ที่นักวิจัยพยายามแก้กันอยู่ แก้กันมาหลายปีแล้ว ยังไม่ค่อยดีขึ้นเลย 😭 โมเดลมี bias เรื่องเพศ สีผิว อายุ กับอาชีพที่คนๆนั้นสามารถทำได้

เนื้อหา part 3 ของคอร์ส อ. Andrew มีสอนหลักการ Reponsible AI ด้วย รอติดตามอ่านสรุปได้ในบทความต่อๆไปนะครับ

Tips for Prompting

Andrew แชร์ทิปในการเขียน Prompt สามข้อ

• เขียนให้ละเอียด detailed and specific
• ให้คำแนะนำโมเดลคิดในการคิดอย่างเป็นระบ guide the model to think
• ทดลอง และทำซ้ำให้ดีขึ้นเรื่อย experiment and iterate

คอร์สนี้ Andrew ไม่ได้เน้นเรื่องการเขียน prompt เท่าไหร่ แกคิดว่าไม่มีสูตรตายตัวแบบ one size fits all และแนะนำให้ไม่ต้องคิดเยอะ ลองเขียนและฝึกไปพร้อมกับ AI ได้เลย

You will not break the Internet by just accidentally having a slightly incorrectly worded prompt.

ชอบที่แกบอกว่า เขียน prompt ไม่เก่ง ก็ไม่ได้ break internet ซะหน่อย 555+ แค่ต้องฝึกเยอะๆ แอดเห็นด้วยล้านเปอร์เซนต์กับ idea นี้

มีข้อควรระวังสองข้อเวลาเขียน prompt

ข้อแรก อย่าใส่ข้อมูลส่วนตัวหรือ confidential information ไปใน prompt เพราะข้อมูลที่เราพิมพ์คุยกับ AI บางส่วนจะถูกนำไปใช้เทรนโมเดลเวอร์ชันต่อไปด้วย

สรุปง่ายๆคือ OpenAI, Microsoft และ Google มีแอบเก็บข้อมูลเราไปใช้ต่อด้วย (แต่เค้าแจ้งเราก่อนนะ 555+)

วีดีโอ How Bard Works – Google เคลมว่าใช้มนุษย์จริงๆมานั่งรีวิว chat messages ที่เราคุยกับ Bard และข้อความแชทบางส่วนจะถูกเก็บไว้ใช้เทรนโมเดลอีกประมาณ 36 เดือน

ข้อสองคือปัญหาเรื่อง hallucination ที่แอดเขียนไปแล้วด้านบน

Sometimes LLMs can hallucinate things or make things up in a very confident, authoritative, sounding tone.

การทำงานของ LLM คือการทำนาย next word เวลาเราพูดถึง prediction มีโอกาสที่โมเดลจะทำนายผิด หรือในมุมของ Gen AI คือการเขียน content ผิดๆกลับมาให้เรา 🤣

Generative AI for Everyone

หลังจากเรียนจบ week 1 แอดเข้าใจเรื่อง Gen AI ขึ้นเยอะเลย ส่วนตัวแอดคิดว่านี่คือคอร์สสอนพื้นฐาน AI ที่ดีที่สุดในปี 2023 อย่างไม่ต้องสงสัย

สรุป 5 ไอเดียสำคัญของสัปดาห์แรก

• Gen AI เป็น AI สำหรับสร้าง content ที่มีคุณภาพ text, image, audio และ video
• ถึง Gen AI จะเก่งแค่ไหน ก็ยังมีข้อจำกัด และยังห่างไกลจาก AGI มาก
• วิธีเช็คง่ายๆว่า Gen AI จะทำงานให้เราได้หรือเปล่า ให้ใช้ mental model นักศึกษาจบใหม่ ถ้างานไหน นศ. ทำได้ เอไอน่าจะทำได้เหมือนกัน
• Large Language Model หรือ LLM เป็น application เป็นตัวที่คนส่วนใหญ่ได้ใช้กันแล้ว ทั้ง ChatGPT, Google Bard และ Bing Chat/ Copilot
• ไม่มี prompt template ที่ดีที่สุด แค่ต้องเริ่มเขียน และปรับปรุงให้ดีขึ้นเรื่อยๆ

อ่านบทความนี้จบ ทุกคนเข้าใจเรื่อง gen AI มากขึ้นหรือเปล่า เขียน comment บอกแอดได้ใน form ข้างล่างนะครับ รอติดตามสรุปอีกสองพาร์ทได้ในบทความต่อไป 🫡

PS. Andrew มีวีดีโออธิบายเรื่อง image generation (optional) จัดเต็มเรื่อง diffusion model ฟังจบเข้าใจขึ้นเยอะเลยแอด คนคิด diffusion process คือโหดมาก เฉียบ

แอด ❤️ อ. Andrew Ng