AI อะไรสร้างวิดีโอจากคำสั่งสำหรับวิดีโอตลก

คุณเคยพิมพ์พรอมปต์ที่คิดว่าตลกสุด ๆ แล้วกดสร้าง และได้คลิปแอนิเมชันที่สมบูรณ์แบบกลับมา แต่บางทีกลับไม่ตลกเลยหรือไม่? คุณไม่ได้เป็นคนเดียวนะ.

ฉันเป็นผู้สร้างคอมเมดี้รูปแบบสั้นที่สร้างสกิตและคลิปมีมสำหรับโซเชียลมีเดีย และฉันใช้เวลานานกว่าที่ฉันอยากยอมรับในการต่อสู้กับแบบจำลองวิดีโอ AI เพื่อให้เรื่องตลกได้ผล คำถามเกี่ยวกับ แบบจำลอง AI ใดที่สร้างวิดีโอจากพรอมปต์สำหรับวิดีโอตลก ไม่ใช่คำถามที่เกี่ยวกับรายการเครื่องมือจริงๆ มันคือคำถามเกี่ยวกับทักษะ: แบบจำลองใดที่รักษาความรู้สึก, แบบจำลองใดที่ทำให้ความไม่สมเหตุสมผลอ่อนลง, และคุณจะเขียนพรอมปต์ให้ความตลกยังคงอยู่ได้อย่างไร? คู่มือนี้อธิบายสิ่งที่ฉันเรียนรู้จากการทดสอบพวกมัน.

เหตุผลที่แบบจำลองวิดีโอ AI ส่วนใหญ่พยายามไม่ถึงในการส่งมอบความตลกที่แท้จริง

ความตลกในวิดีโออยู่ในรายละเอียดที่แบบจำลองถูกฝึกให้ทำให้เรียบเรียง ความท้าทายหน้าที่รุนแรงเกินไป, การหยุดชะงักที่ไม่สบายใจอย่างช้า, ตัวละครที่รับรู้สิ่งที่ไม่สมเหตุสมผลอย่างจริงจังทั้งหมด — เหล่านี้คือสิ่งที่แบบจำลองที่ถูกฝึกด้วยคลิปที่ "ปลอดภัย, สดใส, ประสานงานได้ดี" จะทำให้กลายเป็นสิ่งเรียบเรียงอย่างเงียบ ๆ ดังนั้นเรื่องตลกจึงสิ้นสุดลงไม่ใช่เพราะการสร้างล้มเหลว แต่เพราะมันประสบความสำเร็จในการเป็นสิ่งทั่วไป.

ยังมีอีกชั้นหนึ่ง แบบจำลองหลักส่วนใหญ่ถูกปรับให้ไม่สนับสนุนการแสดงออกทางหน้าที่รุนแรงเกินไป, ความรู้สึกที่ดังมาก, และสิ่งใดก็ตามที่ถูกอ่านว่า "เกินเหตุ" ความตลกมักต้องการสิ่งนั้นอย่างเป๊ะ ตัวแมวที่พูดโมโนโลคีของละครโซปออเปรระต้องการหน้าที่ดูเหมือนถูกทำร้ายอย่างแท้จริง หากแบบจำลองตัดสินใจลดลงเป็น "แมวสงบกำลังนั่ง" คุณจะสูญเสียส่วนของเรื่องตลกก่อนที่มันจะเริ่มเลย.

Мôเดลวิดีโอ AI ตัวไหนเหมาะที่สุดสำหรับวิดีโอตลกที่อาศัยโพรมปต์

จากสิ่งที่ฉันได้ทดสอบแล้ว การแบ่งที่มีประโยชน์ไม่ใช่ "ดีที่สุด กับแย่ที่สุด" แต่เป็นเรื่องของการปรับแต่งของแต่ละโมเดลที่ช่วยหรือทำลายเรื่องตลก

โมเดลที่นิยมอย่าง Runway, Pika และ Kling มีความมั่นคงในการสร้างการเคลื่อนไหวที่สะอาดและมีอารมณ์ภาพยนตร์ — เช่น แมวเดิน, ถ้วยกาแฟหมุน, การเคลื่อนไหวของกล้องที่ลื่นไหล แต่สำหรับเรื่องตลก การจัดตั้งค่าของพวกมันมักทำให้การขยายความที่เรื่องตลกพึ่งพาเป็นเรื่องเรียบง่ายพอเกินไป พวกมันจะให้คลิปแมวที่สวยงามในแง่เทคนิค แต่ไม่ใช่คลิปที่มีอารมณ์ดราม่า

โมเดลที่ทำงานได้จริงสำหรับวิดีโอตลกที่อาศัยโพรมปต์คือโมเดลที่ไม่สงสัยในท่าทีของคุณ โมเดลวิดีโอที่ไม่มีข้อจำกัด — ชนิดที่แสดงโพรมปต์ที่คุณเขียนจริงแทนที่จะแสดงโพรมปต์ที่พวกมันคิดว่าคุณหมายถึง — จะรักษาใบหน้าที่ไร้อารมณ์ การขยายภาพช้าๆ และการพูดที่ไม่สมเหตุสมผล สำหรับเรื่องตลก นั่นคือความต่างระหว่างคลิปที่ใช้งานได้และคลิปที่ต้องการการตัดต่อเป็นเวลาสามชั่วโมงเพื่อช่วยให้มันดีขึ้น

การเขียนโพรมปต์ตลกที่เครื่องสร้างวิดีโอ AI ทำได้ดีจริง

คนส่วนใหญ่ล้มเหลวที่นี่เพราะพวกเขาเขียน แนวคิด แทน ภาพถ่าย "แมวทำบทพูดในละครโซปออเปร่าแบบดราม่า" เป็นแนวคิด โมเดลต้องคิดสร้างสิ่งอื่นๆ ทั้งหมด และพวกมันคิดสร้างเวอร์ชันที่น่าเบื่อ

เคล็ดลับคือการอธิบายการแสดงตามแต่ละขั้นตอน แบบที่ผู้กำกับจะทำ บอกมันเกี่ยวกับท่าทาง การเคลื่อนไหวของกล้อง ความเร็ว และการจัดวางตำแหน่ง ความตลกอยู่ที่ความต่างระหว่างวัตถุประสงค์และวิธีที่มันถูกปฏิบัติอย่างจริงจัง — ดังนั้นคุณต้องระบุความต่างนั้นอย่างชัดเจน

สูตรคำสั่ง: [หัวข้อ], [อารมณ์/ท่าทางเฉพาะที่เกินจริง], [การเคลื่อนไหวของกล้องเฉพาะ], [จังหวะช้า/ไม่มีอารมณ์], [บริบทจริงจังที่ไร้สาระ], [อ้างอิงสไตล์]

ตัวอย่าง: แมวแทบบี้นั่งตรงบนโซฟาแวลเว็ต, ใบหน้ามีอารมณ์ชัดเจนด้วยดวงตาที่บาดเจ็บและมีน้ำตา, การซูมเข้ามาในแบบน่าประทับใจช้าๆ เป็นเวลา 5 วินาที, การสื่อสารที่จังหวะช้าและไม่มีอารมณ์เหมือนภาพใกล้ของละครโซปอเปร่าในทศวรรษ 1980, แสงอบอุ่นแบบภาพยนตร์, รอยเม็ดฟิล์ม

เวอร์ชันนั้นทำให้โมเดลเกือบไม่มีที่เหลือเพื่อทำให้มันเป็นมาตรฐาน. อารมณ์ถูกตั้งชื่อ, การเคลื่อนไหวของกล้องถูกกำหนดเวลา, สไตล์อ้างอิงกักกันอารมณ์. หากท่าทางออกมาไม่ถูกต้อง, อย่าทำให้เกิดใหม่โดยไม่คิด — เพิ่มรายละเอียดที่ขาดหายไป. "ดวงตาที่บาดเจ็บ" เพียงอย่างเดียวมักไม่เพียงพอ; "น้ำตาเพียงหยดเดียวไหลลงมาจากแก้มด้านหนึ่ง" ก็เพียงพอ.

กระบวนการทำงานขั้นตอนต่อขั้นตอนเพื่อเปลี่ยนคำสั่งที่ตลกขบขันให้เป็นวิดีโอที่ตลกขบขันและเสร็จสมบูรณ์

นี่คือกระบวนการทำงานที่ฉันใช้ในปัจจุบัน, ซึ่งได้รับการปรับปรุงผ่านคลิปหลายร้อยคลิป.

ขั้นตอนที่ 1: กักกันภาพ, ไม่ใช่แค่แนวคิด. เขียนสูตรคำสั่งเต็มที่ด้านบนสำหรับภาพเดียวที่มีระยะเวลา 5–10 วินาที. มุกหนึ่งต่อคลิป. การพยายามอัดการตั้งค่าและมุกที่น่าขำลงในการสร้างครั้งเดียวเป็นวิธีที่รวดเร็วที่สุดในการได้ผลลัพธ์ที่ไม่ดี.

ขั้นตอนที่ 2: สร้างภาพหลักก่อน. เรียกใช้จังหวะภาพหลักและดูว่าท่าทางและการเคลื่อนไหวของกล้องได้ผลหรือไม่ก่อนที่คุณจะสร้างสิ่งใดรอบข้างมัน. หากภาพมุกหลักไม่มีชีวิตชีวา, แก้ไขมันตอนนี้ — อย่าสร้างสิ่งใดบนคลิปที่ไม่มีชีวิตชีวา.ขั้นตอนที่ 3: สร้างจังหวะของคำเด็ดแยกจากกัน การตลกเป็นเรื่องของเวลา และเวลาก็เป็นเรื่องของการตัดต่อ สร้างภาพการตั้งฉาก ภาพการตอบสนอง และภาพการปิดฉากเป็นการสร้างแยกจากกันเพื่อให้คุณสามารถตัดต่อกันในจังหวะที่เหมาะสม

ขั้นตอนที่ 4: ตัดต่อตามจังหวะ ฉันมักวางคลิปสามหรือสี่คลิปลงในไลน์เวลา ตัดแต่ละคลิปให้เหลือเฟรมที่ตลก และปล่อยให้คำเด็ดมาถึงช้ากว่าจังหวะที่รู้สึกเป็นธรรมชาติหนึ่งจังหวะ การหยุดพักที่ไม่สบายใจ = ตลก นั่นเป็นหนึ่งในวิธีที่ง่ายที่สุดที่คุณมี

ขั้นตอนที่ 5: เสียงทำให้ดีขึ้น เสียงบรรยายที่จริงจัง เสียงเตือนความตื่นตระหนก หรือแม้แต่ความเงียบสงบทั้งหมดกับภาพที่ดูบ้าๆ มักทำงานได้ดีกว่าการปรับปรุงภาพใดๆ คลิปที่ดีที่สุดของฉันส่วนใหญ่กลายเป็นตลกในขั้นตอนการออกแบบเสียง ไม่ใช่ในขั้นตอนการสร้าง

ข้อผิดพลาดที่พบบ่อยในการเขียนพรอมต์และวิธีแก้ไขเพื่อให้ได้ผลลัพธ์ที่ตลก

มีข้อผิดพลาดสามประการที่ปรากฏบ่อยในการเขียนพรอมต์สำหรับการตลก และแต่ละข้อมีวิธีแก้ไขเฉพาะ

โมเดลลดความบ้าๆ ลง คุณขอให้ดูน่าตื่นตระหนก แต่ได้ดูอ่อนนุ่ม. วิธีแก้: กำหนดรายละเอียดทางร่างกาย. แทนที่จะเขียน "น่าตื่นตระหนก" ให้เขียน "น้ำตาเพียงหยดหนึ่ง คางสั่น คิ้วบิด" โมเดลตอบสนองต่อสัญญาณภาพที่ชัดเจน ไม่ใช่คำที่อธิบายอารมณ์อย่างนามธรรม

มันตัดไปสู่คลิป B-roll ทั่วไปกลางภาพ คุณต้องการให้เห็นใบหน้าแมวเป็นเวลา 10 วินาที แต่ได้ใบหน้าเป็นเวลา 3 วินาที แล้วเป็นคลิปแมวสุ่มเป็นเวลา 7 วินาที. วิธีแก้: กักล็อกกล้องและการจัดเฟรมในพรอมต์ — "ภาพถ่ายใกล้ๆ แบบคงที่ ไม่มีการตัดไปยังภาพอื่น ภาพถ่ายต่อเนื่องเพียงภาพเดียว" โมเดลที่ไม่มีข้อจำกัดจะสามารถรักษาภาพได้ดีกว่ามากเมื่อคุณขออย่างชัดเจน

น้ำเสียงถูกห้ามหรือถูกทำให้ลดทอน เครื่องมือหลักส่วนหนึ่งจะปฏิเสธการสื่อสารอารมณ์ที่รุนแรงอย่างเงียบ ๆ หรือทำให้มันกลายเป็นน้ำเสียงกลางๆ วิธีแก้: ใช้แบบจำลองที่แสดงเนื้อหาที่คุณเขียนแทนการแสดงสิ่งที่มันคิดว่าปลอดภัย สำหรับการตลก นี่ไม่ใช่สิ่งที่ดีถ้ามี — มันคือสิ่งที่สำคัญทั้งหมดของเกม.

กรณีศึกษา: คำขอให้แมวทำบทพูดดราม่าทางโทรทัศน์ ทดสอบผ่านเครื่องมือต่าง ๆ

เมื่อไม่กี่สัปดาห์ก่อน ฉันได้ทดสอบคำขอที่เป็นที่นิยมว่า "แมวทำบทพูดดราม่าดราม่าเกินจริงเกี่ยวกับการถูกปฏิเสธให้กินทูน่า" ผ่านเครื่องมือวิดีโอ AI หลักสามตัว แล้วตามด้วย Idoli.ai เพื่อดูว่าสิ่งใดที่ยังคงอยู่จริง ๆ.

ผลลัพธ์จากเครื่องมือหลักเป็นไปตามที่คาดได้ในด้านที่สำคัญ เครื่องมือหนึ่งทำให้สีหน้าแมวอ่อนลงเป็นท่าที่นิ่งสงบในเวลาประมาณสองวินาที เครื่องมืออีกตัวหนึ่งยังคงสีหน้าไว้เป็นเวลานิดหน่อย แล้วก็ตัดไปสู่คลิปแมวทั่วไป (B-roll) — การกระพือหาง การขูดขีดด้วยข้อเท้า — ในช่วงเวลาที่ควรมีภาพถ่ายใกล้ชิดดราม่าอยู่ เครื่องมือตัวที่สามปฏิเสธน้ำเสียงที่รุนแรงทั้งหมดและส่งกลับคลิปแมวทั่วไปว่า "แมวบนโซฟา".นั่นคือคำตอบที่ชัดเจนที่สุดที่ฉันสามารถให้เกี่ยวกับ AI ใดที่สร้างวิดีโอตามคำสั่งสำหรับวิดีโอตลก ได้ นั่นคือ AI ที่ไม่ถอยทอดเมื่อคำสั่งของคุณดูเหี้ยมล้อ หากคุณไม่ต้องการเขียนคำสั่งทุกอันจากต้นทาง คุณยังสามารถใช้แม่แบบคำสั่งสำหรับวิดีโอตลกที่เตรียมไว้แล้วในห้องสมุด ซึ่งช่วยให้คุณข้ามขั้นตอนการทดลองและผิดพลาดได้

ครั้งต่อไปที่คำสั่งที่คุณเขียนในแอปโน้ตทำให้คุณหัวเราะ คุณจะรู้อย่างชัดเจนว่าจะทำให้มันปรากฏบนหน้าจอโดยไม่สูญเสียความตลกได้อย่างไร ล็อกเฟรมวิดีโอ ระบุอารมณ์ ตัดเฟรมตามจังหวะ และปล่อยให้เสียงทำส่วนที่เหลือ พร้อมที่จะเปลี่ยนไอเดียตลกๆ ของคุณครั้งต่อไปให้เป็นคลิปแล้วหรือไม่? ไปที่ Idoli.ai — ผู้ใช้ใหม่ได้เครดิตฟรีเพื่อเริ่มสร้างวิดีโอ