ระบบที่ใช้ FPGA รวมสองสตรีมวิดีโอเพื่อให้บริการวิดีโอ 3 มิติ

บทนำ ระบบวิดีโอที่แพร่หลายอยู่แล้วในแอปพลิเคชันสำหรับผู้บริโภค กำลังแพร่หลายมากขึ้นในโดเมนยานยนต์ หุ่นยนต์ และอุตสาหกรรม การเติบโตของแอปพลิเคชันที่ไม่ใช่สำหรับผู้บริโภคนี้เป็นผลมาจากการแนะนำมาตรฐาน HDMI และ DSP และ FPGA ที่รวดเร็วและมีประสิทธิภาพยิ่งขึ้น บทความนี้สรุปข้อกำหนดสำหรับการบรรลุวิสัยทัศน์สามมิติ (วิดีโอ 3 มิติ) โดยใช้กล้องวิดีโอแอนะล็อกหรือ HDMI อธิบายถึงระบบที่ใช้ FPGA ที่รวมวิดีโอสตรีมสองสตรีมเป็นสตรีมวิดีโอ 3 มิติเดียวสำหรับการส่งผ่านเครื่องส่ง HDMI 1.4 และระบบที่ใช้ DSP ที่ช่วยประหยัดแบนด์วิดท์ DMA เมื่อเทียบกับระบบที่จำเป็นสำหรับการรับข้อมูลจากกล้องสองตัวตามปกติ นอกจากนี้ยังแสดงวิธีหนึ่งในการบรรลุรูปแบบเคียงข้างกันสำหรับใช้กับกล้อง 3D หรือระบบที่ต้องใช้วิดีโอ 3D ภาพรวมทั่วไป การมองเห็นแบบสามมิติต้องใช้กล้องวิดีโอสองตัวโดยคั่นด้วยระยะห่างประมาณ 5.5 ซม. ซึ่งเป็นระยะห่างระหว่างตาของบุคคลโดยทั่วไป ดังแสดงในรูปที่ 1 รูป 1 กล้องสองตัวบนขาตั้งในแนวเดียวกันเพื่อการมองเห็นแบบสามมิติ บล็อกไดอะแกรมระดับสูงที่แสดงในรูปที่ 2 ใช้กล้องวิดีโอที่ซิงโครไนซ์สองตัวที่ใช้มาตรฐานวิดีโอเดียวกัน ตัวถอดรหัสวิดีโอสองตัว และ FPGA เพื่อให้แน่ใจว่ามีอัตราเฟรมที่เหมือนกันทุกประการ กล้องวิดีโอจะต้องล็อกเส้นสำหรับการอ้างอิงเวลาทั่วไป หากไม่มีการซิงโครไนซ์ จะไม่สามารถรวมเอาท์พุตได้โดยไม่ต้องใช้หน่วยความจำภายนอกในการจัดเก็บเฟรมวิดีโอทั้งหมด รูป 2 บล็อกไดอะแกรมระดับสูง รูปที่ 3 แสดงวิดีโอสตรีมแบบล็อคบรรทัดสองรายการที่ถูกรวมเป็นภาพสามมิติเดียว รูปที่ 4 แสดงให้เห็นว่าสตรีมวิดีโอแบบอะซิงโครนัสไม่สามารถรวมเข้าด้วยกันได้อย่างไรโดยไม่บันทึกเฟรมวิดีโอทั้งหมดในหน่วยความจำภายนอก รูป 3 ผสานสองสตรีมวิดีโอที่ซิงโครไนซ์ รูป 4 ไม่สามารถรวมสตรีมวิดีโอแบบอะซิงโครนัสได้โดยไม่ต้องใช้หน่วยความจำภายนอก เอาต์พุตของกล้องวิดีโอที่ซิงโครไนซ์ทั้งสองจะถูกแปลงเป็นดิจิทัลโดยตัวถอดรหัสวิดีโอ เช่น ADV7181D, ADV7182 หรือ ADV7186 สำหรับกล้องวิดีโอแอนะล็อก หรือโดยเครื่องรับ HDMI เช่น ADV7610 หรือ ADV7611 กับกล้องวิดีโอดิจิทัล ตัวถอดรหัสวิดีโอและตัวรับสัญญาณ HDMI ใช้ลูปล็อกเฟสภายใน (PLL) เพื่อสร้างข้อมูลนาฬิกาและพิกเซลที่บัสเอาต์พุต ซึ่งหมายความว่าจะมีการสร้างโดเมนนาฬิกาสองโดเมนแยกกันสำหรับกล้องสองตัวเมื่อแปลงวิดีโอแอนะล็อกเป็นดิจิทัลหรือรับสตรีม HDMI นอกจากนี้ สตรีมวิดีโอทั้งสองสามารถวางไม่ตรงแนว ความแตกต่างของเวลาและความไม่ตรงแนวเหล่านี้ต้องได้รับการชดเชยในอุปกรณ์แบ็คเอนด์เช่น FPGA โดยนำข้อมูลไปยังโดเมนนาฬิกาทั่วไปก่อนที่จะรวมภาพวิดีโอสองภาพไว้ในเฟรมวิดีโอสามมิติเดียว จากนั้นสตรีมวิดีโอที่ซิงโครไนซ์จะถูกส่งผ่านเครื่องส่งสัญญาณ HDMI ที่รองรับ HDMI 1.4 3D เช่น ADV7511 หรือ ADV7513 หรือนำเสนอต่อ DSP เช่น โปรเซสเซอร์ ADSP-BF609 Blackfin® เพื่อการประมวลผลต่อไป สถาปัตยกรรมการตอกบัตร ตัวถอดรหัสวิดีโอมีแหล่งการตอกบัตรที่แตกต่างกันสองแหล่ง ขึ้นอยู่กับว่าถูกล็อคหรือปลดล็อค เมื่อ PLL ของวิดีโอล็อกอยู่กับสัญญาณการซิงโครไนซ์ขาเข้า—การซิงค์ในแนวนอนสำหรับตัวถอดรหัสวิดีโอหรือนาฬิกา TMDS สำหรับ HDMI—จะสร้างนาฬิกาที่ล็อกไว้กับแหล่งสัญญาณวิดีโอขาเข้า เมื่อการล็อกวิดีโอสูญหาย หรือ PLL อยู่ในโหมดบังคับรันฟรี วิดีโอ PLL จะไม่ล็อกกับสัญญาณการซิงโครไนซ์ขาเข้า และสร้างเอาต์พุตนาฬิกาที่ล็อกไว้กับนาฬิกาคริสตัล นอกจากนี้ นาฬิกาอาจไม่แสดงผลหลังจากรีเซ็ต เนื่องจากไดรเวอร์นาฬิกา LLC ถูกตั้งค่าเป็นโหมดอิมพีแดนซ์สูงหลังจากรีเซ็ต ดังนั้น หากระบบมีเส้นทางวิดีโอตั้งแต่สองเส้นทางขึ้นไปจากตัวถอดรหัสวิดีโอหรือเครื่องรับ HDMI ก็จะมีโดเมนนาฬิกาที่แตกต่างกันสองโดเมนที่มีความถี่และเฟสต่างกัน แม้ว่าจะมีนาฬิกาคริสตัลเดียวกันให้กับเครื่องถอดรหัสวิดีโอหรือเครื่องรับ HDMI สองตัวก็ตาม อุปกรณ์สร้างนาฬิกาของตัวเองตาม PLL ของตัวเอง ระบบซิงโครนัสพร้อมตัวถอดรหัสวิดีโอที่ถูกล็อค ด้วยวิดีโอสามมิติทั่วไปที่ใช้สองแหล่ง ตัวถอดรหัสวิดีโอแต่ละตัวจะล็อคกับสัญญาณวิดีโอที่เข้ามา และสร้างนาฬิกาของตัวเองตามการซิงค์แนวนอนที่เข้ามาหรือนาฬิกา TMDS เมื่อมีการซิงโครไนซ์กล้องสองตัว—หรือล็อคเส้นกับการอ้างอิงเวลาเดียวกัน— เส้นเฟรมจะถูกจัดตำแหน่งเสมอ เนื่องจากตัวถอดรหัสวิดีโอทั้งสองแยกกันได้รับการซิงค์ในแนวนอนเหมือนกัน นาฬิกาพิกเซลจะมีความถี่สัญญาณนาฬิกาพิกเซลเท่ากัน ซึ่งช่วยให้สามารถนำพาธข้อมูลสองพาธไปยังโดเมนนาฬิกาทั่วไป ดังแสดงในรูปที่ 5 รูป 5 กล้องวิดีโอสองตัวที่ซิงโครไนซ์กับข้อมูลอ้างอิงทั่วไป ตัวถอดรหัสวิดีโอทั้งสองรับสัญญาณซิงค์เดียวกัน ดังนั้นจึงล็อกไว้ด้วย ตัวถอดรหัสวิดีโอทั้งสองรับสัญญาณซิงค์เดียวกัน ดังนั้นจึงล็อกไว้ด้วย ระบบวิดีโอแบบอะซิงโครนัส ขออภัย ตัวถอดรหัสตัวใดตัวหนึ่งอาจสูญเสียการล็อกเนื่องจากสัญญาณแหล่งสัญญาณวิดีโอคุณภาพต่ำ ดังแสดงในรูปที่ 6 หรือกล้องอาจสูญเสียการซิงโครไนซ์เนื่องจากลิงก์วิดีโอเสีย ดังแสดงในรูปที่ 7 ซึ่งจะนำไปสู่ความถี่ที่แตกต่างกันในเส้นทางข้อมูลทั้งสองเส้นทาง ซึ่งจะนำไปสู่ความไม่สมมาตรของปริมาณข้อมูลที่โอเวอร์คล็อกในส่วนแบ็คเอนด์ รูป 6 กล้องแบบ Line-locked พร้อมตัวถอดรหัสวิดีโอที่ปลดล็อค รูป 7 ปลดล็อคกล้องด้วยตัวถอดรหัสวิดีโอที่ล็อค สามารถตรวจพบการล็อกวิดีโอที่สูญหายได้โดยใช้การขัดจังหวะ (SD_UNLOCK สำหรับตัวถอดรหัสวิดีโอ SD, CP_UNLOCK สำหรับตัวถอดรหัสวิดีโอคอมโพเนนต์ หรือ TMDSPLL_LCK ลงทะเบียนในเครื่องรับ HDMI) ที่จะเริ่มทำงานหลังจากเกิดความล่าช้า ตัวถอดรหัสวิดีโอผสานรวมกลไกสำหรับการซิงโครไนซ์แนวนอนที่ไม่เสถียรให้ราบรื่น ดังนั้นการตรวจจับการล็อกวิดีโอที่สูญหายอาจใช้เวลานานถึงสองบรรทัด ความล่าช้านี้สามารถลดลงได้โดยการควบคุมการล็อกที่สูญหายภายใน FPGA โหมด Tri-State ของนาฬิกา เมื่อออกแบบทรัพยากรการตอกบัตร FPGA สิ่งสำคัญคือต้องรู้ว่าโดยค่าเริ่มต้น ตัวถอดรหัสวิดีโอและผลิตภัณฑ์ HDMI จำนวนมากจะใส่นาฬิกาและสายข้อมูลให้อยู่ในโหมด Tri-state หลังจากรีเซ็ต ดังนั้นนาฬิกาพิกเซลของ LLC จึงไม่เหมาะสำหรับการรีเซ็ตแบบซิงโครนัส ข้อมูลไม่ตรงแนวในสตรีมวิดีโอสองรายการ เพื่อลดความซับซ้อนของระบบและลดหน่วยความจำที่จำเป็นในการรวมภาพสองภาพ ข้อมูลที่ไปถึง FPGA ควรซิงโครไนซ์เพื่อให้ได้รับพิกเซลที่ N ของเส้น Mth จากกล้องตัวแรกด้วยพิกเซลที่ N ของ M สายจากกล้องตัวที่สอง การดำเนินการนี้อาจทำได้ยากที่อินพุตของ FPGA เนื่องจากเส้นทางวิดีโอสองเส้นทางอาจมีเวลาแฝงที่แตกต่างกัน: กล้องที่ล็อคสายสามารถส่งสัญญาณออกในแนวที่ไม่ตรง ความยาวการเชื่อมต่อที่แตกต่างกันสามารถนำไปสู่แนวที่ไม่ตรง และเครื่องถอดรหัสวิดีโอสามารถทำให้เกิดเวลาแฝงในการเริ่มต้นที่เปลี่ยนแปลงได้ เนื่องจากเวลาแฝงเหล่านี้ คาดว่าระบบที่มีกล้องแบบ line-locked จะมีจำนวนพิกเซลที่ไม่ตรงแนว Line-Locked Camera Misalignment แม้แต่กล้อง Line Locked ก็ยังสามารถส่งสัญญาณวิดีโอที่ผิดแนวได้ รูปที่ 8 แสดงสัญญาณซิงค์แนวตั้งจากเอาต์พุต CVBS ของกล้องสองตัว กล้องหนึ่งตัว ต้นแบบการซิงค์ ให้สัญญาณล็อคสายไปยังกล้องตัวที่สอง ซึ่งเป็นทาสการซิงค์ ความคลาดเคลื่อน 380 ns มองเห็นได้ชัดเจน รูปที่ 9 แสดงข้อมูลที่ส่งโดยตัวถอดรหัสวิดีโอที่เอาต์พุตของกล้องเหล่านี้ สามารถมองเห็นการเลื่อน 11 พิกเซลได้ รูป 8 ภาพวิดีโอไม่ตรงแนว 380-ns ระหว่างกล้องวิดีโอแบบล็อคบรรทัด รูป 9 การจัดแนววิดีโอ 11 พิกเซลที่ไม่ได้รับการชดเชยในโดเมนดิจิทัล ความยาวการเชื่อมต่อที่แตกต่างกัน การเชื่อมต่อทางไฟฟ้าทั้งหมดทำให้เกิดความล่าช้าในการแพร่กระจาย ดังนั้นตรวจสอบให้แน่ใจว่าเส้นทางวิดีโอทั้งสองมีความยาวแทร็กและสายเคเบิลเท่ากัน ตัวถอดรหัสวิดีโอ/ตัวรับ HDMI เวลาแฝง ตัวถอดรหัสวิดีโอทั้งหมดมีเวลาในการตอบสนองที่สามารถเปลี่ยนแปลงได้ขึ้นอยู่กับคุณสมบัติที่เปิดใช้งาน นอกจากนี้ บางส่วนของวิดีโอยังมีองค์ประกอบ เช่น FIFO สีเข้ม ที่เพิ่มเวลาแฝงในการเริ่มต้นแบบสุ่มได้ ระบบสามมิติทั่วไปที่ใช้ตัวถอดรหัสวิดีโออาจมีความล่าช้าในการเริ่มต้นแบบสุ่มประมาณ 5 พิกเซลนาฬิกา ระบบที่มีเครื่องส่งและเครื่องรับ HDMI ดังแสดงในรูปที่ 10 อาจมีความล่าช้าในการเริ่มต้นแบบสุ่มประมาณ 40 พิกเซลนาฬิกา รูป 10 ไปป์ไลน์ทำให้การตั้งค่าการวัดล่าช้า ค่าชดเชยการเยื้องศูนย์ รูปที่ 11 แสดงระบบที่สัญญาณแอนะล็อกจากกล้องแต่ละตัวถูกแปลงเป็นดิจิทัลโดยตัวถอดรหัสวิดีโอ ข้อมูลและนาฬิกาจะแยกจากกันสำหรับเส้นทางวิดีโอแต่ละรายการ เส้นทางวิดีโอทั้งสองเชื่อมต่อกับ FIFO ซึ่งบัฟเฟอร์ข้อมูลที่เข้ามาเพื่อชดเชยการจัดแนวของข้อมูล เมื่อทำการตอกบัตรข้อมูล FIFO จะใช้นาฬิกาทั่วไปจากตัวถอดรหัสตัวใดตัวหนึ่ง ในระบบที่ถูกล็อก พาธข้อมูลทั้งสองควรมีความถี่สัญญาณนาฬิกาที่เหมือนกันทุกประการ ตรวจสอบให้แน่ใจว่าไม่มี FIFO ล้นหรือต่ำกว่า ตราบใดที่กล้องอยู่ในไลน์ล็อคและตัวถอดรหัสวิดีโอถูกล็อค โดยการเปิดหรือปิดใช้งานเอาต์พุต FIFO บล็อกควบคุมจะรักษาระดับ FIFO เพื่อลดการจัดแนวพิกเซลให้น้อยที่สุด หากดำเนินการชดเชยอย่างเหมาะสม เอาต์พุตของบล็อก FPGA ควรเป็นเส้นทางข้อมูลสองเส้นทางที่จัดชิดกับพิกเซลแรก ข้อมูลดังกล่าวจะถูกส่งไปยังส่วนหลังของ FPGA สำหรับการผลิตรูปแบบ 3 มิติ รูป 11 การใช้ FIFO ดิจิทัลเพื่อปรับภาพวิดีโอใหม่ การวัดความไม่ตรงแนวระหว่างสองสตรีมข้อมูลดิจิทัลสามารถวัดได้ที่เอาต์พุตของ FIFO ของวิดีโอโดยใช้ตัวนับหนึ่งนาฬิกาที่รีเซ็ตบนพัลส์ซิงค์แนวตั้ง (VS) ของหนึ่งในสัญญาณขาเข้า รูปที่ 12 แสดงวิดีโอสตรีมสองรายการ (vs_a_in และ vs_b_in) ที่ไม่ตรงแนวโดย 4 พิกเซล ตัวนับวัดความคลาดเคลื่อนโดยใช้วิธีการที่แสดงในรายการที่ 1 การนับเริ่มต้นที่ขอบที่เพิ่มขึ้นของ VS1 และหยุดที่ขอบที่เพิ่มขึ้นของ VS2 หากทราบความยาวพิกเซลทั้งหมดของเฟรม ความเบ้เชิงลบ (VS2 ก่อนหน้า VS1) สามารถคำนวณได้โดยการลบค่าการนับออกจากความยาวของเฟรม ค่าลบนี้ควรคำนวณเมื่อความเอียงเกินครึ่งหนึ่งของความยาวเฟรมพิกเซล ผลลัพธ์ควรใช้เพื่อปรับข้อมูลที่จัดเก็บไว้ใน FIFO ใหม่ รูป 12 การวัดความคลาดเคลื่อน รายการ 1 การวัดความเยื้องศูนย์อย่างง่าย (Verilog®) โมดูล misalign_measurement (รีเซ็ตสายอินพุต, สายอินพุต clk_in, สายอินพุต vs_a_in, สายอินพุต vs_b_in, reg เอาต์พุต [15:0] ไม่ตรงแนว, พร้อมเอาต์พุต reg); reg [15:0] cnt; reg cnt_en, cnt_reset; reg vs_a_in_r, vs_b_in_r; กำหนด vs_a_rising = vs_a_in > vs_a_in_r; กำหนด vs_b_rising = vs_b_in > vs_b_in_r; เสมอ @(posedge clk_in) เริ่มต้น vs_a_in_r <= vs_a_in; vs_b_in_r <= vs_b_in; end เสมอ @(posedge clk_in) if (reset) start { ready, cnt_en } <= 2'b00; ไม่ตรง <= 0; end else เริ่มต้น if ((vs_a_in == 1'b0) && (vs_b_in == 1'b0)) { พร้อม cnt_reset } <= 2'b01; อื่น ๆ cnt_reset <= 1'b0; /* จุดเริ่มต้น */ ถ้า (vs_a_rising && vs_b_rising) เริ่มไม่ตรงตำแหน่ง <= 0; { พร้อม cnt_en } <= 2'b10; สิ้นสุด else if ((vs_a_rising > vs_b_in) || (vs_b_rising > vs_a_in)) { พร้อม, cnt_en } <= 2'b01; /* สิ้นสุด */ if ((cnt_en == 1'b1) && (vs_a_rising || vs_b_rising)) เริ่ม { พร้อม cnt_en } <= 2'b10; misalign <= vs_a_rising ? (-(cnt + 1)) : (ct + 1); end end เสมอ @(posedge clk_in) /* counter */ if ((cnt_reset) || (reset)) cnt <= 0; อื่นถ้า (cnt_en) cnt <= cnt + 1; endmodule การผลิตวิดีโอ 3 มิติจากสองสตรีมวิดีโอที่จัดแนว เมื่อข้อมูลพิกเซล เส้น และเฟรมมีความสอดคล้องกันอย่างแท้จริง FPGA สามารถสร้างข้อมูลวิดีโอลงในสตรีมวิดีโอ 3 มิติ ดังแสดงในรูปที่ 13 รูป 13 สถาปัตยกรรมแบบง่ายที่บรรลุรูปแบบ 3 มิติ ข้อมูลที่เข้ามาจะถูกอ่านในหน่วยความจำโดยนาฬิกาทั่วไป ตัววิเคราะห์เวลาซิงค์จะตรวจสอบสัญญาณการซิงโครไนซ์ที่เข้ามาและแยกไทม์มิ่งของวิดีโอ รวมถึงความยาวของระเบียงด้านหน้าและด้านหลังในแนวนอน ระเบียงด้านหน้าและด้านหลังในแนวตั้ง ความยาวการซิงค์ในแนวนอนและแนวตั้ง ความยาวสายที่ใช้งานในแนวนอน จำนวนเส้นที่ใช้งานในแนวตั้ง และโพลาไรซ์ของ ซิงค์สัญญาณ การส่งข้อมูลนี้ไปยังตัวสร้างไทม์มิ่งการซิงค์ใหม่พร้อมกับตำแหน่งพิกเซลแนวนอนและแนวตั้งในปัจจุบันช่วยให้สามารถสร้างไทม์มิ่งที่ได้รับการแก้ไขเพื่อรองรับโครงสร้างวิดีโอ 3 มิติที่ต้องการ เวลาที่สร้างขึ้นใหม่ควรล่าช้าเพื่อให้แน่ใจว่า FIFO มีข้อมูลตามจำนวนที่ต้องการ วิดีโอ 3 มิติแบบเคียงข้างกัน สถาปัตยกรรมที่มีความต้องการน้อยที่สุดในแง่ของหน่วยความจำคือรูปแบบเคียงข้างกัน ซึ่งต้องการเพียงบัฟเฟอร์ 2 บรรทัด (FIFO) เพื่อจัดเก็บเนื้อหาของบรรทัดที่มาจากแหล่งที่มาของวิดีโอทั้งสอง รูปแบบเคียงข้างกันควรมีความกว้างเป็นสองเท่าของรูปแบบขาเข้าดั้งเดิม ในการบรรลุเป้าหมายนั้น ควรใช้นาฬิกาแบบทวีคูณสำหรับการตอกบัตรเวลาการซิงค์ที่สร้างใหม่โดยมีความยาวเส้นแนวนอนเป็นสองเท่า นาฬิกาสองเท่าที่ใช้สำหรับการตอกบัตรที่ส่วนหลังจะทำให้ FIFO แรกว่างเปล่า และ FIFO ที่สองที่อัตราสองเท่า ทำให้สามารถใส่รูปภาพแบบเคียงข้างกัน ดังแสดงในรูปที่ 14 ภาพเคียงข้างกันแสดงในรูปที่ 15 รูป 14 การต่อภาพสองภาพแบบเคียงข้างกันโดยใช้บัฟเฟอร์บรรทัด FPGA อย่างง่าย รูป 15 ภาพขนาด 576p เคียงข้างกันพร้อมไทม์มิ่งของวิดีโอ บทสรุป อุปกรณ์อะนาล็อก ตัวถอดรหัสและผลิตภัณฑ์ HDMI พร้อมกับการประมวลผลภายหลังอย่างง่าย สามารถสร้างและเปิดใช้งานการส่งสัญญาณวิดีโอสามมิติที่แท้จริงได้ ดังที่แสดงไว้ เป็นไปได้ที่จะบรรลุวิดีโอ 3 มิติด้วยบล็อกดิจิตอลอย่างง่ายและไม่มีหน่วยความจำราคาแพง

ฝากข้อความ 

รายการข้อความ