RZ/T2H

本文闡述了RZ/T2H的PCIe外設(shè)作為EP，在Windows上做驅(qū)動(dòng)開(kāi)發(fā)、速率測(cè)試時(shí)，可能會(huì)遇到無(wú)法被Windows識(shí)別的問(wèn)題。本文總結(jié)了一些調(diào)試方法和技巧，來(lái)排查問(wèn)題原因和解決方法。

如下圖所示，RZ/T2H有著豐富的外設(shè)資源。

圖1：RZ/T2H系統(tǒng)框圖

如紅色方框部分，RZ/T2H有兩路第三代PCIe接口，可以支持到最高8.0 GT/s的傳輸速率。物理連接可以是x1，x2的方式，并且2路接口可以獨(dú)立作為RC和EP使用。

在某驅(qū)控一體項(xiàng)目中，客戶是將其中1路PCIe作為EP，采用X1配置；Windows PC作為RC，通過(guò)PCIe實(shí)現(xiàn)快速通信。我們?cè)赪indows端基于Windows Driver Framework開(kāi)發(fā)了相關(guān)驅(qū)動(dòng)程序。

考慮到Windows是非實(shí)時(shí)性操作系統(tǒng)，所以將所有與PCIe交互的代碼放在了驅(qū)動(dòng)層，以提高通信的實(shí)時(shí)性。經(jīng)過(guò)測(cè)試，Windows PC做RC，RZ/T2H做EP，RC讀取數(shù)據(jù)的傳輸速率是：33 Bytes/us（考慮到Windows是非實(shí)時(shí)操作系統(tǒng)，達(dá)不到8GT/s的傳輸速率也屬正常）。如果T2H EVK 用作RC端，則速率可以達(dá)到PCIe3.0的標(biāo)準(zhǔn)。

PCIe3.0的標(biāo)準(zhǔn)是8.0GT/s的傳輸速率，根據(jù)128b/130b的編碼規(guī)則，其數(shù)據(jù)有效率為 128/130=98.46%，從而可以得到有效數(shù)據(jù)速率為8.0×0.9846=7.877Gbit/s≈0.985GB/s per lane，即985 bytes/us。

T2H默認(rèn)的MPS（Max Payload Size）最大可以配置成4096B。考慮到加入TLP的header（假如3WD，12B，且MPS配置為256B），則其傳輸有效數(shù)據(jù)量為（RC連續(xù)發(fā) MRd）。

1每us能傳輸?shù)耐暾鹀ompletion次數(shù)為：985/（256+12）≈3.67次

2對(duì)應(yīng)的有效數(shù)據(jù)量≈3.67×256≈939B/μs

圖2：RZ/T2H驅(qū)動(dòng)程序

圖3：Windows端測(cè)量PCIe讀寫(xiě)速率的消息序列圖

客戶主板設(shè)計(jì)上通過(guò)PCIe金手指與PC主板的PCIe x1接口相接。遇到的問(wèn)題是：客戶主板燒錄程序，連接到PC，無(wú)法被PC識(shí)別。

由于沒(méi)有高速示波器來(lái)分析PCIe總線上的異常，我們只能從以下幾個(gè)角度來(lái)分析。

1檢查電源是否合理。

依次檢查了5V，3.3V，1.8V，0.8V，均正常。

2由于只有500M的示波器，只能抓啟動(dòng)的波形。通過(guò)RZ/T2H EVK的波形與客戶板子的波形作對(duì)比。

圖4：加PCIe延長(zhǎng)線，便于抓取必要波形

我們通過(guò)PCIe的啟動(dòng)過(guò)程了解到，在鏈路還沒(méi)有訓(xùn)練（LTSSM還沒(méi)進(jìn)入L0正常工作狀態(tài)）時(shí)，允許設(shè)備通知對(duì)方自己的存在。這種通知被定義為Beacon，它是一種低速、低頻的物理信號(hào)，并不是 PCIe 8b/10b或128b/130b編碼的數(shù)據(jù)流。

鑒于此，我們采用500M的示波器，將TX+（B14），TX-（B15）通過(guò)PCIe的延長(zhǎng)線接頭處，引到示波器上。C1為T(mén)X+，C2為T(mén)X-。

圖5：RZ/T2H EVK Beacon

圖6：客戶RZ/T2H主板Beacon

從圖五和圖六可以看到：

RZ/T2H EVK的Beacon持續(xù)時(shí)間是370ms，TX+和TX-的幅值在400mV左右，且非常對(duì)稱(chēng)。

客戶RZ/T2H主板的Beacon持續(xù)時(shí)間是3.5s，猜想該Beacon持續(xù)時(shí)間太久的原因是一直沒(méi)有得到EP的應(yīng)答。且TX+的幅值在400mV左右，而TX-的幅值不到100mV，不對(duì)稱(chēng)。

TX+/TX-是從RC端發(fā)起的信號(hào)，為何在金手指端的波形發(fā)生不對(duì)稱(chēng)現(xiàn)象？于是我們?cè)僮屑?xì)核對(duì)了客戶的PCB，發(fā)現(xiàn)客戶的第6，7層沒(méi)有鋪地。

由于客戶的電路與EVK有局部的不同，為了防止我們判斷錯(cuò)誤，將RZ/T2H EVK修改成和客戶板相同的配置（電阻值以及對(duì)應(yīng)信號(hào)懸空等），開(kāi)發(fā)板都能正常啟動(dòng)PCIe，所以基本可以認(rèn)為是PCB鋪地原因?qū)е碌牟罘中盘?hào)不均衡，從而RZ/T2H作為EP時(shí)沒(méi)有正確收到PC的握手信號(hào)，而不響應(yīng)RC，所以沒(méi)有下一步動(dòng)作。

經(jīng)過(guò)客戶重新布板，該主板可以進(jìn)行正常的PCIe通信了。

從這次debug可以看出，PCIe參考地有非常重要的意義。如果PCIe信號(hào)線在沒(méi)有參考地平面的情況下布線，將會(huì)導(dǎo)致諸如以下問(wèn)題：

1阻抗不連續(xù)與嚴(yán)重反射：阻抗在整個(gè)走線上劇烈波動(dòng)，導(dǎo)致信號(hào)在每一個(gè)阻抗變化點(diǎn)都會(huì)發(fā)生反射。這會(huì)嚴(yán)重劣化信號(hào)質(zhì)量。若地平面斷裂/跨分割會(huì)導(dǎo)致局部阻抗突變，反射增大，可能引起鏈路訓(xùn)練失敗。

2信號(hào)完整性（SI）問(wèn)題：

眼圖塌陷：在接收端看到的眼圖會(huì)非?！笆荨?，甚至完全閉合，眼高和眼寬都不達(dá)標(biāo)。

振鈴（Ringing）和過(guò)沖（Overshoot）/下沖（Undershoot）：由于阻抗失配和反射，信號(hào)會(huì)產(chǎn)生嚴(yán)重的振蕩。

時(shí)序錯(cuò)誤：邊沿變得緩慢且不確定，建立時(shí)間和保持時(shí)間無(wú)法滿足。

3電磁干擾（EMI）問(wèn)題：缺少參考平面，信號(hào)產(chǎn)生的電磁場(chǎng)無(wú)法被有效屏蔽和約束，會(huì)向外輻射，導(dǎo)致EMI測(cè)試失敗，也可能干擾板上的其他電路。

4系統(tǒng)不穩(wěn)定與高誤碼率：最終結(jié)果是PCIe鏈路訓(xùn)練失敗、速率協(xié)商不上去、或者在運(yùn)行中出現(xiàn)大量的數(shù)據(jù)錯(cuò)誤（誤碼率BER飆升），導(dǎo)致系統(tǒng)頻繁藍(lán)屏、卡頓、設(shè)備無(wú)法識(shí)別。

對(duì)于PCIe 3.0及以上速率，layout要求較為苛刻， PCB設(shè)計(jì)者需要足夠重視，沒(méi)有完整的參考地平面，項(xiàng)目失敗的風(fēng)險(xiǎn)極高，也會(huì)為后期帶來(lái)不必要的debug工作。PCB一定要遵守RZ/T2H的硬件設(shè)計(jì)指導(dǎo)書(shū)。